Исследователи из NC State и Carnegie Mellon University разработали модель ИИ, которая может генерировать вопросы для оценки пройденного курса, которые, по мнению преподавателей, неотличимы от вопросов, написанных человеком.
Новый ИИ называется QUADL, и он делает две вещи: определяет ключевые термины и идеи в учебных текстах, а затем составляет вопросы, которые фокусируются на этих терминах и идеях.
"Мы предоставляем QUADL содержание учебного курса и цели обучения, и QUADL может разработать вопросы, которые помогут студентам достичь этих целей", - говорит Нобору Мацуда, доцент кафедры информатики Университета штата Северная Каролина и соавтор статьи, посвященной этой работе.
"Люди хорошо умеют разрабатывать курсы, но в ходе интервью с преподавателями и разработчиками учебных программ мы обнаружили, что они часто испытывают трудности с разработкой вопросов, которые эффективно оценивают прогресс студентов в достижении целей обучения по этим курсам, - говорит Мачи Шиммей, аспирант NC State и первый автор работы. - Наше исследование показывает, что QUADL может быть полезным инструментом для преподавателей и разработчиков курсов".
Для проверки эффективности QUADL исследователи использовали существующее ПО для онлайн-курсов под названием Open Learning Initiative (OLI). Исследователи набрали пять преподавателей, которые используют OLI для своих занятий, и попросили их оценить длинный список вопросов. Часть вопросов были составлены QUADL, другая часть другой моделью ИИ Info-HCVAE, а некоторые вопросы уже использовались в курсах OLI. Участникам исследования не сообщили, откуда взялись вопросы, и попросили оценить педагогическую ценность каждого вопроса.
"Оценки педагогической ценности вопросов, созданных QUADL, были практически идентичны оценкам, которые преподаватели давали вопросам, написанным людьми для использования в OLI, - говорит Шиммей. - Вопросы, составленные Info-HCVAE, получили более низкие оценки от преподавателей".
Сейчас исследователи планируют провести исследования в студенческой аудитории, в ходе которых преподаватели будут использовать вопросы, составленные QUADL, чтобы увидеть, как вопросы, составленные QUADL, влияют на обучение студентов, и влияют ли вообще.
"Эта предстоящая работа должна замкнуть цикл этой технологии, - говорит Мацуда. - Гипотетически, QUADL должна работать. Теперь нам нужно посмотреть, будет ли она работать на практике".
QUADL является частью большого набора технологий ИИ, которые Мацуда и его коллеги разрабатывают под названием PASTEL. Все технологии PASTEL предназначены для облегчения разработки учебных курсов.
"Эти технологии занимаются всем, начиная от генерации вопросов - что является ролью QUADL - и заканчивая функциями контроля качества, используемыми для оценки того, насколько эффективно каждый элемент учебного материала помогает студентам учиться, - говорит Мацуда. - Мы ищем как партнеров-исследователей, которые помогут нам разработать эти генеративные технологии ИИ, так и партнеров-преподавателей, заинтересованных в использовании этих инструментов ИИ в своих курсах".
Статья "Machine-Generated Questions Attract Instructors when Acquainted with Learning Objectives" будет представлена на мероприятии International Conference on Artificial Intelligence in Education (AIED 2023), которое пройдет 3-7 июля в Токио, Япония. Соавтором статьи выступил Норман Бир из Университета Карнеги-Меллон.
Фото: Unsplash/Changbok Ko
Комментарии
(0) Добавить комментарий