Система автоматической проверки ответов (Александр Рыжов, OSEDUCONF-2017)
Содержание
Аннотация
- Докладчик
- Александр Рыжов
Работа посвящена проектированию и реализации системы автоматической проверки тестовых ответов на естественном языке. Проверка ответов производится по смешанной схеме, включающей метод шаблонов и использование онтологических тезаурусов. Для построения шаблонов используется визуальный конструктор, упрощающий работу преподавателя. Для повышения качества поиска шаблонов используется механизм синонимов с использованием тезауруса РуТез. Описан процесс реализации каждого модуля системы и основные трудности. Разработка ведется на языке C++ с использованием библиотеки Qt.
Весь исходный код является открытым программным обеспечением.
Видео
Посмотрели доклад? Понравился? Напишите комментарий! Не согласны? Тем более напишите.
Слайды
Тезисы
Автоматическое тестирование является неотъемлемой частью образования во многих ВУЗах. Но в большинстве случаев применяются закрытые тесты, в которых испытуемый узнаёт правильный ответ, а не проявляет способность логически мыслить. Наиболее привычным видом контроля является ответ на естественном языке: тестируемый задаёт ответ в свободной форме, и система автоматически сравнивает ответ с некоторым эталоном.
На данный момент реализовано множество систем с автоматическим тестированием, но немногие из них используют вопросы с открытыми ответами[1]. Авторы этих систем отмечают существенные проблемы при их создании и невысокое качество. В данной работе ставится цель создать открытую и по возможности универсальную систему для автоматического тестирования с ответами на естественном языке, используя при этом максимально эффективные методы.
Проверка ответов базируется на нескольких основных методах: шаблоны, мешок слов, ролевые функции и некоторые другие. В реализуемой системе используется «смешанная» схема с поддержкой шаблонов и онтологических тезаурусов. В случае шаблонов было решено не использовать напрямую регулярные выражения в интерфейсе для поиска совпадений, а реализовать специальный визуальный конструктор. Также реализуется возможность переключаться на прямое написание регулярных выражений из конструктора. Для повышения качества поиска шаблона используется механизм синонимов, где на основе первоначального строятся ещё несколько автоматически сгенерированных шаблонов. К сожалению, шаблоны не смогут покрыть все варианты возможных ответов, и для расширения возможностей в систему добавлен поиск семантической близости между понятиями эталонного ответа и ответа тестируемого. Для поиска семантической близости и механизма синонимов был использован тезаурус РуТез[2]. Определение семантической близости построено на том, что находится расстояние между вершинами в графе, построенном на основе тезауруса. Вершинами являются сами ключевые слова, а в качестве рёбер — связи «выше» — «ниже».
В системе предусматривается возможность создания различных видов тестов, в том числе закрытых.
Система может быть использована для любых предметных областей благодаря использованию шаблонов, но для качественной работы алгоритма семантической близости необходимо выбирать области, где даются чёткие определения понятиям и имеются схожие формулировки в разных учебниках. В качестве примера можно привести курс «Право», который читается практически на всех факультетах технических ВУЗов. В данном курсе не используются математические формулы, что значительно облегчает обработку ответов.
Для подготовки базы тестов предлагается следующая технология. Каждый преподаватель, участвующий в создании тестов, готовит вопросы и, возможно, ответы к ним. При этом нежелательно, чтобы преподаватель видел ответы других преподавателей. По мере заполнения базы тестов администратор начинает просматривать вопросы, на которые есть один или несколько ответов, и создавать по ним шаблоны. Преподаватель может оценить вопросы определённым уровнем сложности и установить баллы за вопрос. Далее администратор оценивает ответы с помощью шаблонов, баллы по которым не должны существенно отличаться от выставленных преподавателем. После этого качество системы проверяется на студентах. При необходимости корректируются шаблоны и ответы. Все тесты хранятся в формате XML и имеется возможность экспорта и импорта готовых наборов тестов. В настоящее время готовятся наборы тестов по дисциплинам «Операционные системы» и «Базы данных».
В настоящее время разработан прототип системы с разными типами вопросов, в том числе с открытыми ответами.
Примечания и отзывы
- ↑ Мишунин О. Б., Савинов А. П., Фирстов Д. И. Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке. // Современные наукоёмкие технологии. — 2016. № 1. — С. 38–44.
- ↑ Добров Б. В., Лукашевич Н. В. Тезаурус РуТез как ресурс для решения задач информационного поиска // Труды Всероссийской конференции «ЗНАНИЯ–ОНТОЛОГИИ–ТЕОРИИ». — 2009. — Т. 1. — С. 250–259.
!.jpg)
Plays:17
Comments:0