Просмотр исходного текста страницы Система автоматической проверки ответов (Александр Рыжов, OSEDUCONF-2017)

== Аннотация ==
;Докладчик: {{Speaker|Александр Рыжов}}
<blockquote>
Работа посвящена проектированию и реализации системы автоматической проверки тестовых ответов на
естественном языке. Проверка ответов производится по смешанной схеме, включающей метод шаблонов и использование
онтологических тезаурусов. Для построения шаблонов используется визуальный конструктор, упрощающий работу
преподавателя. Для повышения качества поиска шаблонов используется механизм синонимов с использованием тезауруса РуТез.
Описан процесс реализации каждого модуля системы и основные трудности. Разработка ведется на языке C++ с использованием
библиотеки Qt. 

Весь исходный код является открытым программным обеспечением.
</blockquote>

== Видео ==
{{vimeoembed|201653999|800|450}}
{{youtubelink|K5IhRhkUEX4}}{{letscomment}}
== Слайды ==
[[File:Система автоматической проверки ответов (OSEDUCONF-2017).pdf|left|page=-|256px]]

== Тезисы ==
<latex>
Автоматическое тестирование является неотъемлемой частью образования во многих ВУЗах. Но в большинстве
случаев применяются закрытые тесты, в которых испытуемый узнает правильный ответ, а не проявляет способность логически
мыслить. Наиболее привычным видом контроля является ответ на естественном языке. Тестируемый задает ответ в свободной
форме и система автоматически сравнивает ответ с некоторым эталоном.

На данный момент реализовано множество систем с автоматическим тестированием, но
немногие из них используют вопросы с открытыми ответами [1]. Авторы этих систем отмечают существенные
проблемы при их создании и невысокое качество.  В данной работе ставится цель создать открытую и по возможности
универсальную систему для автоматического тестирования с ответами на естественном языке, используя при этом максимально
эффективные методы.

Проверка ответов базируется на нескольких основных методах: шаблоны, мешок слов, ролевые функции и
некоторых других. В реализуемой системе используется <<смешанная>> схема с поддержкой
шаблонов и онтологических тезаурусов. В случае шаблонов было решено не использовать напрямую регулярные выражения в
интерфейсе для поиска совпадения, а реализовать специальный визуальный конструктор. Также реализуется возможность
переключаться на прямое написание регулярных выражений с конструктора. Для повышения качества поиска шаблона
используется механизм синонимов, где на основе первоначального строятся еще
несколько автоматически сгенерированных шаблонов. К сожалению, шаблоны не смогут покрыть все варианты возможных ответов
и для расширения возможностей в систему добавлен поиск семантической близости между
понятиями эталонного ответа и ответа тестируемого. Для поиска семантической близости и механизма синонимов был
использован тезаурус РуТез [3]. Определение семантической близости построено на
том, что находится расстояние между вершинами в графе, построенном на основе тезауруса. Вершинами являются сами
ключевые слова, а в качестве ребер связи <<выше>> "--- <<ниже>>.

В системе предусматривается возможность создания различных видов тестов, в том числе закрытых.

Система может быть использована для любых предметных областей благодаря использованию шаблонов, но для
качественной работы алгоритма семантической близости необходимо выбирать области, где даются четкие
определения понятиям и имеются схожие формулировки в разных учебниках. В качестве примера можно
привести курс <<Право>>, который читается практически на всех факультетах технических ВУЗов.
В данном курсе не используются математические формулы, что значительно облегчает
обработку ответов.

Для подготовки базы тестов предлагается следующая технология.
Каждый преподаватель, участвующий в создании тестов, готовит вопросы и, возможно, ответы к ним. При этом нежелательно,
чтобы преподаватель видел ответы других преподавателей. По мере заполнения базы тестов, администратор начинает
просматривать вопросы, на которые есть один или несколько ответов и начинает создавать по ним шаблоны. Преподаватель
может оценить вопросы определенным уровнем сложности и установить баллы за вопрос. Далее администратор оценивает ответы
с помощью шаблонов, баллы по которым не должны существенно отличаться от выставленных преподавателем. После этого
качество системы проверяется на студентах. При необходимости корректируются шаблоны и ответы. Все тесты хранятся в
XML{}-формате и имеется возможность экспорта и импорта готовых наборов тестов. В
настоящее время готовятся наборы тестов по дисциплинам «Операционные системы» и «Базы данных».

В настоящее время разработан прототип системы с разными типами вопросов и в том числе с открытыми ответами.

\begin{thebibliography}{9}
	\bibitem{mish} \emph{Мишунин\,О.\,Б., Савинов\,А.\,П., Фирстов\,Д.\,И.} Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке. Современные наукоемкие технологии. --- 2016 №1 --- с.~38--44.
	\bibitem{fomin} \emph{Фомин С.} WikiQuizzer или ВикиЭкзамены --- тесты, удобные и для преподавателя, и для студента. Десятая конференция «Свободное программное обеспечение в высшей школе»: Тезисы докладов / Переяславль, 24--25 января 2015 года. М.:Альт Линукс, 2015.
	\bibitem{Dobrov} \emph{Добров Б. В., Лукашевич Н. В.} Тезаурус РуТез как ресурс для решения задач информационного поиска //Труды Всероссийской конференции ЗНАНИЯ-ОНТОЛОГИИ-ТЕОРИИ. --- 2009. --- Т.~1. --- С. 250--259.
\end{thebibliography}
</latex>

{{----}}

== Примечания и отзывы ==
<!-- <blockquote>[©]</blockquote> -->

{{fblink|1850587885194224}}                                          
{{vklink|453}}                                          
<references/>
[[File:{{#setmainimage:Система автоматической проверки ответов (Александр Рыжов, OSEDUCONF-2017)!.jpg}}|center|640px]]
<!-- topub -->




{{stats|disqus_comments=0|refresh_time=2021-08-31T18:22:43.721658|vimeo_comments=0|vimeo_plays=4|youtube_comments=0|youtube_plays=13}}

[[Категория:OSEDUCONF-2017]]
[[Категория:Open Source Exam Software]]