Просмотр исходного текста страницы Применение IRT для анализа качества тестовых материалов в LMS Мoodle (Юлия Перязева, OSEDUCONF-2021)

;{{SpeakerInfo}}: {{Speaker|Юлия Перязева}}
<blockquote>
Работа посвящена решению задачи анализа качества тестовых материалов в LMS Moodle на основе Item Response Theory
(IRT), а именно модели Г.,Раша.

Приложение реализовано на Python, фреймворк Django. Для интеграции приложения в LMS
Moodle используется протокол LTI.
</blockquote>

{{VideoSection}}
{{vimeoembed|581910300|800|450}}
{{youtubelink|_YT8yhJPjw8}}
{{SlidesSection}}
[[File:Применение IRT для анализа качества тестовых материалов в LMS Мoodle  (Юлия Перязева, OSEDUCONF-2021).pdf|left|page=-|300px]]

{{----}}

== Thesis ==

=== Введение ===

Активное внедрение дистанционной и смешанной форм обучения делают компьютерное тестирование одним из основных инструментов педагогических измерений. Правильно построенные онлайн и смешанные курсы могут быть так же эффективны, как и традиционное очное обучение, но для этого, прежде всего, необходимы качественные диагностические материалы, в частности, тесты. Тесты должны обладать необходимыми статистическими характеристиками и обеспечивать высокое качество измерений, с учётом того, что оценивание в образовании осложняется латентным характером измеряемых переменных. Существуют классическая и современная теория тестирования Item Response Theory (IRT). Классическая теория имеет ряд принципиальных недостатков. В частности, тестовые баллы зависят от трудности заданий, а трудность задания зависит от выборки тестируемых, имеет место нелинейность тестовых баллов испытуемых. IRT позволяет анализировать качественные данные с помощью количественных методов. Мера измерения параметров, в частности, у модели Раша является линейной, оценка трудности тестовых заданий не зависит от выборки испытуемых, оценка уровня подготовленности испытуемых не зависит от используемого набора тестовых заданий .

Широко используемая в образовании LMS Moodle содержит развитую тестовую подсистему с встроенным механизмом автоматизированной статистической обработки результатов тестирования и вычисления показателей качества тестовых материалов на основе классической теории тестирования. Несмотря на ряд работ посвящённых статистическому анализу тестов и, в частности, более эффективной IRT для анализа и повышения качества тестов в LMS Moodle<ref>Протасова И. В., Толстобров А. П., Коржик И. А., Методика анализа и повышения качества тестов в системе электронного обучения Moodle, 2014</ref><ref>Савкина А. В., Нуштаева А. В., Савинов И. А., Вечканова Ю. С. , Статистические исследования качества электронных образовательных ресурсов, 2019 </ref><ref>Юбко А. А., Ефромеева Е. В., Жаров В. К., Анализ статистики прохождения теста в электронной образовательной среде Moodle, 2019</ref>, готового решения для статистической обработки тестовых заданий на основе IRT в Moodle не было найдено.

Цель работы — разработка приложения для анализа качества тестовых материалов в LMS Moodle на основе наиболее простой и эффективной модели IRT, модели Георга Раша.

=== Item Response Theory ===

Математическая модель Item Response Theory определяется следующим образом:
<math display="block">P(\theta)=c+\frac{1-c}{1+e^{-a(\theta-b)}},</math>

где <math display="inline">P</math> — вероятность решить задание со сложностью <math display="inline">b</math>, дискриминацией <math display="inline">a</math>, и угадыванием <math display="inline">c</math> при уровне подготовленности обучающегося <math display="inline">\theta</math>. Дискриминация определяет насколько задание способно различать студентов с разным уровнем <math display="inline">\theta</math>. IRT позволяет оценить латентный параметр подготовленности обучающегося, исходя из предположения, что и он и сложность задания размещены на одной шкале и измеряются в одних и тех же единицах — логитах . Такую модель также называют трёх параметрической логистической моделью, а также Item Response Function. На практике широкое распространение получила упрощённая модель Георга Раша: <math display="block">P(\theta)=\frac{e^{1.7(\theta-b)}}{1+e^{1.7(\theta-b)}}</math> Такую модель также называют однопараметрической моделью IRT. Преимуществами модели Раша является простота её использования, так как для заданий необходимо определить только ''b'', и способность данной модели отделить оценки испытуемых от оценки трудности задания.

=== Приложение анализа качества тестовых материалов в LMS Moodle ===

Предлагаемое приложение разработано на языке Python (фреймворк Django), интегрируется в LMS как внешнее приложение по протоколу LTI, доступно в курсах преподавателям для анализа тестовых материалов.

В приложении реализованы следующие этапы анализа тестов в рамках модели Раша: оценивание параметров, исследование согласия эмпирических данных с моделью, анализ заданий теста и испытуемых, характеристических кривых для заданий теста (Рис. 1).

[[File:periazeva-khakhaev-img001-oseduconf2021.png|thumb||800px|center|alt=Выбор этапа анализа теста|Выбор этапа анализа теста]]

Параметры сложности тестовых заданий и подготовленности обучающихся рассчитывается из эмпирических данных .

В приложении строятся характеристические кривые для заданий теста и проводится сравнение этих теоретических кривых с экспериментальными данными, исследуется согласие эмпирических данных с моделью и, следовательно, качество задний. На рисунке 2 видно, что первое задание расходится с моделью Раша, это может объясняться как несовершенством задания по форме или по содержанию, так и ошибками в организации процедуры тестирования. Второе задание соответствует модели.

[[File:periazeva-khakhaev-img002-oseduconf2021.png|thumb||800px|center|alt=Характеристические кривые заданий|Характеристические кривые заданий]]

Приложение строит характеристические кривые для заданий теста. Например, из приведённых графиков (Рис. 3) видно, что задания неравномерно покрывают требуемый диапазон уровней подготовленности испытуемых, а часть заданий дублируют друг друга по сложности, если возможно по содержанию, то часть из них можно удалить из теста без ущерба его общей дифференцирующей способности.

[[File:periazeva-khakhaev-img003-oseduconf2021.png|thumb||800px|center|alt=Характеристические кривые заданий теста|Характеристические кривые заданий теста]]

=== Заключение ===

Разработанное приложение будет полезно для разработки качественных тестирующих материалов в LMS Moodle. Качество тестовых заданий в приложении оценивается в рамках модели Г. Раша IRT, предполагается расширение приложение другими моделями.
{{----}}
[[File:{{#setmainimage:Применение IRT для анализа качества тестовых материалов в LMS Мoodle  (Юлия Перязева, OSEDUCONF-2021)!.jpg}}|center|640px]]
{{LinksSection}}
<!-- <blockquote>[©]</blockquote> -->

<references/>

* Chirikov, Igor, et al. , Online education platforms scale college STEM instruction with equivalent learning outcomes at lower cost., 2020
* Ким В. С., Тестирование учебных достижений. Монография., 2007
* Челышкова М. Б., Теория и практика конструирования педагогических тестов: Учебное пособие., 2002

{{stats|disqus_comments=0|refresh_time=2021-08-31T17:59:49.582308|vimeo_plays=0|youtube_plays=0}}

[[Категория:OSEDUCONF-2021]]
[[Категория:Draft]]
[[Категория:Knowledge Assessment]]
[[Категория:Open Source Exam Software]]