Алгоритмическое обеспечение для задачи мониторинга качества обучения (Сергей Амелькин, OSEDUCONF-2016)
Материал из 0x1.tv
Содержание
Аннотация
- Докладчик
- Сергей Амелькин
Качество обучения — термин, интуитивно понятный, но неоднозначно интерпретируемый. Качество обучения может быть оценено экспертом, как степень соответствия реального образовательного процесса и некоторой эталонной модели, причем модель эта может быть различной у разных экспертов.
В образовательной системе с большим количеством экспертов, выступающих в различных ролях, эталонные модели не могут быть сведены к некоторой объективной эталонной модели, относительно которой можно рассчитывать показатель (индекс) качества.
Тем не менее именно такой подход наиболее распространен для оценки эффективности работы учебных учреждений, что приводит к подмене целей и конкурентной борьбе в образовательных системах.
Вместе с тем, для описания неформализуемых показателей существуют алгоритмы коллаборативной фильтрации, которые позволяют обеспечить по экспертным оценкам области «максимумов» этих показателей с учетом различий предпочтений экспертов.
В докладе представлены алгоритмы, реализуемые в свободно распространяемых программных продуктах, которые могут быть адаптированы для задач оценки качества обучения.
Видео
Посмотрели доклад? Понравился? Напишите комментарий! Не согласны? Тем более напишите.
Слайды
Тезисы
Социальные и экономические системы характеризуются тем, что поведение подсистем определяются не только количественными параметрами, экстенсивными или интенсивными, но также и различием критериев, что связано с различными ролями подсистем.
Описание ролей можно осуществить путем введения неформальных и неформализуемых параметров и критериев. Неформальными называем параметры, которые могут быть неоднозначно интерпретируемы экспертами, неформализуемыми — параметры, которые не могут быть выражены числовым образом.
Одним из таких критериев в социальных системах является качество образования.
Важность задач мониторинга и управления качеством образования приводит к введению различных моделей, сводящихся к построению скалярных или векторных индексов качества.
Индексы строятся, как взвешенная сумма наблюдаемых или оцениваемых параметров, которые, по мнению экспертов, разрабатывающих эти модели, коррелируют с качеством образования.
Наблюдаемые параметры могут быть выражены числовыми величинами, оцениваемые — могут быть представлены, как балльная оценка. Предельное значение индекса соответствует эталонной модели системы. Однако, использование индексов, основанных на экспертных оценках, приводит к следующим негативным эффектам:
- Различные эксперты руководствуются при выставлении оценок различными эталонными моделями, что приводит к разным оценкам одного и того же образовательного учреждения, то есть оценка качества обучения зависит от личности эксперта;
- Так как сами образовательные учреждения могут выполнять различные роли, то их критерии качества могут различаться, что не учитывается при построении индекса;
- Если известен алгоритм построения индекса, то образовательное учреждение может быть вынуждено работать в условиях подмены целей: вместо повышения качества образования, учреждение стремится достичь предельных показателей, входящих в индекс;
- Стремление достичь соответствия с эталонными моделями приводит к подмене роли образовательного учреждения в системе;
- Если значение индекса качества или место образовательного учреждения в рейтинге, построенном на основе такого индекса связано с финансовыми или организационными преференциями, то использование индекса приводит к конкурентной борьбе между образовательными учреждениями, что негативно влияет на общую эффективность социальной системы.
Тем не менее, при понимании всех недостатков индексов качества образования, именно эта модель наиболее распространена, так как наиболее понятна и не требует специальных математических знаний для анализа состояния социальной системы. При этом сам анализ социальной системы может иметь различные цели: от мониторинга, предполагающего самоорганизацию социальной системы, до управления, предполагающего стандартизацию процесса обучения так, что следование стандартам обеспечит соответствие эталонной модели. Задача построения алгоритмического и программного обеспечения для оценки качества обучения, при этом свободного от указанных недостатков, может быть сформулирована, как: определить направления развития образовательного учреждения, которые могут привести к повышению качества образовательного учреждения в соответствии с его ролью в социальной системе.
Такая постановка задачи совпадает с задачей поиска эталонных моделей и наиболее близких к ней образовательных учреждений. Тем не менее, требование ролевой обусловленности не позволяет сформировать оптимальный в некотором смысле индекс. Можно предложить другие методы решения поставленной задачи.
Если ставится задача мониторинга состояния социальной системы, то можно построить фазовый портрет наблюдаемых и оцениваемых показателей образовательных учреждений, включающий как текущие показатели, так и скорости их изменения.
Так как мониторинг предполагает самоорганизацию социальной системы, то необходим кластерный анализ направлений самоорганизации, который может быть проведен с использованием метрики Евклида-Махаланобиса.
Общая архитектура программного комплекса, реализующая решение задачи кластеризации образовательных учреждений по наблюдаемым и оцениваемым параметрам, включает решение оптимизационной задачи определения центров кластеров, минимизирующее среднее расстояние до состояний образовательных учреждений в течение заданного периода времени при сохранении тенденции развития.
Производя анализ результатов экспертного анализа, такой программный комплекс позволит выявить роли образовательных учреждений и оценить на- правленность их развития. Кроме того, он обеспечивает визуализацию ситуации, в том числе в когнитивном виде.
Для решения задач кластеризации необходимо найти матрицы ковариаций всех классов на основе известных выборок. Затем с помощью подсчета расстояний от заданной точки до каждого кластера выбрать кластер, для которого расстояние минимально.
При этом предполагаем, что кластеры в фазовом пространстве разделены гиперплоскостями. Для решения такой задачи требуется построить дискриминантную функцию, позволяющую для любых двух кластеров определить принадлежность заданной точки к одному из них. Для решения задач кластеризации требуется на полученных данных (обу- чающая выборка) сформировать кластеры, соответствующие различным ролям, а затем для каждого нового исследования можно поставить в соответствие роль и направление развития.
Примечания и отзывы
Plays:22
Comments:0