Просмотр исходного текста страницы Использование свободного программного обеспечения для ЭЭГ-мониторинга психического состояния пользователя в исследовании UX-UI (Антип Шульган, OSEDUCONF-2023)

;{{SpeakerInfo}}: {{Speaker|Антип Шульган}}
<blockquote>
В докладе рассматривается применение электроэнцефалографов потребительского уровня (изделий производства компаний NeuroSky и Emotiv, а также открытого проекта OpenBCI) для оценки эмоционального состояния пользователя в процессе человеко-машинного взаимодействия. Каждое устройство имеет свои преимущества и недостатки для исследования UI/UX. Рассматриваются особенности доступных к получению данных, обсуждаются существующие инструменты с открытым исходным кодом для получения этих данных, а подход к оценке эмоционального состояния, который можно использовать для распознавания положительных и отрицательных эмоций пользователя.
</blockquote>

{{VideoSection}}

{{vimeoembed||800|450}}
{{youtubelink|}}

{{SlidesSection}}
[[File:Использование свободного программного обеспечения для ЭЭГ-мониторинга психического состояния пользователя в исследовании UX-UI (Антип Шульган, OSEDUCONF-2023).pdf|left|page=-|300px]]

{{----}}

== Thesis ==

Оценка состояния пользователя с помощью специальных измерительных устройств в процессе работы с программным или аппаратным продуктом может заметно упростить выявление узких мест эргономики (в особенности с учетом повысившейся в последние годы доступности биометрических устройств). Наиболее просты в применении средства изменения пульса, отслеживания взгляда, и наиболее примитивные электроэнцефалографы, позволяющие отследить концентрацию внимания. Однако более полноценное детектирование эмоций с помощью электроэнцефалографии (ЭЭГ) является существенно более сложной задачей.

Как известно, ЭЭГ основана на детектировании колебательных электрических процессов, регистрируемых на электродах, размещенных на поверхности головы, и является результатом электрической суммации и фильтрации элементарных процессов в нейронах. Измерения активности коры искажаются тканями и костями черепа, что вносит дополнительный шум и снижает интенсивность сигналов; тем не менее, измерения ЭЭГ дают важную информацию об электрической активности коры головного мозга. Частота сигналов ЭЭГ находится в диапазоне 1—80 Гц, а амплитуды сигналов варьируются от 10 до 100 мкВ<ref name="kandel">Kandel E.R. et al.  <tt>Principles of Neural Science</tt>. Mc Graw Hill, 2012  —  1760&nbsp;p.</ref>.

Одной из основных характеристик ЭЭГ является частота. По историческим причинам используют частотную классификацию по визуально"=различимым диапазонам (<m>alpha</m>  —  8..14 Гц, <m>beta</m>  —  14..40 Гц, <m>theta</m>  —  4..8 Гц , <m>delta</m>  —  1..4 Гц, <m>gamma</m>  —  выше 40 Гц и т. д.). В зависимости от диапазона частот, а также амплитуды, формы волны, топографии и типа отклика различают <m>alpha</m>-ритм ЭЭГ, <m>beta</m>-ритм и т.д. Наиболее информативными для заявленной темы являются <m>alpha</m>-ритмы и <m>beta</m>-ритмы<ref name="niemic">Niemic C.P. <tt>Studies of emotion: A theoretical and empirical review of psychophysiological studies of emotion</tt> // Journal of Undergraduate Research, v. 1, 2002. pp. 15—18.</ref>. Их поддиапазоны не перекрываются источниками естественных шумов организма (таких, как движения глаз и моргание, сердечная деятельность,  мышечная активность)<ref name="ramirez">Ramirez R., Vamvakousis Z. <tt>Detecting Emotion from EEG Signals Using the Emotive Epoc Device. Lecture Notes in Computer Science</tt>, v. 7670.  —  Springer, 2012.  —  p. 175—184.</ref>, а посторонние артефакты от линий электропередач обычно присутствуют выше 50 Гц. Поэтому большая часть постороннего шума в <m>alpha</m>- и <m>beta</m>-диапазонах значительно снижена. Высокая активность в <m>alpha</m>-диапазоне означает расслабление мозга, а <m>beta</m>-ритм, наоборот, связан с его активным состоянием. Таким образом, вместе <m>alpha</m>- и <m>beta</m>-ритмы могут использоваться для обнаружения эмоциональных (возбужденных и валентных) состояний ума. Для выделения <m>alpha</m>- и <m>beta</m>-полос частот в регистрируемом сигнале традиционно используется полосовой фильтр, а при работе с дискретными сигналами  —  быстрое преобразование Фурье.

Наиболее бюджетные ЭЭГ выпускаются компанией NeuroSky и оснащены единственным датчиком, и потому их применение в исследованиях UI/UX сводится к оценке изменений в концентрации внимания. Однако на рынке доступно несколько более сложных потребительских ЭЭГ-гарнитур, которые позволяют выполнять оценку эмоционального состояния пользователя, а иногда даже комплектуются коммерческим ПО для такой оценки.  Типичным примером с наиболее полным набором датчиков являются гарнитуры Emotiv EPOC/EPOC+ (она чаще используется в экспериментах). Эта гарнитура состоит из 14 электродов для сбора данных и 2 референсных электродов, которые позволяют отстраиваться от помех. Электроды размещены и промаркированы по международной системе 10—20<ref name="ramirez"/>. Для Emotiv EPOC это позиции <tt>AF3</tt>, <tt>F7</tt>, <tt>F3</tt>, <tt>FC5</tt>, <tt>T7</tt>, <tt>P7</tt>, <tt>O1</tt>, <tt>O2</tt>, <tt>P8</tt>, <tt>T8</tt>, <tt>FC6</tt>, <tt>F4</tt>, <tt>F8</tt> и <tt>AF4</tt>. Также достаточно совершенным решением являетя проект OpenBCI, доступный как свободное аппаратное обеспечение.

Коммерческие драйвера для гарнитур наподобие {\footnotesize Emotiv EPOC/EPOC+} позволяют регистировать ряд эмоциональных реакций (волнение, разочарование, вовлеченность, интерес, сосредоточеннность и т.д.), но их возможности и доступность под GNU/Linux достаточно ограничены. Свободные решения (например, проект Emokit для EPOC/EPOC+) только выводят необработанные сигналы с электродов гарнитуры, поэтому при использовании СПО для ЭЭГ приходится вычислять оценку эмоционального состояния самостоятельно. То же самое верно при использовании гарнитуры OpenBCI (однако при этом OpenBCI является более дорогим решением, а его самостоятельная сборка нетривиальна из-за того что часть используемых радиодеталей снята с производства и требует подбора аналогов по параметрам).

Для самостоятельной оценки эмоциональных состояний с помощью сигналов, регистрируемых электродами ЭЭГ-гарнитуры, можно использовать предложенный Дж. А. Расселом метод описания эмоций в виде точки в двумерном пространстве  —  циркумплекса. Две координатные оси представляют собой валентность и возбуждение, а расстояние от центральной точки  —  интенсивность. При классификации эмоций по этому методу необходимо определить, насколько положительные (валентность) и насколько сильные (возбуждение) эмоции ощущаются респондентами. Четыре сектора в этом пространстве  —  сильные отрицательные, сильные положительные, слабые отрицательные и слабые положительные эмоции. Поэтому классификация эмоциональных состояний предполагает их деление на высокое/низкое возбуждение и положительную/отрицательную валентность, на основании чего выделяют такие эмоции, как счастье, гнев, печаль, покой (например, счастье  —  это состояние с высоким возбуждением и положительной валентностью, а грусть  —  с низким возбуждением и отрицательной валентностью).

Уровень возбуждения можно определить, вычислив соотношение <m>beta</m>- и <m>alpha</m>-ритмов. Высокое возбуждение характеризуется большей мощностью <m>beta</m>-ритмов и низкой <m>alpha</m>-активностью, поэтому соотношение <m>beta</m>/<m>alpha</m> указывает на состояние возбуждения, в котором находится субъект. В то же время <m>beta</m>- и <m>alpha</m>-ритмы лучше всего измеряются в лобных и средних отделах головного мозга, поэтому целесообразно использовать сигналы, поступающие от электродов, расположенных на соответствующем участке черепа<ref name="niemic"/>. Согласно<ref name="ramirez"/>, достаточно измерить сигнал в четырех точках в области префронтальной коры: <tt>AF3</tt>, <tt>AF4</tt>, <tt>F3</tt> и <tt>F4</tt>.

<latex>
A = \frac{\beta_{AF3+AF4+F3+F4}}{\alpha_{AF3+AF4+F3+F4}}
</latex>

\noindent где <m>alpha</m> и <m>beta</m>  —  мощность <m>alpha</m>- и <m>beta</m>-ритмов, <tt>AF3</tt>, <tt>AF4</tt> и т.д.  —  сигналы от одноименных электродов.

Для оценки валентности, то есть положительного или отрицательного состояния, можно использовать разницу уровней активации двух полушарий коры головного мозга. По данным ряда исследований, положительное состояние связано с активацией областей в левом полушарии головного мозга, а отрицательное  —  в правом полушарии<ref>Winkler I. et al. <tt>Frontal EEG asymmetry based classification of emotional valence using common spatial patterns</tt> // World Academy of Science, Engineering and Technology, vol. 45, 2010.  —  pp. 373—378.</ref>. Эта связь не прямая: инактивация в левой лобной доле служит индикатором реакции отторжения, которая, в свою очередь, часто связана с негативной реакцией. Точно так же инактивация в правой лобной доле является показателем реакции, которая, в свою очередь, может указывать на положительную эмоцию.

Как уже упоминалось, высокая активность в <m>alpha</m>-диапазоне является признаком низкой активности мозга, и наоборот. Таким образом, увеличение <m>alpha</m>-ритмов на фоне снижения <m>beta</m>-ритмов может быть связано с инактивацией коры<ref name="niemic"/>. Для измерения такой <m>alpha</m>-активности чаще всего используют точки <tt>F3</tt> и <tt>F4</tt>, так как они расположены в префронтальной области, играющей важнейшую роль в регуляции эмоций. При этом следует учитывать, что, согласно имеющимся исследованиям, различия в активности полушарий являются не признаком аффективной валентности, а скорее указанием на мотивационную направленность (притягательность или неприятие стимула)<ref name="harmon">Harmon-Jones E. <tt>Clarifying the emotive functions of asymmetrical frontal corticalactivity</tt> // Psychophysiology, iss. 40(6), 2003.  —  pp. 838—848.</ref>. Однако, поскольку аффективная валентность обычно относится к мотивационной направленности, сравнение активации полушарий по-прежнему служит практическим методом определения валентности. Таким образом, для оценки валентности можно сравнить интенсивности <m>alpha</m>- и <m>beta</m>-ритмов на электродах <tt>F3</tt> и <tt>F4</tt>Matlovich T. <tt>Emotion Detection using EPOC EEG device</tt> // Informatics and Information Technologies Student Research Conference.  —  Bratislava, Slovakia, April 28, 2016.  —  pp. 1—6.</ref>.

<latex>
V = \frac{\alpha_{F4}}{\beta_{F4}} - \frac{\alpha_{F3}}{\beta_{F3}}
</latex>

Как уже упоминалось, этот способ оценки эмоций требует доступа к необработанным данным с датчиков. В случае OpenBCI такой доступ является вариантом по-умолчанию; в случае гарнитур Emotive необработанные данные доступны в рамках более дорогих лицензий, предназначенных для исследователей, однако эти же данные позволяет получить свободная библиотека Emokit. В комплекте с Emokit идёт только простой пример консольного вывода значений с датчиков и качества контакта, поэтому на пользователя полностью ложатся также и задачи калибровки контакта электродов, отбора значений их и частотной фильтрации. К Emokit существует несколько фротэндов [https://github.com/EmokitAlife/EmokitVisualizer] [https://github.com/xribene/Emokit_Epoc_GUI] [https://github.com/tahesse/CyKITv2], упрощающих эту задачу. Наиболее развитый из них  —  [https://github.com/EmokitAlife/EmokitVisualizer EmokitVisualizer] —  одновременно наименее доступен конечному пользователю из-за крайне чувствительного к вариациям набора устаревших зависимостей (требуется найти работоспособную комбинацию из нескольких модулей для Python, Qt4 и WxWidgets неуказанных автором версий). Более доступен фронтэнд на веб-технологиях [https://github.com/tahesse/CyKITv2 CyKITv2] (также находящийся в неактивной разработке). Альтернатива  —  прямое использование Emokit в собственной программной разработке на Python или Java.

{{----}}
[[File:{{#setmainimage:Использование свободного программного обеспечения для ЭЭГ-мониторинга психического состояния пользователя в исследовании UX-UI (Антип Шульган, OSEDUCONF-2023)!.jpg}}|center|640px]]
{{LinksSection}}
<!-- <blockquote>[©]</blockquote> -->

<references/>

[[Категория:OSEDUCONF-2023]]
[[Категория:Draft]]
[[Категория:СПО в образовании]]