Использование свободного программного обеспечения для ЭЭГ-мониторинга психического состояния пользователя в исследовании UX-UI (Антип Шульган, OSEDUCONF-2023) — различия между версиями

Материал из 0x1.tv

== Thesis ==

Оценка состояния пользователя с помощью специальных измерительных устройств в процессе работы с программным или аппаратным продуктом может заметно упростить выявление узких мест эргономики (в особенности с учетом повысившейся в последние годы доступности биометрических устройств). Наиболее просты в применении средства изменения пульса, отслеживания взгляда, и наиболее примитивные электроэнцефалографы, позволяющие отследить концентрацию внимания. Однако более полноценное детектирование эмоций с помощью электроэнцефалографии (ЭЭГ) является существенно более сложной задачей.

Как известно, ЭЭГ основана на детектировании колебательных электрических процессов, регистрируемых на электродах, размещенных на поверхности головы, и является результатом электрической суммации и фильтрации элементарных процессов в нейронах. Измерения активности коры искажаются тканями и костями черепа, что вносит дополнительный шум и снижает интенсивность сигналов; тем не менее, измерения ЭЭГ дают важную информацию об электрической активности коры головного мозга. Частота сигналов ЭЭГ находится в диапазоне 1—80 Гц, а амплитуды сигналов варьируются от 10 до 100 мкВ<ref name="kandel">Kandel E.R. et al.  <tt>Principles of Neural Science</tt>. Mc Graw Hill, 2012  —  1760&nbsp;p.</ref>.

Одной из основных характеристик ЭЭГ является частота. По историческим причинам используют частотную классификацию по визуально"=различимым диапазонам (<m>alpha</m>  —  8..14 Гц, <m>\beta</m>  —  14..40 Гц, <m>\theta</m>  —  4..8 Гц , <m>\delta</m>  —  1..4 Гц, <m>\gamma</m>  —  выше 40 Гц и т. д.). В зависимости от диапазона частот, а также амплитуды, формы волны, топографии и типа отклика различают <m>\alpha</m>-ритм ЭЭГ, <m>\beta</m>-ритм и т.д. Наиболее информативными для заявленной темы являются <m>\alpha</m>-ритмы и <m>\beta</m>-ритмы<ref name="niemic">Niemic C.P. <tt>Studies of emotion: A theoretical and empirical review of psychophysiological studies of emotion</tt> // Journal of Undergraduate Research, v. 1, 2002. pp. 15—18.</ref>. Их поддиапазоны не перекрываются источниками естественных шумов организма (таких, как движения глаз и моргание, сердечная деятельность,  мышечная активность)<ref name="ramirez">Ramirez R., Vamvakousis Z. <tt>Detecting Emotion from EEG Signals Using the Emotive Epoc Device. Lecture Notes in Computer Science</tt>, v. 7670.  —  Springer, 2012.  —  p. 175—184.</ref>, а посторонние артефакты от линий электропередач обычно присутствуют выше 50 Гц. Поэтому большая часть постороннего шума в <m>\alpha</m>- и <m>\beta</m>-диапазонах значительно снижена. Высокая активность в <m>\alpha</m>-диапазоне означает расслабление мозга, а <m>\beta</m>-ритм, наоборот, связан с его активным состоянием. Таким образом, вместе <m>\alpha</m>- и <m>\beta</m>-ритмы могут использоваться для обнаружения эмоциональных (возбужденных и валентных) состояний ума. Для выделения <m>\alpha</m>- и <m>\beta</m>-полос частот в регистрируемом сигнале традиционно используется полосовой фильтр, а при работе с дискретными сигналами  —  быстрое преобразование Фурье.

Наиболее бюджетные ЭЭГ выпускаются компанией NeuroSky и оснащены единственным датчиком, и потому их применение в исследованиях UI/UX сводится к оценке изменений в концентрации внимания. Однако на рынке доступно несколько более сложных потребительских ЭЭГ-гарнитур, которые позволяют выполнять оценку эмоционального состояния пользователя, а иногда даже комплектуются коммерческим ПО для такой оценки.  Типичным примером с наиболее полным набором датчиков являются гарнитуры Emotiv EPOC/EPOC+ (она чаще используется в экспериментах). Эта гарнитура состоит из 14 электродов для сбора данных и 2 референсных электродов, которые позволяют отстраиваться от помех. Электроды размещены и промаркированы по международной системе 10—20<ref name="ramirez"/>. Для Emotiv EPOC это позиции <tt>AF3</tt>, <tt>F7</tt>, <tt>F3</tt>, <tt>FC5</tt>, <tt>T7</tt>, <tt>P7</tt>, <tt>O1</tt>, <tt>O2</tt>, <tt>P8</tt>, <tt>T8</tt>, <tt>FC6</tt>, <tt>F4</tt>, <tt>F8</tt> и <tt>AF4</tt>. Также достаточно совершенным решением являетя проект OpenBCI, доступный как свободное аппаратное обеспечение.

Коммерческие драйвера для гарнитур наподобие {\footnotesize Emotiv EPOC/EPOC+} позволяют регистировать ряд эмоциональных реакций (волнение, разочарование, вовлеченность, интерес, сосредоточеннность и т.д.), но их возможности и доступность под GNU/Linux достаточно ограничены. Свободные решения (например, проект Emokit для EPOC/EPOC+) только выводят необработанные сигналы с электродов гарнитуры, поэтому при использовании СПО для ЭЭГ приходится вычислять оценку эмоционального состояния самостоятельно. То же самое верно при использовании гарнитуры OpenBCI (однако при этом OpenBCI является более дорогим решением, а его самостоятельная сборка нетривиальна из-за того что часть используемых радиодеталей снята с производства и требует подбора аналогов по параметрам).

Для самостоятельной оценки эмоциональных состояний с помощью сигналов, регистрируемых электродами ЭЭГ-гарнитуры, можно использовать предложенный Дж. А. Расселом метод описания эмоций в виде точки в двумерном пространстве  —  циркумплекса. Две координатные оси представляют собой валентность и возбуждение, а расстояние от центральной точки  —  интенсивность. При классификации эмоций по этому методу необходимо определить, насколько положительные (валентность) и насколько сильные (возбуждение) эмоции ощущаются респондентами. Четыре сектора в этом пространстве  —  сильные отрицательные, сильные положительные, слабые отрицательные и слабые положительные эмоции. Поэтому классификация эмоциональных состояний предполагает их деление на высокое/низкое возбуждение и положительную/отрицательную валентность, на основании чего выделяют такие эмоции, как счастье, гнев, печаль, покой (например, счастье  —  это состояние с высоким возбуждением и положительной валентностью, а грусть  —  с низким возбуждением и отрицательной валентностью).

Уровень возбуждения можно определить, вычислив соотношение <m>\beta</m>- и <m>\alpha</m>-ритмов. Высокое возбуждение характеризуется большей мощностью <m>\beta</m>-ритмов и низкой <m>\alpha</m>-активностью, поэтому соотношение <m>\beta</m>/<m>\alpha</m> указывает на состояние возбуждения, в котором находится субъект. В то же время <m>\beta</m>- и <m>\alpha</m>-ритмы лучше всего измеряются в лобных и средних отделах головного мозга, поэтому целесообразно использовать сигналы, поступающие от электродов, расположенных на соответствующем участке черепа<ref name="niemic"/>. Согласно<ref name="ramirez"/>, достаточно измерить сигнал в четырех точках в области префронтальной коры: <tt>AF3</tt>, <tt>AF4</tt>, <tt>F3</tt> и <tt>F4</tt>.

<latex>
A = \frac{\beta_{AF3+AF4+F3+F4}}{\alpha_{AF3+AF4+F3+F4}}
</latex>

\noindent где <m>\alpha</m> и <m>\beta</m>  —  мощность <m>\alpha</m>- и <m>\beta</m>-ритмов, <tt>AF3</tt>, <tt>AF4</tt> и т.д.  —  сигналы от одноименных электродов.

Для оценки валентности, то есть положительного или отрицательного состояния, можно использовать разницу уровней активации двух полушарий коры головного мозга. По данным ряда исследований, положительное состояние связано с активацией областей в левом полушарии головного мозга, а отрицательное  —  в правом полушарии<ref>Winkler I. et al. <tt>Frontal EEG asymmetry based classification of emotional valence using common spatial patterns</tt> // World Academy of Science, Engineering and Technology, vol. 45, 2010.  —  pp. 373—378.</ref>. Эта связь не прямая: инактивация в левой лобной доле служит индикатором реакции отторжения, которая, в свою очередь, часто связана с негативной реакцией. Точно так же инактивация в правой лобной доле является показателем реакции, которая, в свою очередь, может указывать на положительную эмоцию.

Как уже упоминалось, высокая активность в <m>\alpha</m>-диапазоне является признаком низкой активности мозга, и наоборот. Таким образом, увеличение <m>\alpha</m>-ритмов на фоне снижения <m>\beta</m>-ритмов может быть связано с инактивацией коры<ref name="niemic"/>. Для измерения такой <m>\alpha</m>-активности чаще всего используют точки <tt>F3</tt> и <tt>F4</tt>, так как они расположены в префронтальной области, играющей важнейшую роль в регуляции эмоций. При этом следует учитывать, что, согласно имеющимся исследованиям, различия в активности полушарий являются не признаком аффективной валентности, а скорее указанием на мотивационную направленность (притягательность или неприятие стимула)<ref name="harmon">Harmon-Jones E. <tt>Clarifying the emotive functions of asymmetrical frontal corticalactivity</tt> // Psychophysiology, iss. 40(6), 2003.  —  pp. 838—848.</ref>. Однако, поскольку аффективная валентность обычно относится к мотивационной направленности, сравнение активации полушарий по-прежнему служит практическим методом определения валентности. Таким образом, для оценки валентности можно сравнить интенсивности <m>\alpha</m>- и <m>\beta</m>-ритмов на электродах <tt>F3</tt> и <tt>F4</tt>Matlovich T. <tt>Emotion Detection using EPOC EEG device</tt> // Informatics and Information Technologies Student Research Conference.  —  Bratislava, Slovakia, April 28, 2016.  —  pp. 1—6.</ref>.

<latex>
V = \frac{\alpha_{F4}}{\beta_{F4}} - \frac{\alpha_{F3}}{\beta_{F3}}
</latex>

Как уже упоминалось, этот способ оценки эмоций требует доступа к необработанным данным с датчиков. В случае OpenBCI такой доступ является вариантом по-умолчанию; 

Версия 17:59, 18 января 2024

Докладчик
Антип Шульган

В докладе рассматривается применение электроэнцефалографов потребительского уровня (изделий производства компаний NeuroSky и Emotiv, а также открытого проекта OpenBCI) для оценки эмоционального состояния пользователя в процессе человеко-машинного взаимодействия. Каждое устройство имеет свои преимущества и недостатки для исследования UI/UX. Рассматриваются особенности доступных к получению данных, обсуждаются существующие инструменты с открытым исходным кодом для получения этих данных, а подход к оценке эмоционального состояния, который можно использовать для распознавания положительных и отрицательных эмоций пользователя.

Видео

Презентация

Thesis

Оценка состояния пользователя с помощью специальных измерительных устройств в процессе работы с программным или аппаратным продуктом может заметно упростить выявление узких мест эргономики (в особенности с учетом повысившейся в последние годы доступности биометрических устройств). Наиболее просты в применении средства изменения пульса, отслеживания взгляда, и наиболее примитивные электроэнцефалографы, позволяющие отследить концентрацию внимания. Однако более полноценное детектирование эмоций с помощью электроэнцефалографии (ЭЭГ) является существенно более сложной задачей.

Как известно, ЭЭГ основана на детектировании колебательных электрических процессов, регистрируемых на электродах, размещенных на поверхности головы, и является результатом электрической суммации и фильтрации элементарных процессов в нейронах. Измерения активности коры искажаются тканями и костями черепа, что вносит дополнительный шум и снижает интенсивность сигналов; тем не менее, измерения ЭЭГ дают важную информацию об электрической активности коры головного мозга. Частота сигналов ЭЭГ находится в диапазоне 1—80 Гц, а амплитуды сигналов варьируются от 10 до 100 мкВ[1].

Одной из основных характеристик ЭЭГ является частота. По историческим причинам используют частотную классификацию по визуально"=различимым диапазонам ( — 8..14 Гц, — 14..40 Гц, — 4..8 Гц , — 1..4 Гц, — выше 40 Гц и т. д.). В зависимости от диапазона частот, а также амплитуды, формы волны, топографии и типа отклика различают -ритм ЭЭГ, -ритм и т.д. Наиболее информативными для заявленной темы являются -ритмы и -ритмы[2]. Их поддиапазоны не перекрываются источниками естественных шумов организма (таких, как движения глаз и моргание, сердечная деятельность, мышечная активность)[3], а посторонние артефакты от линий электропередач обычно присутствуют выше 50 Гц. Поэтому большая часть постороннего шума в - и -диапазонах значительно снижена. Высокая активность в -диапазоне означает расслабление мозга, а -ритм, наоборот, связан с его активным состоянием. Таким образом, вместе - и -ритмы могут использоваться для обнаружения эмоциональных (возбужденных и валентных) состояний ума. Для выделения - и -полос частот в регистрируемом сигнале традиционно используется полосовой фильтр, а при работе с дискретными сигналами — быстрое преобразование Фурье.

Наиболее бюджетные ЭЭГ выпускаются компанией NeuroSky и оснащены единственным датчиком, и потому их применение в исследованиях UI/UX сводится к оценке изменений в концентрации внимания. Однако на рынке доступно несколько более сложных потребительских ЭЭГ-гарнитур, которые позволяют выполнять оценку эмоционального состояния пользователя, а иногда даже комплектуются коммерческим ПО для такой оценки. Типичным примером с наиболее полным набором датчиков являются гарнитуры Emotiv EPOC/EPOC+ (она чаще используется в экспериментах). Эта гарнитура состоит из 14 электродов для сбора данных и 2 референсных электродов, которые позволяют отстраиваться от помех. Электроды размещены и промаркированы по международной системе 10—20[3]. Для Emotiv EPOC это позиции AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8 и AF4. Также достаточно совершенным решением являетя проект OpenBCI, доступный как свободное аппаратное обеспечение.

Коммерческие драйвера для гарнитур наподобие {\footnotesize Emotiv EPOC/EPOC+} позволяют регистировать ряд эмоциональных реакций (волнение, разочарование, вовлеченность, интерес, сосредоточеннность и т.д.), но их возможности и доступность под GNU/Linux достаточно ограничены. Свободные решения (например, проект Emokit для EPOC/EPOC+) только выводят необработанные сигналы с электродов гарнитуры, поэтому при использовании СПО для ЭЭГ приходится вычислять оценку эмоционального состояния самостоятельно. То же самое верно при использовании гарнитуры OpenBCI (однако при этом OpenBCI является более дорогим решением, а его самостоятельная сборка нетривиальна из-за того что часть используемых радиодеталей снята с производства и требует подбора аналогов по параметрам).

Для самостоятельной оценки эмоциональных состояний с помощью сигналов, регистрируемых электродами ЭЭГ-гарнитуры, можно использовать предложенный Дж. А. Расселом метод описания эмоций в виде точки в двумерном пространстве — циркумплекса. Две координатные оси представляют собой валентность и возбуждение, а расстояние от центральной точки — интенсивность. При классификации эмоций по этому методу необходимо определить, насколько положительные (валентность) и насколько сильные (возбуждение) эмоции ощущаются респондентами. Четыре сектора в этом пространстве — сильные отрицательные, сильные положительные, слабые отрицательные и слабые положительные эмоции. Поэтому классификация эмоциональных состояний предполагает их деление на высокое/низкое возбуждение и положительную/отрицательную валентность, на основании чего выделяют такие эмоции, как счастье, гнев, печаль, покой (например, счастье — это состояние с высоким возбуждением и положительной валентностью, а грусть — с низким возбуждением и отрицательной валентностью).

Уровень возбуждения можно определить, вычислив соотношение - и -ритмов. Высокое возбуждение характеризуется большей мощностью -ритмов и низкой -активностью, поэтому соотношение / указывает на состояние возбуждения, в котором находится субъект. В то же время - и -ритмы лучше всего измеряются в лобных и средних отделах головного мозга, поэтому целесообразно использовать сигналы, поступающие от электродов, расположенных на соответствующем участке черепа[2]. Согласно[3], достаточно измерить сигнал в четырех точках в области префронтальной коры: AF3, AF4, F3 и F4.

\noindent где и — мощность - и -ритмов, AF3, AF4 и т.д. — сигналы от одноименных электродов.

Для оценки валентности, то есть положительного или отрицательного состояния, можно использовать разницу уровней активации двух полушарий коры головного мозга. По данным ряда исследований, положительное состояние связано с активацией областей в левом полушарии головного мозга, а отрицательное — в правом полушарии[4]. Эта связь не прямая: инактивация в левой лобной доле служит индикатором реакции отторжения, которая, в свою очередь, часто связана с негативной реакцией. Точно так же инактивация в правой лобной доле является показателем реакции, которая, в свою очередь, может указывать на положительную эмоцию.

Как уже упоминалось, высокая активность в -диапазоне является признаком низкой активности мозга, и наоборот. Таким образом, увеличение -ритмов на фоне снижения -ритмов может быть связано с инактивацией коры[2]. Для измерения такой -активности чаще всего используют точки F3 и F4, так как они расположены в префронтальной области, играющей важнейшую роль в регуляции эмоций. При этом следует учитывать, что, согласно имеющимся исследованиям, различия в активности полушарий являются не признаком аффективной валентности, а скорее указанием на мотивационную направленность (притягательность или неприятие стимула)[5]. Однако, поскольку аффективная валентность обычно относится к мотивационной направленности, сравнение активации полушарий по-прежнему служит практическим методом определения валентности. Таким образом, для оценки валентности можно сравнить интенсивности - и -ритмов на электродах F3 и F4Matlovich T. Emotion Detection using EPOC EEG device // Informatics and Information Technologies Student Research Conference. — Bratislava, Slovakia, April 28, 2016. — pp. 1—6.</ref>.

Как уже упоминалось, этот способ оценки эмоций требует доступа к необработанным данным с датчиков. В случае OpenBCI такой доступ является вариантом по-умолчанию; в случае гарнитур Emotive необработанные данные доступны в рамках более дорогих лицензий, предназначенных для исследователей, однако эти же данные позволяет получить свободная библиотека Emokit. В комплекте с Emokit идёт только простой пример консольного вывода значений с датчиков и качества контакта, поэтому на пользователя полностью ложатся также и задачи калибровки контакта электродов, отбора значений их и частотной фильтрации. К Emokit существует несколько фротэндов [1] [2] [3], упрощающих эту задачу. Наиболее развитый из них — EmokitVisualizer — одновременно наименее доступен конечному пользователю из-за крайне чувствительного к вариациям набора устаревших зависимостей (требуется найти работоспособную комбинацию из нескольких модулей для Python, Qt4 и WxWidgets неуказанных автором версий). Более доступен фронтэнд на веб-технологиях CyKITv2 (также находящийся в неактивной разработке). Альтернатива — прямое использование Emokit в собственной программной разработке на Python или Java.

Примечания и ссылки

  1. Kandel E.R. et al. Principles of Neural Science. Mc Graw Hill, 2012 — 1760 p.
  2. 2,0 2,1 2,2 Niemic C.P. Studies of emotion: A theoretical and empirical review of psychophysiological studies of emotion // Journal of Undergraduate Research, v. 1, 2002. pp. 15—18.
  3. 3,0 3,1 3,2 Ramirez R., Vamvakousis Z. Detecting Emotion from EEG Signals Using the Emotive Epoc Device. Lecture Notes in Computer Science, v. 7670. — Springer, 2012. — p. 175—184.
  4. Winkler I. et al. Frontal EEG asymmetry based classification of emotional valence using common spatial patterns // World Academy of Science, Engineering and Technology, vol. 45, 2010. — pp. 373—378.
  5. Harmon-Jones E. Clarifying the emotive functions of asymmetrical frontal corticalactivity // Psychophysiology, iss. 40(6), 2003. — pp. 838—848.