Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017) — различия между версиями

Материал из 0x1.tv

(Batch edit: replace PCRE (\n\n)+(\n) with \2)
 
(не показано 45 промежуточных версий этого же участника)
;{{SpeakerInfo}}: {{Speaker|Анастасия Маркина}}
<blockquote>
Представлен анализ технологии окулографии с учетом физиологических и психологических особенностей человека, а также возможные
пути использования современных окулографических устройств (айтрекеров) для отслеживания направления взгляда пользователей Linux-систем. 

Обсуждаются особенности и степень работоспособности программных и аппаратных реализаций. 

Приводится схема эксперимента, использованная авторами для исследований взаимодействия пользователя с графическими приложениями в GNU/Linux. Выведены ограничения использования, особенности анализа результатов на основе интерпретации визуальной информации.
</blockquote>


{{VideoSection}}

{{vimeoembed|235962243|800|450}}
<!-- {{youtubelink|}} -->
|E_8lU9_Ds1g}}{{letscomment}}
{{SlidesSection}}
[[File:Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf|left|page=-|300px]]

{{----}}

== Thesis ==

=== Особенности окулографических исследований ===

Окулография или айтрекинг  —  это анализ движения взгляда пользователя, зон визуальной фокализации, на которых концентрируется взгляд, а в более узком смысле  —  определение точки пересечения оптической оси глазного яблока и наблюдаемого на экране объекта. В отличие от других методик UI-тестирования, в этом случае испытуемые не комментируют свои действия. Поскольку окулографические исследования позволяют избежать искажений, вызванных вербализацией, они  достаточно актуальны при исследовании эргономики графических приложений. 

В устройстве современных айтрекеров обычно используются цифровые камеры, которые снимают с высокой частотой кадров глаза пользователя и регистрируют их движения. Айтрекер монтируется на голову испытуемого, либо располагается в поле зрения стационарно и автоматически отслеживает движения головы.

Можно выделить следующие направления применения айтрекера в задачах оценки эффективности человеко-машинного взаимодействия:

*  определение причин UX-проблем, связанных с заметностью 	элементов, точками фокуса внимания, ментальной нагрузкой и отвлечением внимания;
*  определение особенностей поведения пользователей: стратегий визуального поиска, паттернов чтения и сканирования;
*  сравнение нескольких дизайнерских решений (в сочетании с другими видами тестирования: анкетированием, биометрической оценкой и др.).


=== Возможности применения в GNU/Linux ===

Разработчики, желающие выполнить тестирование ПО для GNU/\-Linux с помощью айтрекера, имеют несколько вариантов действий. Наиболее бюджетный вариант  —  использование программного решения. Несколько свободных проектов (различной степени завершённости и кроссплатформенности) 
реализуют распознавание лица и глаз пользователя с помощью веб-камеры: eviacam, TrackEye, WebGazer.js. Хотя их можно использовать 
для отслеживания направления взгляда<ref><i>Semmelmann K., Weigelt S.</i> Online webcambased eye tracking in cognitive science: A first look // Behav. Res. 2017. [http://rdcu.be/tjzF]</ref>,  на результат существенно влияют такие ограничения веб-камеры, как  частота кадров, эффективная точность позиционирования взгляда (вдвое меньше разрешения камеры), ограничения в распознавании поворота головы. На противоположном конце шкалы находятся профессиональные айтрекеры, рассчитанные на исследовательские лаборатории с большим бюджетом. Некоторые из них являются Linux-совместимыми (предоставляют драйвера либо позволяют получать данные по сети). Однако существует компромиссное решение  —  использование их аналогов, ориентированных на сферу развлечений, которые позволяют добиться точности, 
достаточной для решения ряда исследовательских задач<ref><i>Titz J., Scholz A., Sedlmeier P.</i> Comparing eye trackers by correlating their eyemetric data // Behav. Res. 2017. [https://www.ncbi.nlm.nih.gov/pubmed/28879442].</ref><ref>\bibitem{eye3k} <i>Gibaldi A. et al.</i> Evaluation of the Tobii EyeX Eye tracking controller and Matlab toolkit for research // Behav. Res. V. 49, 2017. P.923—946.</ref>

Айтрекеры этой последней категории, производимые компанией Tobii, использовали совместно с  GNU/Linux и авторы  настоящей работы.

Айтрекеры Tobii делятся на дорогостоящую профессиональную серию Tobii Pro и устройства потребительского сегмента, для которых производитель изначально разработал два вида SDK: низкоуровневый кроссплатформенный Gaze SDK и более простой в применении EyeX SDK. Авторами опробованы два айтрекера, Tobii REX (совместимый с Gaze) и Tobii EyeX. Оба айтрекера  —  компактные устройства, размещаемые непосредственно под дисплеем ноутбука либо ПК и подключаемые к интерфейсу USB 3.

К сожалению, Gaze SDK объявлен устаревшим, и компания Tobii энергично занимается избавлением пользователей от возможности какого-либо доступа к его кросс-платформенным вариантам в результате таинственного разочарования в собственном ПО. Взамен Gaze SDK Tobii предлагает новый вариант, Core SDK 2017 г. выпуска, в котором заявлена совместимость с~GNU/Linux и MacOS. Однако на текущий момент распространяются только его Windows-версии.

В результате, на текущий момент единственной работоспособной схемой отслеживания взгляда Linux-пользователей является следующая. В состав рабочего места входят два компьютера: ПК1, работающий под управлением MS Windows нужной версии, и ПК2 с Linux и ПО для тестирования. Айтрекер закрепляется на корпусе ПК2 так, чтобы распознать лицо оператора, но электрическое подключение айтрекера выполняется к разъему USB3 ПК1. На ПК1 выполняется калибровка и приём данных, а пользователь находится перед ПК2 и выполняет тестовые задания. Возможны две разновидности данной схемы:


*  применяются два ноутбука  —  например, поставленные «встык», как показано на рис. слева. Схема предусматривает два посадочных места: экспериментатора, и подопытного, выполняющего тестовые задания.
*  ПК1 подключен к сети в режиме сервера, и может не иметь дисплея (headless mode). Изображение с ПК1 через клиент удалённого доступа поступает в отдельное графическое окно, отображаемое на дисплее ПК2.

	
[[File:Применение айтрекеров для юзабилити-исследований ПО в GNU-Linux-Схема подключения айтрекера-image5.png|left|480px]]
[[File:Применение айтрекеров для юзабилити-исследований ПО в GNU-Linux-Схема подключения айтрекера-image2.png|right|480px]]

{{----}}

Заметим, что очевидное решение с помещением MS Windows в виртуальную машину является проблематичным из-за  требований Tobii к версии и пропускной способности шины USB.

=== Специфика интерпретации результатов ===

Результатом работы айтрекера является массив координат, соответствующих положению взгляда в различные моменты времени. При его интерпретации необходимо учитывать разницу между периферическим и центральным зрением. Центральное зрение предоставляет информацию о мелких деталях изображения, но охватывает достаточно малую часть поля зрения. В результате информация поступает с помощью зрительной выборки, а периферическое зрение указывает центральному на следующую 
точку фокусировки взгляда<ref> <i>Ludwig C.J.H.,  Davies J.R., Eckstein M.P.</i> Foveal Analysis and Peripheral Selection during Active Visual Sampling. // Proc. of the National Academy of Sciences of the USA. V. 111(2), 2014. P. E291--E299.</ref>. 

Фактически, взгляд перемещается быстрыми скачками (саккадами) с короткими паузами между ними (фиксациями). Так, при работе с текстом за одну саккаду считывается 7 -- 9 букв (рис. \ref{ris2}), а продолжительность фиксации составляет около 250 миллисекунд, но восприятие распространяется на вдвое большее число букв из-за участия 
периферического зрения<ref>\bibitem{goodman} <i>Goodman K.S.</i> On Reading. / Portsmouth, NH: Heinemann, 1996. 152 p</ref>

[[File:Применение айтрекеров для юзабилити-исследований ПО в GNU-Linux-Саккады при работе с текстом.png|center]]

 
При исследовании движений глаз анализируется только центральное зрение, а периферическое не учитывается. Поэтому при интерпретации результатов важно избегать «ошибки выжившего»: например, если взгляд часто фиксируется на каких-то элементах управления, это может быть свидетельством не их востребованности и удачного расположения, а временного сбоя когнитивных процессов, вызванного связанной с ними информационной перегрузкой.

В общем случае при проведении UX-исследований с использованием айтрекера учитывают такие параметры:
*  число фиксаций;
*  длительность каждой фиксации;
*  время до первой фиксации;
*  длительность первой фиксации;
*  общее число фиксаций;
*  сколько было фиксаций до посещения зоны интереса;
*  общее время фиксаций.


Наглядная визуализация результатов отслеживания взгляда предусматривает два варианта:
*  построение тепловой карты, подсвечивающей части рабочего окна программы в зависимости от интенсивности фиксации взгляда (разновидность  — «туманная карта», скрывающая части изображения, не привлекавшие внимание пользователя);
* построение карты перемещения взгляда во времени.


В обоих случаях это предполагает наложение соответствующей карты на изображение, с которым работал пользователь, либо на результат видеопротоколирования. При обработке в GNU/Linux для построения тепловых карт по координатам удобно использовать математические пакеты общего назначения (например octave), а в случае карты перемещения взгляда  — ПО отрисовки графов (graphviz).


{{LinksSection}}
<!-- <blockquote>[©]</blockquote> -->

* [https://www.itweek.ru/foss/blog/foss/9780.php Про участие непрограммистов в проектах СПО]

{{fblink|1949232695329742}}                                          
{{vklink|727}}                                          
<references/>
[[File:{{#setmainimage:Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017)!.jpg}}|center|640px]]

{{stats|disqus_comments=2|refresh_time=2021-08-31T18:00:10.469132|vimeo_comments=0|vimeo_plays=62|youtube_comments=0|youtube_plays=65}}

[[Категория:OSSDEVCONF-2017]]
[[Категория:Юзабилити исследования]]
[[Категория:Open-source projects]]

Текущая версия на 12:22, 4 сентября 2021

Докладчик
Анастасия Маркина.jpg
Анастасия Маркина

Представлен анализ технологии окулографии с учетом физиологических и психологических особенностей человека, а также возможные пути использования современных окулографических устройств (айтрекеров) для отслеживания направления взгляда пользователей Linux-систем.

Обсуждаются особенности и степень работоспособности программных и аппаратных реализаций.

Приводится схема эксперимента, использованная авторами для исследований взаимодействия пользователя с графическими приложениями в GNU/Linux. Выведены ограничения использования, особенности анализа результатов на основе интерпретации визуальной информации.

Видео

on youtube

Посмотрели доклад? Понравился? Напишите комментарий! Не согласны? Тем более напишите.

Презентация

Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017).pdf

Thesis

Особенности окулографических исследований

Окулография или айтрекинг — это анализ движения взгляда пользователя, зон визуальной фокализации, на которых концентрируется взгляд, а в более узком смысле — определение точки пересечения оптической оси глазного яблока и наблюдаемого на экране объекта. В отличие от других методик UI-тестирования, в этом случае испытуемые не комментируют свои действия. Поскольку окулографические исследования позволяют избежать искажений, вызванных вербализацией, они достаточно актуальны при исследовании эргономики графических приложений.

В устройстве современных айтрекеров обычно используются цифровые камеры, которые снимают с высокой частотой кадров глаза пользователя и регистрируют их движения. Айтрекер монтируется на голову испытуемого, либо располагается в поле зрения стационарно и автоматически отслеживает движения головы.

Можно выделить следующие направления применения айтрекера в задачах оценки эффективности человеко-машинного взаимодействия:

  • определение причин UX-проблем, связанных с заметностью элементов, точками фокуса внимания, ментальной нагрузкой и отвлечением внимания;
  • определение особенностей поведения пользователей: стратегий визуального поиска, паттернов чтения и сканирования;
  • сравнение нескольких дизайнерских решений (в сочетании с другими видами тестирования: анкетированием, биометрической оценкой и др.).

Возможности применения в GNU/Linux

Разработчики, желающие выполнить тестирование ПО для GNU/\-Linux с помощью айтрекера, имеют несколько вариантов действий. Наиболее бюджетный вариант — использование программного решения. Несколько свободных проектов (различной степени завершённости и кроссплатформенности) реализуют распознавание лица и глаз пользователя с помощью веб-камеры: eviacam, TrackEye, WebGazer.js. Хотя их можно использовать для отслеживания направления взгляда[1], на результат существенно влияют такие ограничения веб-камеры, как частота кадров, эффективная точность позиционирования взгляда (вдвое меньше разрешения камеры), ограничения в распознавании поворота головы. На противоположном конце шкалы находятся профессиональные айтрекеры, рассчитанные на исследовательские лаборатории с большим бюджетом. Некоторые из них являются Linux-совместимыми (предоставляют драйвера либо позволяют получать данные по сети). Однако существует компромиссное решение — использование их аналогов, ориентированных на сферу развлечений, которые позволяют добиться точности, достаточной для решения ряда исследовательских задач[2][3]

Айтрекеры этой последней категории, производимые компанией Tobii, использовали совместно с GNU/Linux и авторы настоящей работы.

Айтрекеры Tobii делятся на дорогостоящую профессиональную серию Tobii Pro и устройства потребительского сегмента, для которых производитель изначально разработал два вида SDK: низкоуровневый кроссплатформенный Gaze SDK и более простой в применении EyeX SDK. Авторами опробованы два айтрекера, Tobii REX (совместимый с Gaze) и Tobii EyeX. Оба айтрекера — компактные устройства, размещаемые непосредственно под дисплеем ноутбука либо ПК и подключаемые к интерфейсу USB 3.

К сожалению, Gaze SDK объявлен устаревшим, и компания Tobii энергично занимается избавлением пользователей от возможности какого-либо доступа к его кросс-платформенным вариантам в результате таинственного разочарования в собственном ПО. Взамен Gaze SDK Tobii предлагает новый вариант, Core SDK 2017 г. выпуска, в котором заявлена совместимость с~GNU/Linux и MacOS. Однако на текущий момент распространяются только его Windows-версии.

В результате, на текущий момент единственной работоспособной схемой отслеживания взгляда Linux-пользователей является следующая. В состав рабочего места входят два компьютера: ПК1, работающий под управлением MS Windows нужной версии, и ПК2 с Linux и ПО для тестирования. Айтрекер закрепляется на корпусе ПК2 так, чтобы распознать лицо оператора, но электрическое подключение айтрекера выполняется к разъему USB3 ПК1. На ПК1 выполняется калибровка и приём данных, а пользователь находится перед ПК2 и выполняет тестовые задания. Возможны две разновидности данной схемы:

  • применяются два ноутбука — например, поставленные «встык», как показано на рис. слева. Схема предусматривает два посадочных места: экспериментатора, и подопытного, выполняющего тестовые задания.
  • ПК1 подключен к сети в режиме сервера, и может не иметь дисплея (headless mode). Изображение с ПК1 через клиент удалённого доступа поступает в отдельное графическое окно, отображаемое на дисплее ПК2.


Применение айтрекеров для юзабилити-исследований ПО в GNU-Linux-Схема подключения айтрекера-image5.png
Применение айтрекеров для юзабилити-исследований ПО в GNU-Linux-Схема подключения айтрекера-image2.png

Заметим, что очевидное решение с помещением MS Windows в виртуальную машину является проблематичным из-за требований Tobii к версии и пропускной способности шины USB.

Специфика интерпретации результатов

Результатом работы айтрекера является массив координат, соответствующих положению взгляда в различные моменты времени. При его интерпретации необходимо учитывать разницу между периферическим и центральным зрением. Центральное зрение предоставляет информацию о мелких деталях изображения, но охватывает достаточно малую часть поля зрения. В результате информация поступает с помощью зрительной выборки, а периферическое зрение указывает центральному на следующую точку фокусировки взгляда[4].

Фактически, взгляд перемещается быстрыми скачками (саккадами) с короткими паузами между ними (фиксациями). Так, при работе с текстом за одну саккаду считывается 7 -- 9 букв, а продолжительность фиксации составляет около 250 миллисекунд, но восприятие распространяется на вдвое большее число букв из-за участия периферического зрения[5]

Применение айтрекеров для юзабилити-исследований ПО в GNU-Linux-Саккады при работе с текстом.png


При исследовании движений глаз анализируется только центральное зрение, а периферическое не учитывается. Поэтому при интерпретации результатов важно избегать «ошибки выжившего»: например, если взгляд часто фиксируется на каких-то элементах управления, это может быть свидетельством не их востребованности и удачного расположения, а временного сбоя когнитивных процессов, вызванного связанной с ними информационной перегрузкой.

В общем случае при проведении UX-исследований с использованием айтрекера учитывают такие параметры:

  • число фиксаций;
  • длительность каждой фиксации;
  • время до первой фиксации;
  • длительность первой фиксации;
  • общее число фиксаций;
  • сколько было фиксаций до посещения зоны интереса;
  • общее время фиксаций.

Наглядная визуализация результатов отслеживания взгляда предусматривает два варианта:

  • построение тепловой карты, подсвечивающей части рабочего окна программы в зависимости от интенсивности фиксации взгляда (разновидность — «туманная карта», скрывающая части изображения, не привлекавшие внимание пользователя);
  • построение карты перемещения взгляда во времени.

В обоих случаях это предполагает наложение соответствующей карты на изображение, с которым работал пользователь, либо на результат видеопротоколирования. При обработке в GNU/Linux для построения тепловых карт по координатам удобно использовать математические пакеты общего назначения (например octave), а в случае карты перемещения взгляда — ПО отрисовки графов (graphviz).

Примечания и ссылки

  1. Semmelmann K., Weigelt S. Online webcambased eye tracking in cognitive science: A first look // Behav. Res. 2017. [1]
  2. Titz J., Scholz A., Sedlmeier P. Comparing eye trackers by correlating their eyemetric data // Behav. Res. 2017. [2].
  3. Gibaldi A. et al. Evaluation of the Tobii EyeX Eye tracking controller and Matlab toolkit for research // Behav. Res. V. 49, 2017. P.923—946.
  4. Ludwig C.J.H., Davies J.R., Eckstein M.P. Foveal Analysis and Peripheral Selection during Active Visual Sampling. // Proc. of the National Academy of Sciences of the USA. V. 111(2), 2014. P. E291--E299.
  5. Goodman K.S. On Reading. / Portsmouth, NH: Heinemann, 1996. 152 p
Применение айтрекеров для юзабилити-исследований ПО в GNU Linux (Анастасия Маркина, OSSDEVCONF-2017)!.jpg

Plays:127   Comments:2