Проект открытого кода научных исследований ФКН (Михаил Гущин, OSEDUCONF-2024) — различия между версиями

Версия 07:26, 30 июля 2024

Докладчик: Михаил Гущин

На факультете компьютерных наук НИУ ВШЭ стартовал проект по открытому коду, где сотрудники и студенты могут разместить код своих проектов.
Расскажем, почему возникла необходимость в таком проекте, и какие цели стоят перед ним. Обсуждаем какую пользу, которую проект несёт для факультета и партнёров.
Также рассматриваем несколько примеров открытых библиотек, разработанных сотрудниками факультета.

Видео

Презентация

Thesis

Согласно отчёту о состоянии искусственного интеллекта (ИИ) от Университета Стэнфорда ^[1] в 2021 году были опубликованы более 290 000 статей в научных журналах в области ИИ. При этом только около 30% публикаций имеют хотя бы одну открытую реализацию в коде, согласно статистике сайта статей с открытым кодом^[2]].

Открытый код научных исследований необходим для повышения качества и прозрачности научных работ, а также для стимулирования инноваций и сотрудничества между учёными. Он позволяет исследователям и другим специалистам изучать и анализировать научные работы, выявлять ошибки и недостатки в них, что способствует повышению доверия к результатам исследований. Также открытый код облегчает сотрудничество между учёными, позволяя им совместно работать над решением научных проблем и обмениваться знаниями. Он даёт возможность повторно использовать существующие работы, экономя время и ресурсы. Использование программного обеспечения с открытым исходным кодом снижает затраты на исследования, так как не нужно покупать дорогостоящие проприетарные программы. В целом, открытый код научных исследований способствует развитию науки, повышению качества исследований и укреплению международного научного сообщества.

В 2021 году уже существовало более 330 000 проектов с открытым кодом в области ИИ^[1].

К 2022 году эти проекты собрали на Github в сумме более 8 000 000 звёзд. Самыми популярными из них являются библиотеки широкого назначения такие как Tensorflow, OpenCV, Keras, PyTorch, Scikit-learn и другие.

%\begin{scriptsize} \begin{tiny} \tabcolsep=0.2em %\begin{longtable}[ht]{|p{0.045\textwidth}|p{0.31\textwidth}|p{0.25\textwidth}|p{0.11\textwidth}|p{0.11\textwidth}|p{0.11\textwidth}|} \begin{longtable}[ht]{p{0.045\textwidth}p{0.31\textwidth}p{0.25\textwidth}p{0.11\textwidth}p{0.11\textwidth}p{0.11\textwidth}} \captionШаблон:\small Количество цитирований в Google Scholar, число форков и звёзд на Github для некоторых докладов на конференциях NeurIPS 2021—2023 \label{tab:gushin-1}\\\toprule%\hline \Emph{Год} & \Emph{Статья} & \Emph{Код} & \Emph{цитирований Google Scholar} & \Emph{форков на GitHub} & \Emph{звезд на GitHub} \\\hline \endfirsthead \multicolumn{6}{c} {\tablename\ \thetable\ -- Продолжение} \\\toprule%\hline \Emph{Год} & \Emph{Статья} & \Emph{Код} & \Emph{цитирований Google Scholar} & \Emph{форков на GitHub} & \Emph{звезд на GitHub} \\\hline \endhead %\rowcolor{LightGray} \multirow{3}{*}[-3em]{\rotatebox[origin=c]{90}{2023}}%\cellcolor{white} % \multirow{3}{*}\STAB{\rotatebox[origin=c]{90}{2023}}%\cellcolor{white} & LLM-Pruner: On the Structural Pruning of Large Language Models & [8] & \multicolumn{1}{c}{148} & \multicolumn{1}{c}{74} & \multicolumn{1}{c}{698}\\\cmidrule{2-6} %\rowcolor{LightGray} & An Inverse Scaling Law for CLIP Training & [9] & \multicolumn{1}{c}{19} & \multicolumn{1}{c}{10} & \multicolumn{1}{c}{280} \\\cmidrule{2-6}%\cline{2-6} %\rowcolor{LightGray} & RayDF: Neural Ray-surface Distance Fields with Multi-view Consistency & [10] & \multicolumn{1}{c}{2} & \multicolumn{1}{c}{4} & \multicolumn{1}{c}{102} \\\midrule%\hline \multirow{3}{*}[-4em]{\rotatebox[origin=c]{90}{2022}} & VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training & [11] & \multicolumn{1}{c}{648} & \multicolumn{1}{c}{123} & \multicolumn{1}{c}{1241} \\\cmidrule{2-6}%\cline{2-6} & Gradient Descent: The Ultimate Optimizer & [12]

[/gradient-descent-the-]

[ultimate-optimizer]

& \multicolumn{1}{c}{34} & \multicolumn{1}{c}{25} & \multicolumn{1}{c}{358} \\\cmidrule{2-6}%\cline{2-6} & GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech & [13] & \multicolumn{1}{c}{62} & \multicolumn{1}{c}{44} & \multicolumn{1}{c}{307} \\\midrule%\hline %\rowcolor{LightGray} \multirow{3}{*}[-4em]{\rotatebox[origin=c]{90}{2021}} & Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation & [14] & \multicolumn{1}{c}{272} & \multicolumn{1}{c}{71} & \multicolumn{1}{c}{525} \\\cmidrule{2-6}%\cline{2-6} %\rowcolor{LightGray} & Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation & [15] & \multicolumn{1}{c}{82} & \multicolumn{1}{c}{50} & \multicolumn{1}{c}{360} \\\cmidrule{2-6}%\cline{2-6} %\rowcolor{LightGray} & Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data & [16] & \multicolumn{1}{c}{99} & \multicolumn{1}{c}{24} & \multicolumn{1}{c}{251} \\\bottomrule%\hline \end{longtable} %\end{scriptsize} \end{tiny}

\begin{figure}[h] \centering

\caption{Зависимости числа звёзд на Github от времени для докладов\protect\footnotemark}%\ (Табл. 1).} \label{gushin-img01} %\footnotetext{Данные получены с помощью сервиса https://star-history.com} \end{figure} %\footnotetext{Данные получены с помощью сервиса [17]}

Открытый код способствует повышению популярности результатов научных исследований. В Таблице \ref{tab:gushin-1} приведены данные о количестве цитирований на Google Scholar, а также число звёзд у репозиториев на Github для некоторых статей конференции NeurIPS в 2021—2023 годах. Цитирования отражают интерес к результатам исследований со стороны научного сообщества. Тогда как число звёзд выражает интерес и со стороны исследователей, и со стороны разработчиков и инженеров в области ИИ. Результаты показывают, что число звёзд обычно существенно превышает количество цитирований соответствующих статей.

\footnotetext{Данные получены с помощью сервиса [18]}

Наличие открытого кода способствует росту числа цитирований, поскольку облегчает другим исследователям воспроизведение и использование результатов в своих работах. На Рис. \ref{gushin-img01} показана зависимость числа звёзд в репозиториях от времени. График показывает, что публикация кода вместе со статьёй дополнительно повышает видимость результатов и приводит к росту популярности.

Факультет компьютерных наук (ФКН) НИУ ВШЭ каждый год выпускает десятки научных статей в высокорейтинговых журналах и выступает на конференциях с рейтингом Core A^[3]. С целью увеличить видимость результатов исследований среди сотрудников факультета, студентов, а также партнёров и внешних разработчиков был запущен проект открытого кода ФКН. Создана страница на Github^[4], где сотрудники и студенты факультета могут разместить код своих проектов и получить обратную связь от коллег и сообщества.

Одинм из примеров открытого кода ФКН является библиотека LaNeta^[5] для оценки времени примешивания между двумя популяциями при двух пульсах миграции. В библиотеке реализован алгоритм, который построен на математической теории неравновесного сцепления трёх генетических локусов при примешивании популяций^[6].

Он позволяет точно исследовать недавнюю (в пределах нескольких десятков поколений) историю примешивания популяций в сложных сценариях, для которых существовавшие ранее методы были неприменимы или неточны. Библиотека будет интересна всем, кто занимается популяционной геномикой.

Студентами и сотрудниками факультета была разработана библиотека Fulu^[7].

В ней собраны несколько методов для аппроксимации кривых блеска астрономических объектов с использованием машинного обучения. В библиотеке реализованы алгоритмы на основе гауссовских процессов, а также некоторые другие, с использованием нормализующих потоков и байесовских нейронных сетей^[8].

Библиотека будет полезна астрономам и прикладным исследователям на стыке машинного обучения и астрофизики, который изучают сверхновые.

Также у нас есть библиотеки общего назначения. Например, библиотека генеративных моделей Probaforms^[9]. Она содержит реализации вариационных автокодировщиков, генеративно-состязательных сетей и нормализующих потоков для табличных данных. С их помощью можно решать задачи регрессии и классификации, оценивать неопределённость прогнозов, учить распределения данных, создавать синтетические данные.

Мы призываем студентов и сотрудников факультета участвовать в разработке открытого кода. Проект позволит улучшить прозрачность исследований, будет способствовать сотрудничеству между учёными и студентами, упростит повторное использование наработок и увеличит видимость результатов исследования за пределами университета.

Примечания и ссылки

↑ ^1,0 ^1,1 Maslej N., Fattorini L., Brynjolfsson E., Etchemendy J., Ligett K., Lyons T., et al. (2023). Artificial intelligence index report 2023. [1] Ошибка цитирования Неверный тег <ref>: название «gushin-1» определено несколько раз для различного содержимого
↑ [paperswithcode.com/trends
↑ Ошибка цитирования Неверный тег <ref>; для сносок gushin-2 не указан текст
↑ Репозитории с открытым кодом ФКН. [2]
↑ LaNeta. [3]
↑ Liang M., Shishkin M., Mikhailova A., Shchur V., \& Nielsen R. (2022). Estimating the timing of multiple admixture events using 3-locus linkage disequilibrium. PLoS genetics, 18(7), e1010281. [4]
↑ Fulu. [5]
↑ Demianenko M., Malanchev K., Samorodova E., Sysak M., Shiriaev A., Derkach D., \& Hushchyn M. (2023) Understanding of the properties of neural network approaches for transient light curve approximations. Astronomy \& Astrophysics, 677, A16. [6]
↑ Probaforms. [7]

[gushin-1-1] 1,0 ^1,1 Maslej N., Fattorini L., Brynjolfsson E., Etchemendy J., Ligett K., Lyons T., et al. (2023). Artificial intelligence index report 2023. [1] Ошибка цитирования Неверный тег <ref>: название «gushin-1» определено несколько раз для различного содержимого

[2] [paperswithcode.com/trends

[gushin-2] Ошибка цитирования Неверный тег <ref>; для сносок gushin-2 не указан текст

[gushin-3-4] Репозитории с открытым кодом ФКН. [2]

[gushin-4-5] LaNeta. [3]

[gushin-5-6] Liang M., Shishkin M., Mikhailova A., Shchur V., \& Nielsen R. (2022). Estimating the timing of multiple admixture events using 3-locus linkage disequilibrium. PLoS genetics, 18(7), e1010281. [4]

[gushin-6-7] Fulu. [5]

[gushin-7-8] Demianenko M., Malanchev K., Samorodova E., Sysak M., Shiriaev A., Derkach D., \& Hushchyn M. (2023) Understanding of the properties of neural network approaches for transient light curve approximations. Astronomy \& Astrophysics, 677, A16. [6]

[gushin-8-9] Probaforms. [7]

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]