PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026)

Материал из 0x1.tv

Докладчик
Андрей Гетманов.jpg
Андрей Гетманов

Научный код организации существует, но часто не виден: репозитории разбросаны по личным аккаунтам сотрудников и аккаунтам лабораторий, ссылки на них живут внутри PDF статей, а связь «статья–репозиторий–люди» нигде не хранится целиком.

PAUK — это open source инструмент, который восстанавливает эту связь автоматически и только из открытых источников: публикации берутся из OpenAlex, обогащаются данными Crossref, ORCID, OpenReview и GitHub, из абстрактов и полного текста PDF извлекаются ссылки на репозитории, результат складывается в граф Neo4j, поверх которого работает статическая веб-карта.

PAUK можно использовать для научной экосистемы любого университета или организации.

Видео

on youtube

Презентация

PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026).pdf

Thesis

  • открытые данные, OpenAlex, граф знаний, Neo4j, научный open source.

Наукометрические системы видят статьи, но не код, а платформы разработки видят код, но не знают, чьей публикации он принадлежит. В результате организация не может ответить на простой вопрос: какой открытый код написан её сотрудниками и какие работы он реализует. PAUK закрывает этот разрыв, не требуя ни выгрузок из внутренних систем, ни ручного заполнения анкет: единственный вход конвейера — ROR-идентификатор организации[1].

Устройство конвейера

Конвейер состоит из четырёх этапов. Этап сбора забирает работы из OpenAlex курсорной пагинацией по ROR и диапазону дат и складывает неизменные ответы API как есть[2]. Этап нормализации приводит их к сущностям предметной области, этап обогащения дополняет эти сущности данными Crossref, ORCID, OpenReview и GitHub, а этап публикации загружает результат в графовую БД Neo4j. Промежуточное хранилище — MongoDB: сырые ответы хранятся по группам прогонов, а подготовленные сущности глобальны, поэтому пересекающиеся по датам прогоны не плодят дубликатов.

В графе шесть типов узлов: Publication, Person, Repository, GitHubProfile, Department и LinkCandidate (ссылка, которую пока не удалось разрешить в репозиторий), — и связи AUTHORED, BELONGS_TO, MENTIONS_LINK, IMPLEMENTS, OWNED_BY, CONTRIBUTED_TO, DEVELOPED_BY. Снимок графа ИТМО на 1 сентября 2026 г.: 12 839 публикаций за 2013–2026 гг., 30 299 персон (9 152 сотрудника ИТМО и 21 147 внешних соавторов), 75 309 авторств, 253 подразделения, 409 репозиториев и 1 664 GitHub-профиля; у 2 562 публикаций разобран полный текст PDF.

Инженерные решения

  • Ссылки в PDF. Адрес github.com/org/repo регулярно разорван переносом строки и склеен с соседним текстом, а иногда существует только как гиперссылка без видимого текста. PDF разбирается постранично, перенос через дефис на границе строки склеивается, а без дефиса — нет; для каждого вхождения сохраняются контекст и номер страницы, так что найденную ссылку всегда можно проверить глазами.
  • Резюмируемость. Статус каждого этапа хранится на самой сущности (not_started, completed, completed_empty, not_applicable, failed). Повторный прогон не переделывает готовое и не затирает обогащение, упавшие этапы перезапускаются самостоятельно, а переобработка уже завершённых включается явным флагом.
  • Двухуровневая дедупликация: внутри одного прогона и по всему накопленному графу: один человек остаётся одним узлом, даже если приходит из разных источников и в разных написаниях имени.
  • Сопоставление GitHub-аккаунта с автором по набору взвешенных сигналов (имя во всех известных написаниях, почта, ORCID, организация, соавторство) вместо порога «по совпадению имени», который на кириллических транслитерациях даёт слишком много ложных связей.
  • Обход социального графа GitHub, который находит репозитории сотрудников, на которые не сослалась ни одна статья. Это оказалось принципиальным: из 409 репозиториев только 243 связаны хотя бы с одной публикацией, остальные 166 не нашла бы никакая работа по цитированиям.

Визуализация

Веб-интерфейс статический: раскладка считается заранее прогоном ForceAtlas2 отдельно для авторов, публикаций и репозиториев, поэтому карта открывается без сервера приложений. Пять вкладок: Персоналии, Публикации, Репозитории, Поиск и «Здоровье БД». Последняя — набор дешёвых Cypher-проверок целостности (висящие LinkCandidate, персоны без подразделения, репозитории без владельца и т. п.); она показывает не только состояние данных, но и то, какой источник в очередной раз изменил формат.

Перенос на другую организацию

Конвейер не привязан к ИТМО: смена ROR-идентификатора даёт ту же карту для любого университета или института, а справочник подразделений подключается отдельным файлом. Доклад будет полезен тем, кто строит инструменты вокруг открытых научных данных, занимается наукометрией или пытается инвентаризовать открытый код своей организации.

Работа выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации (проект № FSER-2024-0004).


PAUK — карта научного кода ИТМО, собранная из открытых данных (Андрей Гетманов, OSSDEVCONF-2026)!.jpg

Примечания и ссылки

  1. ↑ 1: ITMO NSS Team, PAUK, 2026, https://github.com/ITMO-NSS-team/PAUK
  2. ↑ Priem J., Piwowar H., Orr R., OpenAlex: A fully-open index of scholarly works, authors, venues, institutions, and concepts, https://arxiv.org/abs/2205.01833


Plays:529   Comments:0