OSA — инструмент для повышения воспроизводимости и качества научного кода (Кристина Панкова, OSSDEVCONF-2025)
Материал из 0x1.tv
- Докладчик
- Кристина Панкова
Osa (open-source-advisor) — инструмент на основе больших языковых моделей (llm), предназначенный для повышения качества и читаемости научного open-source кода.
Osa автоматизирует создание ключевых компонентов, необходимых для понимания, воспроизводимости и поддержки научных проектов: от структурированных readme и детальной документации с автогенерацией докстрингов до настройки ci/cd-пайплайнов для проверки качества кода.
Содержание
Видео
Презентация
Thesis
Ключевые слова: машинное обучение, LLM, Open Source.
Несмотря на бурный рост числа open source-проектов и активное внедрение генеративного ИИ, проблема воспроизводимости в научных исследованиях остаётся нерешённой. Проблема воспроизводимости в научной среде остаётся актуальной: часто кода либо нет вовсе, либо он не сопровождается документацией, README-файлом и базовыми CI/CD-настройками. В результате сторонние исследователи не могут переиспользовать и проверить результаты работы. На данный момент уже существуют готовые open source решения для автоматизации данных процессов. В качестве примера могут быть рассмотрены readmeai (имеет более 1,5 тысяч звёзд на GitHub), используемый для генерации readme-файлов, и doc-comments-ai — для документации. Однако они ограничиваются генерацией отдельных артефактов и не решают задачу комплексного улучшения репозитория.
OSA — находящееся в процессе разработки решение, предоставляющее возможность получения pull request со всеми предлагаемыми изменениями: обновлённым программным кодом с комментариями (на английском или русском языках), README и документацией (на английском), сформированными с использованием LLM на основе сбора и обработки данных о репозитории и содержимом его файлов, а также тексте научной статьи при её наличии. Реализована поддержка различных LLM через фреймворк ProtoLLM (OpenAI API, локальные модели, Gemma 3 27B), а также поддержка платформ для хранения кода GitHub, GitLab, GitVerse. В отличие от аналогов, OSA рассматривает репозиторий как целостный объект, а не только программный код. В перспективе планируется внедрение RAG-системы для сравнения с базой лучших open source-практик, переход к итеративному взаимодействию с LLM-агентами, а не единоразовой генерации артефактов.
Было проведено тестирование текущей версии OSA на репозиториях лабораторий ИТМО, а также зарубежных команд, проанализированы его результаты, на основе которых было выявлено сокращение времени на подготовку документации и улучшение структуры и понятности для стороннего пользователя.
Работа выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации (проект № FSER-2024-0004).
!.jpg)