Возможности интеграции ИИ-инструментов в Linux-системы (Семён Фомченков, OSSDEVCONF-2026)
Материал из 0x1.tv
- Докладчик
- Семен Фомченков
Локальные LLM в Linux перестали быть экспериментом и превращаются в прикладной инструмент, но их внедрению мешают разрозненность моделей и отсутствие стандартов доставки.
В докладе мы рассмотрим текущее состояние инференса LLM в Linux, разберём, как встроить ИИ-возможности в прикладное ПО на примере собственного SDK libexedra, и покажем инфраструктуру Exedra — системный слой доставки и инференса моделей, разрабатываемый в экосистеме ALT Linux.
Содержание
- 1 Видео
- 2 Презентация
- 3 Thesis
- 3.1 LLM в Linux: от локального инференса к прикладному использованию
- 3.2 Проблема: разрозненность моделей и отсутствие стандартов доставки
- 3.3 Дистрибутивный подход: модель как пакет
- 3.4 Инфраструктура Exedra: доставка, запуск, оркестрация
- 3.5 Интеграция в прикладное ПО: SDK libexedra
- 3.6 Заключение и перспективы развития
- 4 Примечания и ссылки
Видео
Презентация
Thesis
LLM в Linux: от локального инференса к прикладному использованию
За последние годы локальный инференс прошёл путь от экспериментов энтузиастов до рабочего инструмента: llama.cpp и производные исполнители позволяют запускать квантованные GGUF-модели на обычном CPU и потребительских GPU, а компактные модели размера 3–8B уже справляются с задачами локального помощника, перевода и суммаризации, а отдельные исполнители обеспечивают распознавание речи. Появились десктопные приложения, встраивающие ИИ-функции, — от чат-клиентов до помощников в редакторах и файловых менеджерах.
Проблема: разрозненность моделей и отсутствие стандартов доставки
Главное препятствие на этом пути — не вычислительное, а инфраструктурное. У экосистемы нет стандарта доставки весов моделей: приложения скачивают их с HuggingFace самостоятельно, как правило без верификации, контроля лицензий и дедупликации. Нет и системного способа подобрать модель под железо конкретной машины и разделить один запущенный инстанс между несколькими приложениями — каждое поднимает свой сервер инференса, расходуя память впустую. Для дистрибутива, где повторяемость, аудит и предсказуемость — норма, такая модель «скачай сам» неприемлема.
Дистрибутивный подход: модель как пакет
Проект Exedra предлагает перенести в мир ИИ-моделей привычные дистрибутивные практики. Модель упаковывается как версионируемый OCI-артефакт в формате ModelKit (KitOps — проект под управлением CNCF, развивающего Kubernetes, OpenTelemetry и Prometheus): веса скачиваются сборочной системой с контролем целостности по sha256 суммам, лицензия поставляется вместе с весами, а публикация ведётся в публичный OCI-реестр, не требующий авторизации. Каждая модель несёт стандартизированные метаданные: тип исполнителя, калибр (от xs до xl), возможности (llm, asr, embeddings, rerank), языки и функции. Это позволяет приложению заявлять требования — «нужна LLM с русским языком калибра не ниже s», — а не привязываться к конкретной модели.
Инфраструктура Exedra: доставка, запуск, оркестрация
Инфраструктура состоит из трёх слоёв:
- Стор — локальный репозиторий моделей на устройстве: атомарная установка версий с возможностью отката, верификация по sha256, дедупликация совпадающих слоёв через хардлинки;
- Движок — запуск исполнителей: probe железа (CPU, RAM, GPU через DRM), чтение метаданных GGUF без загрузки весов, планирование параметров запуска llama.cpp и transcribe.cpp;
- Оркестратор — системный демон, поднимаемый по требованию через D-Bus-активацию systemd: предоставляет OpenAI-совместимый HTTP API и управляет жизненным циклом инстансов — несколько приложений делят один запущенный сервер, а простаивающие модели автоматически выгружаются. Управление правами построено на polkit — по той же модели, что у NetworkManager или UPower.
Интеграция в прикладное ПО: SDK libexedra
Для разработчиков прикладного ПО интеграция сводится к работе с SDK libexedra: библиотека и D-Bus API позволяют запросить модель по требованиям, получить endpoint с токеном доступа и дальше общаться с ней по привычному OpenAI-совместимому протоколу. Приложение может заранее заявить декларативную зависимость от модели — и система доставит её автоматически, как обычную зависимость пакета. Маршрутизация model: "auto" подбирает подходящую модель по типу запроса, поэтому даже существующие приложения, умеющие OpenAI API, получают локальный инференс без модификации.
Заключение и перспективы развития
В докладе мы покажем архитектуру Exedra на живых примерах, разберём trade-off выбранных решений и обсудим, какие возможности это открывает для прикладного ПО: приватный офлайн-инференс, предсказуемое потребление ресурсов десктопа и гибридные сценарии, где крупные модели осознанно остаются в облаке. Проект развивается открыто в экосистеме ALT Linux Space (https://altlinux.space/exedra), и мы приглашаем сообщество к участию — от упаковки новых моделей до интеграции SDK в свои приложения.
Примечания и ссылки
- Проект: Exedra
Plays:247
Comments:0
