Открытая библиотека методов анализа и генерации векторной графики (Андрей Пименов, OSEDUCONF-2024) — различия между версиями

;{{SpeakerInfo}}: {{Speaker|Андрей Пименов}}
<blockquote>
Современные подходы компьютерного зрения по генерации и обработке изображений посвящены 
в основном растровой графике. Растровые изображения представляют собой многомерную 
матрицу пикселей, однако существует и другой способ описания изображений — векторный 
подход, использующий математические формулы для описания объектов. К сожалению, 
методы обработки векторной графики в настоящее время изучены недостаточно, и не 
существует единой библиотеки с понятным интерфейсом, которая бы позволяла производить 
различные операции с векторными изображениями. 

Предлагаемая нами открытая библиотека 
позволяет закрыть этот пробел и объединить ранее предложенные подходы по генерации, 
анализу и обработке векторных изображений. 

Библиотека включает в себя методы 
дифференцируемой растеризации, векторизации, нахождении плагиата векторных чертежей, 
генерации векторных изображений по музыке и переносу стиля между векторными изображениями. 
В дальнейшем планируется улучшать библиотеку и добавлять в неё новые методы генеративной 
обработки векторной графики.
</blockquote>

{{VideoSection}}

{{vimeoembed|990136048|800|450}}
{{youtubelink|}}
|u21O-Kzpsog}}
{{SlidesSection}}
[[File:Открытая библиотека методов анализа и генерации векторной графики (Андрей Пименов, OSEDUCONF-2024).pdf|left|page=-|300px]]

{{----}}

== Thesis ==
=== EvoVec === 

На данный момент вопрос векторизации полностью не решён. Существующие подходы имеют ряд недостатков как 
в качестве, так и скорости работы. Для решения этих проблем предлагается эволюционный алгоритм векторизации 
изображений. Основная идея подхода заключается в итеративном улучшении векторных изображений с помощью 
мутаций и кроссоверов. Сам алгоритм не требует никаких параметров, таких как количество путей в векторизованном 
изображении, кроме самого исходного изображения, что делает алгоритм универсальным. Результаты сравнения с 
существующими решениями показывают, что разработанный алгоритм качественно и быстро векторизует изображения, 
превосходит другие по попиксельному <tt>MSE</tt> на 15% и не генерирует ненужных путей в итоговом векторизованном изображении.

=== VectorNST === 

Наше исследование показывает, что применение стандартных функций потерь стиля и контента меняют стиль рисования 
векторных изображений, поскольку структура векторных примитивов отличается от пикселей. Чтобы справиться с этим, 
мы вводим новые функции потерь. Предлагаемое нами решение, <tt>VectorNST</tt>, основанное на дифференцируемой 
растеризации, использует эти новые функции потерь и может изменять параметры цвета и формы изображения содержимого 
так, чтобы соответствовать изображению стиля. Качественные эксперименты демонстрируют эффективность предложенного 
метода <tt>VectorNST</tt> по сравнению с современными подходами переноса стиля для растровых изображений и 
единственным существующим подходом для стилизации векторных изображений <tt>DiffVG</tt>.
	
=== VectorWeaver === 
Диффузионные растровые модели не могут успешно справляться с генерацией векторных изображений из-за существенных 
различий в структуре изображений. Мы решаем проблему синтеза векторных изображений, разрабатывая новую архитектуру 
модели на основе диффузии и трансформеров, которую мы назвали <tt>VectorWeaver</tt>. Для обучения модели мы собрали набор 
данных векторных изображений из общедоступных ресурсов и провели их аугментацию. Качественные эксперименты 
демонстрируют превосходство и вычислительную эффективность предложенной модели по сравнению с существующими 
методами генерации векторных изображений.

=== CoverGAN === 
Основной архитектурой модели для генерации векторных обложек была выбрана условная генеративно-состязательная сеть. 
Она обучается на датасете из собранных ранее растровых обложек музыкальных композиций. В качестве условия сеть 
принимает саму музыкальную композицию, из которой затем выделяются разные музыкальные признаки, а также эмоцию, 
которую музыка вызывает у слушателя. Задача генератора состоит в том, чтобы на основе этих данных выдать векторную 
обложку, максимально соответствующую условию. Для трансформации переданных данных в конечный результат планируется 
использовать алгоритм <tt>Path Decoder</tt>, описанный в статье Im2Vec. Также реализована модель, добавляющая надпись, 
содержащую информацию об исполнителе и названии трека, на обложку. Таким образом, сервис создаёт для музыкальной 
композиции обложку в векторном формате, отвечающую эмоции, заданной пользователем.

=== VectorMem === 
Одной из проблем анализа векторной графики является неограниченность векторных изображений в количестве объектов 
на изображении. Это накладывает существенные ограничения в плане анализа и генерации новых изображений. Мы хотим 
предложить решение которые поможет обрабатывать векторные изображения неограниченной сложности. Для этого мы 
разработали модель <tt>VectorMem</tt> в которой использовали наработки в области трансформеров памяти. Для проверки 
её работы мы протестировали её на задаче поиска плагиата на одних из самых высокоразмерных векторных данных — 
чертежах. Результаты показали её превосходство как над растровыми моделями, так и на обычных решениях анализа 
векторной графики. 


{{----}}
[[File:{{#setmainimage:Открытая библиотека методов анализа и генерации векторной графики (Андрей Пименов, OSEDUCONF-2024)!.jpg}}|center|640px]]
{{LinksSection}}
<!-- <blockquote>[©]</blockquote> -->

<references/>

[[Категория:OSEDUCONF-2024]]
[[Категория:Draft]]
[[Категория:СПО в образовании]]