Просмотр исходного текста страницы Проект технологии извлечения знаний из исходных текстов на языках С++ и Csharp с использованием общего промежуточного представления

== Аннотация ==
;Докладчик: {{Speaker|Алексей Пустыгин}}
<blockquote>
Использование высокоуровневого промежуточного представления часто может оказаться полезным в процессе автоматического извлечения знаний из исходных текстов программ. Особенно это заметно, когда необходимо анализировать исходные тексты на нескольких языках программирования, поскольку формат такого представления может быть расширен для описания нескольких языков. Это упрощает процесс создания утилит для автоматического извлечения знаний из исходных текстов.

Извлечение знаний из исходных кодов программ является задачей обработки текстов. Для её решения нужен набор программных инструментов для каждого типа анализа или получения эквивалентных представлений. Поскольку в каждом случае осуществляется разбор исходного текста, данную функцию целесообразно выделить в самостоятельный функционал — генератор промежуточного представления.

В  случае  анализа  гетерогенных  исходных  текстов,  то  есть  текстов на нескольких языках программирования, задача становится еще сложнее.

Простейшим решением данной проблемы является создание генераторов промежуточного представления, специфичных для каждого языка, однако, данный подход не является эффективным. Это связано с тем, что создание таких инструментов — сама по себе трудоёмкая задача.

В предыдущих работах [2] предлагалось решение этой проблемы путём введения единого универсального промежуточного представления исходных текстов на различных ЯП.

Для извлечения информации из исходных текстов на ЯП C, C++, C# были поставлены задачи:
* 1.  Предложить формат для построения промежуточного представления гетерогенных текстов на C, C++ и C#.
* 2.  Спроектировать инструменты для получения такого представления.
</blockquote>

== Видео ==

{{vimeoembed|89225024|800|450}}
{{youtubelink|WhC8VsACDLM}}{{letscomment}}
<!-- {{webm-oseduconf|}} -->


<!-- pollholder --> 










== Слайды ==
[[File:Проект технологии извлечения знаний из исходных текстов на языках С++ и Csharp с использованием общего представления.pdf|left|page=-|256px]]

{{----}}

== Расширенные тезисы ==

Формат промежуточного представления должен отвечать некоторому набору критериев, среди них можно выделить:
* 1.  Простота реализации инструментов для автоматической обработки,
* 2.  Расширяемость  —  простота  добавления  новых  языковых  конструкций,
* 3.  Читабельность — удобство восприятния человеком.

Среди распространённых форматов представления структурированных данных этому набору критериев удовлетворяют XML<ref>[http://www.w3.org/XML/ Extensible Markup Language (XML)]</ref>, JSON<ref>[http://www.json.org/ JSON (JavaScript Object Notation)]</ref> и YAML<ref>[http://www.yaml.org/ . YAML:  YAML  Ain’t  Markup  Language].</ref>.

Стек технологий XML предоставляет инструменты, которые можно использовать для решения задачи извлечения знаний из исходных текстов программ путём обработки их промежуточного представления. Из них можно выделить следующие:
* 1.  XPath<ref>[http://www.w3.org/TR/xpath/  XML Path Language (XPath). W3C Recommendation, 16 November 1999]</ref> — язык запросов для выборки и навигации по узлам  XML  документа,  вычисления некоторых  его  метрик,  что позволяет эффективно его использовать для задачи извлечения знаний. Является стандартом консорциума W3C.
* 2.  XQuery<ref>[http://www.w3.org/TR/xquery/XQuery   1.0:   An   XML   Query   Language   (Second   Edition)]. W3C Recommendation, 14 December 2010.</ref> — функциональный язык запросов, разработанный для выполнения запросов и трансформации коллекций структурированных и неструктурированных данных. Является официальной рекомендацией W3C.
* 3.  XSLT<ref>[http://www.w3.org/TR/xslt  XSL Transformations (XSLT)]. W3C Recommendation, 16 November 1999.</ref> — язык для трансформации XML документов в другие XML документы, объекты HTML или XSL, которые затем могут быть преобразованы в PDF, PostScript, SVG или PNG. Т.е. позволяет получить, например, визуальное эквивалентное представление, пригодное для анализа. Является официальной
рекомендацией W3C.
* 4.  XML-базы  данных,  например,  Sedna<ref>Fomichev A., Grinev M., Kuznetsov S. Sedna: A Native XML DBMS  // SOFSEM 2006: Theory and Practice of Computer Science. Lecture Notes in Computer Science. 2006. Vol. 3831. P 272-281.</ref>  (лицензия  [http://www.apache.org/licenses/LICENSE-2.0.html   Apache License 2.0]) или BaseX (лицензия [http://en.wikipedia.org/wiki/BSD_license BSD])<ref>[http://www.basex.org/ BaseX.  The  XML  Database]</ref>, которые можно использовать в качестве единого хранилища знаний об исходного коде
одного или нескольких проектов.

Таким образом, выбор формата XML как основы для промежуточного представления позволяет сократить затраты на создание инструментов анализа и построения эквивалентных представлений.

JSON  и  YAML,  в  свою  очередь  не  обеспечивают  возможностей XML, в силу отсутствия для них подобного инструментария.

Для  получения  промежуточного  представления  исходного  кода предполагается  использовать абстрактное  синтаксическое  дерево (AST)<ref>А. Ахо, М. Лам, Р. Сети, Д. Ульман. Компиляторы: принципы, технологии и инструментарий. — М.: Вильямс, 2010. — 1184 с.</ref>, дополненное семантической информацией. Среди существу-
ющих форматов представления в контексте задачи извлечения знаний можно выделить следующие:
* SrcML  (Source  Markup  Language)<ref>Collard M.L., Kagdi H.H., Maletic, J.I. An XML-Based Lightweight C++ Fact Extractor // Program Comprehension, 2003. 11th IEEE International Workshop. May 10 — 11, 2003. P. 134-143.</ref> —  открытое  документоориентированное представление исходных текстов, поддерживающее языки C, C++ (CppML), Java (JavaML), частично C# (SrcML.Net).
Основным его недостатком является отсутствие важных атрибутов в узлах AST, что не позволяет проводить полный анализ кода.
* Специфические  для  языков  представления,  такие  как  GCC-XML<ref>[https://github.com/gccxml/gccxml GCC-XML]</ref> (основанное  на  внутреннем  представлении  компилятора GCC), cpp2xml<ref>[http://scl.csd.uwo.ca/Projects/cpp2xml/index.html The C++2XML page]</ref>, не обладающие свойством универсальности. Для поиска возможных альтернативных решений был произведен поиск инструментов для получения AST. В таблице 1 приведен их обзор.

Главным требованием к формату промежуточного представления было включение в состав атрибутов узлов такого набора тегов, который позволяет удовлетворить требованиям спецификации языков при разборе всех синтаксических конструкций, описанных в стандартах. Источниками для создания формата промежуточного представления послужили следующие документы:

* 1. Спецификация языка C#<ref>[http://www.microsoft.com/en-us/download/details.aspx?id=7029 C#  Language  Speciﬁcation  5.0.]</ref>
* 2. Проект стандарта C++ <ref>[https://www.github.com/google/cxx-std-draft/blob/master/papers/n3337.pdf Working   Draft, Standard   for   Programming   Language   C++]</ref>.

Для генерации промежуточного представления по C++ и C# по спроектированному формату были выбраны следующие инструменты, удовлетворяющие заданным критериям (полнота, актуальность инструмента, предполагаемые затраты на разработку промежуточного представления):
* Clang  и  его  библиотека  libclang  (для  языков  C/C++),  которые  обеспечивают  поддержку  С++11,  Objective-C,  поддерживаются активным сообществом, крупными компанями (например Apple, Google), включают SDK и отдельную библиотеку для получения AST.

Библиотека libclang — неотъемлемая часть инструментария clang, которая ппрпедназначена для статического анализа и автозавершения кода и. используется в IDE Xcode от Apple.

* ICSharpCode.NRefactory<ref>[https://www.github.com/icsharpcode/NRefactory NRefactory  library]</ref>.  (для языка C#) — библиотека, основанная на исходном коде компилятора Mono, предоставляющая инструментарий для преобразования исходного кода и поддерживает последнюю версию спецификации языка C# 5.0.
В результате проделанной работы был разработан формат универсального промежуточного представления<ref>[https://raw2.github.com/ifanatic/CodeAnalysis/master/doc/IntermidiateRepresentation.txt Формат универсального промежуточного представления]</ref> для языков C, C++ и C#, а также составлен эскизный проект технологии извлечения знаний из исходных текстов,  использующий данное представление, которое соответствует необходимому набору критериев и может быть расширено для поддержки новых синтаксических конструкций, в том числе других языков.

; См. также:
# Зубов М.В. Статический анализ ПО с помощью его промежуточных представлений и технологий с открытым исходным кодом / М.В. Зубов, А.Н. Пустыгин, Е.В. Старцев // Материалы 2-й Междунар. конф. «FOSS. Lviv–2012», Львов. — Львiв: Сорока, 2012. — С. 165–168.
# [http://www.mono-project.com/   Crossplatform,  open  source  .NET  development  framework]
# [https://developer.mozilla.org/ en-US/docs/Dehydra Dehydra].
# [http://www.eclipse.org/cdt/  Eclipse CDT (C/C++ Development Tooling)].
# [http://rosecompiler.org/ ROSE compiler infrastructure].

== Примечания и отзывы ==
<!-- <blockquote>[©]</blockquote> -->

<references/>

[[Category:OSEDUCONF-2014]]
[[Category:Наука]]
[[Category:Open-source projects]]
[[Category:C++]]

<!-- topub -->
{{stats|disqus_comments=0|refresh_time=2020-07-19T00:10:28.241478|vimeo_comments=0|vimeo_plays=21|youtube_comments=0|youtube_plays=42}}