Применение программных инструментов с открытым исходным кодом для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019)

Материал из 0x1.tv

Докладчик
Алексей Пустыгин.jpg
Алексей Пустыгин

Использование внутреннего представления исходного текста открывает путь для систематического изучения и преобразования кода программ с целью его изучения и проверки. Рассмотрены утилиты с открытым кодом, использующие внутреннее представление исходного кода.

Видео

on youtube

Презентация

СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019).pdf

Thesis

С целью актуализации выполняемых разработок были предприняты усилия для обзора открытых инструментов, пригодных в качестве базы сравнения с разрабатываемыми прототипами. Были рассмотрены существующие открытые инструменты для анализа, использующие построение синтаксического дерева разбора (AST):

  1. PyCharm — IDE с открытой версией (подписная free licence) [1].
  2. Vulture — анализатор кода в программах Python [2], использует модуль ast стандартной библиотеки и создаёт абстрактные синтаксические деревья для всех файлов исходного кода в проекте.
  3. ObjectWeb ASM (частью входит в Java Development Kit 6) [3] — API для представления кода JAVA в виде дерева.
  4. Joern — анализатор исходного кода [4], способный построить: абстрактное синтаксическое дерево, граф управления, граф вызовов, граф структуры каталога исходного кода, граф программных зависимостей для исходного текста на языке С++. Инструмент работает в связке с системой управления графовой NoSQL базой данных Neo4j [5] —графовая система управления базами данных c открытым исходным кодом, реализованная на Java. Считается самой распространённой графовой СУБД, формат данных собственный, специализированный. собственный язык запросов Cypher, но запросы можно делать и другими способами, например, напрямую через Java API и на языке Gremlin, созданном в проекте с открытым исходным кодом TinkerPop.

С целью ознакомления с возможностей базовых инструментов был выполнен проект по применению Joern, как наиболее функционального, для решения типовых анализа потока управления.

Для обработки информации, полученной с помощью инструмента Joern, применялась написанная программа пост-обработки на Python. В функционал пост-обработки входят:

  • построение трассы исполнения программы по исходному тексту;
  • получение списка всех информационных объектов программы по исходному тексту;
  • проверка наличия заданных конструкций в исходном тексте программы;
  • формирование перечня маршрутов исполнения функциональных объектов по исходному тексту программы;
  • контроль связей функциональных объектов в исходном тексте программы по информации;
  • контроль связей функциональных объектов в исходном тексте программы по управлению.

Параметры запуска и результаты тестирования программы пост-обработки доступны в открытом источнике [6].

Под функциональными объектами понимаются объекты классов, локальные и глобальные переменные проекта, непосредственно участвующие в алгоритме. Под маршрутом исполнения функционального объекта понимается его «линия жизни» от момента создания до указанного места в исходном коде. Результатом исполнения скрипта пост-обработки будет перечень всех маршрутов исполнения, в которых, так или иначе встречается использование указанного функционального объекта, либо сообщение о том, что такие маршруты отсутствуют.

Программа пост-обработки может контролировать связи функциональных объектов проекта по управлению и по информации. Для этих задач необходимо выбрать два функциональных объекта: исследуемый и второстепенный.

Под связью функциональных объектов по управлению понимается любое воздействие исследуемого объекта на второстепенный, в том числе: модификация (чтение, запись) данных второстепенного объекта, вызов методов второстепенного объекта и любое другое воздействие на данные второстепенного объекта.

Под связью функциональных объектов по информации подразумевается любое взаимодействие второстепенного объекта на данные исследуемого объекта.

Поиск и анализ такого рода связей между объектами является неотъемлемой частью анализа текста любого программного продукта. Он даёт возможность убедиться в отсутствии недокументированных возможностей программы, отсутствии избыточности исходного кода.

Пример использования пакета из Joern и инструмента пост-обработки

Анализируемый текст (Python):

ifstream file("graphFile");
 
    unsigned int n = 0;
    unsigned int oriented;
    file » n » oriented;
 
    G.resize(n);
 
    while (!file.eof()) {
        int a, b;
        file » a;
        file » b;
 
        G[a].push_back(b);
        if(oriented == 0) {
            G[b].push_back(a);
        }
    }
 
    file.close();
caption Граф трасс исполнения анализируемого текста

Исследование прототипа сравнения показало ограничение его функциональности по глубине построения синтаксического дерева разбора, а также недостаточный уровень документирования инструмента Joern.

СПО для анализа исходных текстов программ (Алексей Пустыгин, OSEDUCONF-2019)!.jpg

Примечания и ссылки

Plays:9   Comments:0