Швейцарский нож аналитика - визуализируем логи одной строкой! (Евгений Кирпичёв, ADD-2011) — различия между версиями

<blockquote>
После обеда заглянул на доклад Жени Кирпичева, где он рассказывал про хитрый инструмент собственной заточки для анализа и визуализации логов, который помогает анализировать профили загрузки на кластерах (основное его применение, как я понял). Доклад был ничего так, много любопытных графиков, из которых Евгений извлекал скрытую информацию и разъяснял остальным. Я рассчитывал поймать его после доклада, т.к. знаю что он адепт функционального программирования, редактор журнала fprog.ru, хаскеллист, знаток хайлоада и вообще незаурядная личность, но он, к сожалению, быстро раскланялся и удалился. Ну ладно, как-нибудь еще пересечемся. [http://mantonov.blogspot.com/2011/05/addconf-2011.html ©]</blockquote>


* {{libcustis-review|Максим Цепков - отчет об ADD-2011/Швейцарский нож аналитика — визуализируем логи одной строкой!}}
* {{libcustis-review|ADD-2011 (Рецензии Стаса Фомина)/Швейцарский нож аналитика - визуализируем логи одной строкой!}}<references/>



[[Категория:ADD-2011]]
[[Категория:Инструменты разработки ]]
[[Категория:Аналитика ]]
{{stats|disqus_comments=0|refresh_time=2020-01-10T00:402021-08-31T18:42.120773:14.925144|vimeo_comments=0|vimeo_plays=3557|youtube_comments=0|youtube_plays=27}}

Текущая версия на 15:42, 31 августа 2021

Аннотация

Докладчик

Евгений Кирпичёв

Вероятно, каждому программисту или системному администратору приходилось анализировать качественные и количественные характеристики поведения своих систем по логам.

При отсутствии подходящего инструментария это часто превращается в довольно муторное и грязное занятие. Выстраиваются конвейеры из кучки утилит обработки текста и временных файлов, ищутся и забрасываются туториалы по gnuplot, R, hadoop, узкоспециализированным или тяжеловесным системам - и в итоге горе-исследователь просто машет рукой.

Мне надоела эта ситуация, и я написал для себя два простых инструмента, которые, к моему собственному удивлению, оказались чрезвычайно универсальны.

Цели:

• любая задача визуализации решается однострочником, который можно без раздумий набить прямо в командной строк,
• не делается почти никаких предположений о формате лога.

Вот несколько примеров задач, каждая из которых решается однострочником:

• посмотреть общую картину, чем когда какой узел кластера или нить занимались,
• посмотреть график того, сколько запросов приходит/уходит из системы в секунду,
• посмотреть график длительности обработки запросов (или их квантилей, вероятностей попадания в интервалы и т.п.),
• посмотреть, как меняется частота появления различных типов запросов к разным машинам или датацентрам во времени,
• посмотреть, какую долю времени обработки занимает обращение к базе; сравнить с графиком числа запросов к базе в секунду,
• посмотреть зависимость размера нескольких очередей в системе от времени (и понять, например, между какими очередями затык),
• сравнить распределение длительностей запросов к memcached с двух разных стоек.

Видео

Примечания и отзывы

• страничка доклада на сайте конференции

Рассказал и показал свою тулзу для визуализации логов. Жаль, не затронул тему того, как она писалась. Такие доклады хорошо потом в записи смотреть, наверное. Тулза хорошая. ©

Евгений Кирпичев рассказал о способе визуального анализа логов и показал офигенные картинки. Инфографика рулит. ©

После обеда заглянул на доклад Жени Кирпичева, где он рассказывал про хитрый инструмент собственной заточки для анализа и визуализации логов, который помогает анализировать профили загрузки на кластерах (основное его применение, как я понял). Доклад был ничего так, много любопытных графиков, из которых Евгений извлекал скрытую информацию и разъяснял остальным. Я рассчитывал поймать его после доклада, т.к. знаю что он адепт функционального программирования, редактор журнала fprog.ru, хаскеллист, знаток хайлоада и вообще незаурядная личность, но он, к сожалению, быстро раскланялся и удалился. Ну ладно, как-нибудь еще пересечемся. ©

• «libcustisru:Максим Цепков - отчет об ADD-2011/Швейцарский нож аналитика — визуализируем логи одной строкой!»
• «libcustisru:ADD-2011 (Рецензии Стаса Фомина)/Швейцарский нож аналитика - визуализируем логи одной строкой!»

Plays:384   Comments:0