Разнородное регрессионное тестирование (Николай Золотарёв, OSSDEVCONF-2016)

Короткая ссылка: 201610023

Содержание

1 Аннотация
2 Видео
3 Слайды
4 Расширенные тезисы
- 4.1 Система тестирования программного обеспечения вычислительных комплексов «Эльбрус»
5 Примечания и отзывы

Аннотация

Докладчик: Николай Золотарёв

При комплексном тестировании программно-аппаратных комплексов разработчики сталкиваются с различными проблемами.
К ним относится необходимость проверки вычислительных комплексов, отличающихся как с точки зрения программных составляющих, так и аппаратуры. Кроме того могут ставиться различные сроки, ограничивающие допустимое время на тестирование, что вызывает необходимость иметь несколько доступных сценариев проверки.
В докладе описаны вышеперечисленные проблемы и способы их решения.

Видео

on youtube

Слайды

Расширенные тезисы

Система тестирования программного обеспечения вычислительных комплексов «Эльбрус»

При осуществлении тестирования программного обеспечения должна быть обеспечена максимальная проверка как со стороны его корректной работы, так и производительности. Работа посвящена созданию системы тестирования вычислительных комплексов «Эльбрус».

Главной задачей тестирования является достижение определённого уровня качества программного обеспечения. На этом этапе необходимо определить основные критерии качества программного обеспечивания:

Функциональность — выполнение всех возможностей данного программного обеспечения, заявленных разработчиком.
Надёжность — работа программного обеспечения без сбоев.
Производительность — работа программного обеспечения с приемлемой скоростью.

Для обеспечения вышеперечисленных критериев качества программного обеспечения выделяются такие направления в области тестирования, как:

Модульное тестирование — позволяет осуществить проверку на корректность работы отдельных модулей системы.
Комплексное тестирование — проверяет систему из отдельных модулей на предмет их корректной работы при взаимодействии друг с другом.
Функциональное тестирование — осуществляет проверку на предмет реализации функциональных требований.
Тестирование производительности — определяет, насколько быстро работает ПО на вычислительном комплексе.
Тестирование безопасности — позволяет оценить ПО на предмет уязвимостей.

Исходя из сказанного, определяются цели тестирования:

Проверка соблюдения всех требований к ПО — любое несоблюдение требования может привести к таким нежелательным последствиям, как ошибки, некорректная работа, замедление скорости работы. Такая проверка позволяет устранять проблемы на первых этапах тестирования.
Проверка корректной работы всех модулей системы — по отдельности каждый модуль проверяется проще, что значительно ускоряет поиск ошибок.
Обязательная перепроверка предпринятых исправлений разработчиком на последующей итерации тестирования — позволяет сократить количество негативных статусов тестирования, возникающих по одной и той же причине.

После оценки описанных целей предъявлены требования к процессу тестирования:

Обеспечение автоматизированного тестирования по выбранным направлениям.
Осуществление тестирования на вычислительных комплексах (ВК), отличных как по аппаратуре, так и по составу ПО.
Обеспечение тестирования за допустимое время.
Регулярное отслеживание регрессии тестирования при обновлении ПО.
Обеспечение доступа к статистике проведённого тестирования за определённое время.

Разнородное регрессионное тестирование реализует все предъявленные требования к системе тестирования. Его ключевыми особенностями являются:

Автоматизация — позволяет уменьшить трудозатратность при осуществлении тестирования.
Гибкость — за счёт поддержки множества сценариев тестирование может быть осуществлено: как одной подсистемы, так и системы в целом; как на одном вычислительном комплексе, так и на нескольких сразу; за определённый временной промежуток или неограниченное по времени.
Отслеживание найденных уязвимостей и почтовое уведомление с краткой информацией об этом отдел разработки.
Хранение результатов тестирования.
Веб-интерфейс для получения статистики за определённое время или информации о конкретном тесте.

Реализация разнородного комплексного тестирования позволит осуществлять детальную проверку программного обеспечения на различных вычислительных комплексах, а также обеспечит возможность отслеживания возможных регрессий для их оперативного устранения.

Примечания и отзывы

Plays:86 Comments:1