Research of test coverage at the Java byte-code level

Abstract

Кількісною характеристикою оцінки обсягу тестування програмних продуктів, рішення про завершення тестування і, врешті, визначення якості продукту та готовності його до дистрибуції є ступінь тестового покриття. Покриття коду тестами є підтипом тестового покриття і воно найчастіше визначається інженерами-програмістами. Ми можемо вимірювати ступінь покриття коду тестами за декількома критеріями, такими як покриття методу, покриття рядків, покриття операторів, покриття гілок, покриття умов гілок тощо. При оцінці результатів вимірювання покриття популярними інструментами, наприклад JaCoCo Java Code Coverage Library, за критеріями операторів, гілок та умов гілок результати є неочевидними внаслідок того, що у таких випадках ступені покриття визначаються на рівні байт-коду. Стаття наводить детальний аналіз визначення ступенів покриття на рівні байт-коду за вказаними критеріями при модульному тестуванні типових методів з комбінованою умовою з логічним оператором AND (&) у першому випадку та з оператором швидкої оцінки AND (&&) у другому випадку. Отриманий байт-код методів вивчався з відтворенням станів стеку операндів до та після кожної команди, що дозволило правильно інтерпретувати переходи у програмі. Було з’ясовано, що при визначенні ступеню покриття за критеріями гілок та умовами гілок враховувались виключно інструкції умовних переходів, причому кількість гілок дорівнювалася подвоєній кількості таких інструкцій. Також були визначені ступені покриття коду тестами за критеріями операторів та гілок для обох методів при різних наборах вхідних даних. Було визначено, що внаслідок визначення ступенів покриття саме на рівні байт-коду, для 100% покриття методу з комбінованою умовою з логічним оператором AND (&) достатньо два тестових прогони, у той час як для того ж методу, але з комбінованою умовою з оператором швидкої оцінки AND (&&) необхідні, як мінімум, три прогони.