ISSTA 2026: исследователи проверяют, насколько полезны сгенерированные ИИ-тесты
В программе ISSTA — качество assertions, влияние ошибок в коде на AI-тесты и безопасность агентов. Для практиков доступны статьи и материалы экспериментов.
7–9 октября в Окленде прошла основная программа ISSTA 2026 — симпозиума ACM SIGSOFT по тестированию и анализу ПО. Это 35-й выпуск конференции; он входил в общую неделю SPLASH/ISSTA. В исследовательской программе заметны две связанные задачи: использовать ИИ для поиска ошибок и проверять надёжность самих ИИ-систем.
Среди принятых работ — исследование связи покрытия и mutation score с реальной эффективностью сгенерированных тестов. Другая работа разбирает, как дефект в исходном коде может направить генератор к неверному ожидаемому результату. Есть и промышленный опыт извлечения тестовых сценариев и генерации assertions с участием исследователей Fudan University и ByteDance. В секции безопасности агентов представлена Datura: тестирование цепочек вызовов инструментов через последовательные атакующие воздействия. Это темы конкретных работ, а их результаты и ограничения нужно читать в самих статьях.
Что полезно QA-команде
У конференции есть отдельная оценка исследовательских артефактов — кода, данных и материалов эксперимента. Она помогает понять, можно ли воспроизвести заявленный результат и использовать разработку в другом исследовании. При этом наличие статьи в программе не означает, что любая её реализация уже получила такую оценку: материалы и отметки проверяются для каждой работы отдельно.
Для выбора статьи начните с собственного вопроса. Например, генератор написал сто новых тестов: находят ли они специально внесённую ошибку или только повторяют текущее поведение? Возьмите небольшой модуль с известным дефектом, сохраните одинаковые условия и сравните результат до исправления и после. Такой опыт покажет, какие данные нужны для оценки инструмента на вашем проекте, и поможет задать авторам содержательные вопросы.
