TESSARA генерирует Playwright-тесты и проверяет, достигли ли они нужного результата
Новый препринт предлагает сохранять связь каждого шага с кодом и исправлять проблемный участок сценария, не теряя уже проверенную часть.
19 октября исследователи из University of Texas at Dallas и University of Central Florida опубликовали препринт о TESSARA. Они разбирают знакомую проблему AI-автоматизации: агент может успешно нажать кнопки в браузере, но после него нужен тест, который удастся прочитать, повторно запустить и сопоставить с исходной задачей.
TESSARA превращает описание сценария в Playwright-код и связывает каждый шаг с селектором, результатом выполнения и историей исправлений. Проверки идут на трёх уровнях: корректен ли код, выполнилось ли действие и соответствует ли полученное состояние цели теста. При ошибке подход позволяет пересоздать проблемное продолжение, сохранив рабочее начало. Для возврата учитываются действия с возможными необратимыми последствиями, например отправка формы. Авторы сравнивали решения на WebVoyager, VisualWebArena и WorkArena и открыли код проекта.
Что взять в работу
На практическом примере это выглядит так: сценарий должен создать задачу, а после нажатия «Сохранить» появляется ошибка. Сам факт клика не подтверждает создание. У теста должно быть независимое ожидание — например, задача появилась в списке с нужными данными. При ремонте локатора это ожидание должно сохраниться. Для оценки генератора полезно отдельно запускать полученный код из чистого состояния и смотреть, обнаруживает ли он нарушение требования.
У подхода есть ограничения, которые авторы описывают прямо: зависимые друг от друга поля, динамические формы, анимации и CAPTCHA осложняют выполнение. Результаты также могут меняться с моделью и промптом. Это исследовательский препринт с открытой реализацией; выбирать его для рабочего регресса стоит после небольшого воспроизводимого эксперимента на собственном приложении.
