ИИ в QA: проверять нужно и сгенерированные проверки
Небольшой рабочий протокол для команд, которые используют модели при тест-анализе.
THINK BEFORE YOU TEST
Демонстрационный редакционный материал
Это обзор подхода, не новость о запуске модели или результатах исследования.
Чем полезно для QA
Убедительный список тестов может содержать вымышленные ограничения, повторения и неподтверждённые ожидания. Просите модель отделять факты из требований от предположений.
Протокол проверки
Для каждого предложенного сценария найдите исходное правило. Проверьте достижимость начального состояния и наблюдаемость результата. Уберите повторы, добавьте границы и негативные случаи, которых нет в ответе.
Не передавайте секреты и персональные данные в неутверждённые сервисы. Сначала обезличьте пример, затем проверьте результат вручную на согласованном окружении.
Источник материалаNIST — AI Risk Management Framework
Разобрались? Отметьте прогресс.