Проверить ответ: от утверждения к доказательству
Проведите независимый разбор сгенерированных проверок и найдите ложные ожидания.
- Разделить проверку формы, фактов и покрытия выбранной модели.
- Найти дубли, неподтверждённые ожидания и пропущенные состояния.
- Описать пределы результата без ложного статуса Passed.
Проверяйте три разных слоя
Сначала проверьте форму: все ли строки содержат вход, действие, наблюдаемое ожидание и источник. Затем смысл: соответствует ли ожидание правилу, возможны ли данные, не объединены ли несовместимые предусловия. После этого оцените покрытие выбранной модели: какие требования, состояния или границы вообще представлены. Проход одного слоя не компенсирует провал другого. Аккуратная таблица с десятью одинаковыми успешными сценариями может почти ничего не говорить о границах и доступе.
Для ответа по F1–F4 составьте свой небольшой ориентир до чтения генерации. Поля дают классы и границы, draft/published — состояния видимости, автор/другой участник — различие субъектов. Не нужно заранее написать весь регресс. Достаточно зафиксировать важные различия, по которым вы будете проверять предложенный набор. Это снижает риск принять структуру модели за единственную возможную модель продукта.
Разобранный пример: три дефекта одного набора
Ассистент предложил: title 80 — отклонить; description 0 — отклонить; draft автора открывается автору. Первая строка противоречит включённой верхней границе F1, вторая — F2. Третья согласуется с F3, но не показывает, что другой участник лишён доступа. Если добавить ещё пять вариантов чтения автором, этот пробел не исчезнет. Нужна проверка именно другого субъекта, с тем же черновиком и известным начальным состоянием.
Отдельно разберите набор для published. F4 определяет видимость заголовка участникам команды, но не определяет доступ внешнего пользователя к описанию. Ожидание для внешнего пользователя нельзя молча вывести из того, что команда явно названа в одном правиле. Это существенный риск и вопрос к контракту. Разница между отсутствием проверки и отсутствием требования важна: в первом случае добавляют сценарий, во втором сначала устанавливают ожидаемое поведение.
Короткий журнал ревью
| Находка | Класс проблемы | Следующий шаг |
|---|---|---|
| 80 символов объявлены невалидными | Неверное ожидание | Исправить по F1 |
| Два одинаковых чтения draft автором | Дубль | Оставить один, описать существенную альтернативу |
| Нет попытки чтения draft другим субъектом | Пробел выбранной модели | Добавить проверку по F3 |
| Для чужой команды заявлен HTTP 403 | Неизвестное требование | Уточнить контракт и доступ |
Верификация должна выйти за пределы разговора с моделью
Повторный запрос «ты уверен?» может дать полезную альтернативу, но не является независимым подтверждением. Проверьте длины подсчётом, правило — исходным документом, поведение — на согласованной сборке, если выполняется тест. Для технического примера полезен минимальный набор с известным результатом. Для утверждения о библиотеке откройте документацию нужной версии. Не переносите вывод на другой диалект, роль или состояние без основания.
В конце напишите, что принято, что исправлено, какие вопросы мешают завершению и что не выполнялось. Если учебная проверка касается только ASCII-длин и видимости черновика, не называйте её полной проверкой Unicode, авторизации или готовности к выпуску. Такое ограничение не обесценивает работу: оно делает её воспроизводимой. Следующему специалисту понятно, какие решения можно использовать и где ещё требуется согласование.
ЗАДАЧА Проведи ревью предложенного набора, не заменяя неизвестные требования своими. КОНТЕКСТ Нужно проверить черновик QA по исходным правилам, а не выполнить приложение. ВХОДНЫЕ ДАННЫЕ Синтетический учебный продукт OrbitDesk. Реальных клиентов и рабочих данных нет. Это сокращённый фрагмент полного учебного контракта: работайте только с переданными правилами. Публикацию уточним в итоговом задании. F1. Заголовок задачи — строка от 1 до 80 кодовых точек Unicode включительно. Сохранение не удаляет пробелы по краям автоматически. F2. Описание — строка от 0 до 2000 кодовых точек Unicode включительно. F3. Состояния: draft и published. Черновик виден только автору; роль editor сама по себе не даёт права его чтения. F4. Заголовок опубликованной задачи виден участникам её команды. Существуют роли user и editor. Права публикации не включены в этот фрагмент. Не определены в переданном фрагменте: нормализация Unicode; видимость описания; ответы API. Недостающие правила нельзя восстанавливать догадкой. Набор: [вставьте строки из практики]. ОГРАНИЧЕНИЯ Отдельно отметь неверные ожидания, дубли, пробелы выбранной модели и вопросы к продукту. Ссылка на правило обязательна для исправленного ожидания. Не заявляй о выполнении тестов. ОЖИДАЕМЫЙ ФОРМАТ ID строки | находка | основание | исправление/вопрос. Затем границы проведённого ревью.
Используйте разрешённый ИИ-сервис. Не отправляйте рабочие секреты и персональные данные.
Источники и проверка фактов
NIST AI 600-1: Generative AI ProfileПервичный источник: риск убедительных ошибочных ответов, оценка результатов и ограничения применения ИИ. Учебные проверки OrbitDesk разработаны редакцией.Авторский учебный материал · Редакция QA Orbit · версия 2026-10-28.1