Проверить ответ: от утверждения к доказательству · QA Orbit
Перейти к содержимому
QA ORBIT
Новости Инструменты Библиотека Полезные сайты Курсы ИИ и тестирование
Войти
КурсыТренажёры3
Маршруты обучения
КурсыИИ в работе QA: осмысленный стартУрок 4
Программа курса

ИИ в работе QA: осмысленный старт

0 из 6 уроков пройдено
01Где ИИ помогает, а решение остаётся за QA≈ 35 мин02Подготовить безопасный и достаточный контекст≈ 40 мин03Промпт как проверяемая постановка задачи≈ 40 мин04Проверить ответ: от утверждения к доказательству≈ 45 мин05Улучшать запрос по наблюдаемым ошибкам≈ 45 мин06Итоговая работа: пакет тест-анализа с проверенным ИИ-черновиком≈ 60 мин
Учебные данные. Реальные навыки.
Урок 04 / 6 · 02 / Запрос и проверка≈ 45 мин с практикой

Проверить ответ: от утверждения к доказательству

Проведите независимый разбор сгенерированных проверок и найдите ложные ожидания.

В своём темпе
Что вы сможете после урока
  • Разделить проверку формы, фактов и покрытия выбранной модели.
  • Найти дубли, неподтверждённые ожидания и пропущенные состояния.
  • Описать пределы результата без ложного статуса Passed.

Рамки учебного анализа

В уроках 1–5 намеренно передан сокращённый фрагмент F1–F4. В следующем курсе кейс OD-1 содержит дополнительные правила и собственную нумерацию; F1–F6 относятся только к этому учебному фрагменту. Здесь проверяется умение не подставлять отсутствующий контекст; правило, известное из другого задания, нужно явно получить или указать отдельным источником. Кодовые точки Unicode и отсутствие автоматического trim при сохранении уже заданы.

Проверяйте три разных слоя

Сначала проверьте форму: все ли строки содержат вход, действие, наблюдаемое ожидание и источник. Затем смысл: соответствует ли ожидание правилу, возможны ли данные, не объединены ли несовместимые предусловия. После этого оцените покрытие выбранной модели: какие требования, состояния или границы вообще представлены. Проход одного слоя не компенсирует провал другого. Аккуратная таблица с десятью одинаковыми успешными сценариями может почти ничего не говорить о границах и доступе.

Для ответа по F1–F4 составьте свой небольшой ориентир до чтения генерации. Поля дают классы и границы, draft/published — состояния видимости, автор/другой участник — различие субъектов. Не нужно заранее написать весь регресс. Достаточно зафиксировать важные различия, по которым вы будете проверять предложенный набор. Это снижает риск принять структуру модели за единственную возможную модель продукта.

Разобранный пример: три дефекта одного набора

Ассистент предложил: title 80 — отклонить; description 0 — отклонить; draft автора открывается автору. Первая строка противоречит включённой верхней границе F1, вторая — F2. Третья согласуется с F3, но не показывает, что другой участник лишён доступа. Если добавить ещё пять вариантов чтения автором, этот пробел не исчезнет. Нужна проверка именно другого субъекта, с тем же черновиком и известным начальным состоянием.

Отдельно разберите набор для published. F4 определяет видимость заголовка участникам команды, но не определяет доступ внешнего пользователя к описанию. Ожидание для внешнего пользователя нельзя молча вывести из того, что команда явно названа в одном правиле. Это существенный риск и вопрос к контракту. Разница между отсутствием проверки и отсутствием требования важна: в первом случае добавляют сценарий, во втором сначала устанавливают ожидаемое поведение.

Короткий журнал ревью

НаходкаКласс проблемыСледующий шаг
80 символов объявлены невалиднымиНеверное ожиданиеИсправить по F1
Два одинаковых чтения draft авторомДубльОставить один, описать существенную альтернативу
Нет попытки чтения draft другим субъектомПробел выбранной моделиДобавить проверку по F3
Для чужой команды заявлен HTTP 403Неизвестное требованиеУточнить контракт и доступ

Верификация должна выйти за пределы разговора с моделью

Повторный запрос «ты уверен?» может дать полезную альтернативу, но не является независимым подтверждением. Проверьте длины подсчётом, правило — исходным документом, поведение — на согласованной сборке, если выполняется тест. Для технического примера полезен минимальный набор с известным результатом. Для утверждения о библиотеке откройте документацию нужной версии. Не переносите вывод на другой диалект, роль или состояние без основания.

В конце напишите, что принято, что исправлено, какие вопросы мешают завершению и что не выполнялось. Если учебная проверка касается только ASCII-длин и видимости черновика, не называйте её полной проверкой Unicode, авторизации или готовности к выпуску. Такое ограничение не обесценивает работу: оно делает её воспроизводимой. Следующему специалисту понятно, какие решения можно использовать и где ещё требуется согласование.

Приёмка и выполнение — разные статусы

В этом курсе вы проверяете качество учебного артефакта. Если приложение не запускалось, в итоговом документе должно остаться «спроектировано / проверено по требованиям», а не «тест пройден».

Промпт для самостоятельной работы
ЗАДАЧА
Проведи ревью предложенного набора, не заменяя неизвестные требования своими.

КОНТЕКСТ
Нужно проверить черновик QA по исходным правилам, а не выполнить приложение.

ВХОДНЫЕ ДАННЫЕ
Синтетический учебный продукт OrbitDesk. Реальных клиентов и рабочих данных нет.
Это сокращённый фрагмент полного учебного контракта: работайте только с переданными правилами. Публикацию уточним в итоговом задании.
F1. Заголовок задачи — строка от 1 до 80 кодовых точек Unicode включительно. Сохранение не удаляет пробелы по краям автоматически.
F2. Описание — строка от 0 до 2000 кодовых точек Unicode включительно.
F3. Состояния: draft и published. Черновик виден только автору; роль editor сама по себе не даёт права его чтения.
F4. Заголовок опубликованной задачи виден участникам её команды.
Существуют роли user и editor. Права публикации не включены в этот фрагмент.
Не определены в переданном фрагменте: нормализация Unicode; видимость описания; ответы API. Недостающие правила нельзя восстанавливать догадкой.
Набор: [вставьте строки из практики].

ОГРАНИЧЕНИЯ
Отдельно отметь неверные ожидания, дубли, пробелы выбранной модели и вопросы к продукту. Ссылка на правило обязательна для исправленного ожидания. Не заявляй о выполнении тестов.

ОЖИДАЕМЫЙ ФОРМАТ
ID строки | находка | основание | исправление/вопрос. Затем границы проведённого ревью.

Используйте разрешённый ИИ-сервис. Не отправляйте рабочие секреты и персональные данные.

Источники и проверка фактов

NIST AI 600-1: Generative AI ProfileПервичный источник: риск убедительных ошибочных ответов, оценка результатов и ограничения применения ИИ. Учебные проверки OrbitDesk разработаны редакцией.

Авторский учебный материал · Редакция QA Orbit · версия 2026-10-28.1

Теперь применим это к задачеПопробуйте сами, прежде чем открывать разбор.
Предыдущий урокПромпт как проверяемая постановка задачиСледующий урокУлучшать запрос по наблюдаемым ошибкам
QA ORBIT

Проверяй. Понимай. Расти.

Пространство осмысленного тестирования.
ИсследуйтеНовостиИнструментыБиблиотека
РазвивайтесьКурсыТренажёрыМаршруты обученияИИ и тестирование
Оставайтесь на орбитеО проекте Полезные сайтыГлоссарий
© 2026 QA Orbit. Сделано с вниманием к деталям.
КонфиденциальностьУсловия использования Всегда есть что исследовать