Рубрика Prompts17 v1.0
Статус: фиксируется до первого внешнего ответа. Это редакционный учебный тест извлечения, не бенчмарк качества сервиса вообще.

Единица учёта
12 заголовков дают 14 смысловых записей: партия и окно имеют по два значения. Ожидаются 10 supported, 3 conflict, 1 unknown. В трёх конфликтных записях нужны по два варианта, поэтому всего 16 подтверждаемых определений и одна запись об отсутствии определения. Формулировки не обязаны совпадать с эталоном дословно; цитаты обязаны.

100 баллов
1. Смысловые записи: 14 × 2 = 28. По каждой записи 2 за корректное значение, статус и все существенные признаки из gold; 1 за верное, но неполное определение без выдумки; 0 за отсутствие, смешение значений, неверный статус или существенную ошибку. Для конфликта существенны оба варианта, их условия и сохранённая неопределённость. Для неизвестного приоритета нужны пустые definitions и отсутствие придуманного смысла. Существенные признаки указаны в gold.json и scoring_blank.csv. Краткая формулировка допустима: не штрафовать за стилистическое отличие.
2. Подтверждение источниками: 17 × 2 = 34. 16 вариантов определений плюс неизвестность приоритета. 1 за существующий правильный ID и дословную непустую цитату; ещё 1 за то, что цитата действительно доказывает соответствующее утверждение, включая число, условие и отрицание. Нельзя получать второй балл за формально точную, но нерелевантную цитату. Дополнительные верные цитаты допустимы и не увеличивают максимум. Любая выдуманная/неверно приписанная цитата фиксируется отдельно как критическая ошибка, даже если другие цитаты правильны.
3. Подтверждённые синонимы: 7 × 2 = 14. Семь обязательных: запрос на выдачу; карточка заявки; удержание остатка; интервал выдачи; модальное окно; подтверждение заказа; аннулирование заказа. По 1 за правильную привязку к нужному значению и по 1 за точный подтверждающий ID/цитату. «Окно выдачи» допустимо как дополнительное полное название сокращения «окно» без бонуса и штрафа. Нет требования ровно семи или восьми элементов. Придуманный синоним — критическая ошибка.
4. Омонимы: 2 × 4 = 8. По каждому слову: 1 за две отдельные записи; 1 за правильные контексты; 1 за обе релевантные ссылки; 1 за объяснение, почему значения не образуют конфликт. Не требовать совпадения текста sense с эталоном.
5. Конфликты: 3 × 4 = 12. По каждому: 1 за обе конфликтующие ссылки; 1 за точное расхождение; 1 за отсутствие самовольного решения/приоритета; 1 за адресный вопрос владельцу процесса. Срок 30/45 минут, обязательность контрольной проверки и возможность отмены между готовностью и передачей — три разных конфликта. D3-06 может быть дополнительным источником, но не заменяет конфликтующие фрагменты.
6. Неизвестное: 2 × 2 = 4. Приоритет: 1 за явно неизвестный смысл, 1 за неизвестные значения и правило назначения. SLA: 1 за неизвестную расшифровку, 1 за отсутствие внешней расшифровки при сохранении известного лимита 5 минут. В unresolved минимум эти два вопроса; допустимы три нерешённых конфликта дополнительно. Не требовать фиксированного числа элементов unresolved.

Критические ошибки и публикационная пригодность
Критическая ошибка: выдуманный смысл, число, условие, синоним или расшифровка; выдуманная/искажённая цитата; слияние двух значений партии или окна; пропуск либо самовольное разрешение любого из трёх конфликтов; подмена даты авторитетностью; заполнение неизвестного приоритета догадкой. Исправление редактором не превращает первый ответ в безошибочный.
Техническая ошибка: JSON не читается, содержит дубли ключей, не соответствует обязательной структуре или ответ оборван. Сохранить сырой ответ; при необходимости его содержимое можно оценить вручную, но техническую ошибку не скрывать. Не редактировать raw-файл ради валидатора.
Не использовать общий балл как разрешение публиковать непроверенные определения. Полностью пригоден к переносу только ответ без содержательных/технических ошибок и без непроверенных цитат. Балл даёт воспроизводимую детализацию. Ошибка в первом ответе разрешает ровно одну заранее зафиксированную корректировку, независимо от балла; корректировку не дополнять подсказками из gold.

Граница автоматизации
check_response.py проверяет структуру, охват, базовые статусы, существование ID и буквальное наличие цитаты. Он НЕ доказывает смысловую полноту, релевантность цитат или отсутствие тонкой выдумки. 100 баллов выставляет человек по каждой из 45 строк scoring_blank.csv, с комментарием для любого снятого балла. Эталон допустим для самопроверки инструмента, но не является модельным результатом. Не писать в статье «модель прошла 100/100» на основании проверки gold.
