Какие документы включить в проверочный набор для ИИ-пилота

Подготовлено 23 октября 2026 года

Проверочный набор для ИИ-пилота должен представлять одну задачу и включать подтверждённые ожидаемые ответы, сложные примеры и случаи без допустимого результата. Несколько удобных документов не описывают весь процесс. Размер и состав выбирают по реальным условиям, без универсальной нормы.

Назовите одно проверяемое действие

Извлечь заданные поля и найти основание ответа — разные действия. У первого проверяют значения и связь с исходным участком, у второго — соответствие тезиса найденному фрагменту. Смешав их одной оценкой, трудно понять, где возникла ошибка.

В учебном пилоте будем извлекать из спецификаций одного типа обозначение позиции, количество и единицу. Все образцы вымышлены. Это ограниченная задача для проверки, а не обещание разобрать весь входящий документооборот.

Опишите разнообразие реальных условий

Составьте перечень встречающихся форм, вариантов расположения полей и допустимого качества исходников. Отделите подтверждённые условия от предполагаемых. В набор берут материалы, которые разрешено использовать; обезличивание и доступ согласуют с владельцем.

Для учебного паспорта нужны обычная таблица, другая допустимая компоновка и пример с неясной единицей. Количество документов определяют по разнообразию процесса и выбранному способу проверки. Одинаковые копии одного удобного образца не заменяют это разнообразие.

Подготовьте ожидаемые ответы

Ожидаемый ответ фиксируют до итоговой проверки. Если специалисты расходятся, это не готовый эталон: нужна запись спорного значения и решение владельца. Иначе ошибку исходного ожидания легко назвать ошибкой компонента.

Включите неудобные и отрицательные случаи

Проверьте недостающий фрагмент, неподходящий документ и несколько возможных значений. Правильным результатом может быть отсутствие ответа или передача человеку. Система не должна получать положительную оценку за правдоподобную догадку вместо неизвестного.

Выбор маршрута обработки одного документа рассмотрен в статье об OCR и проверке результата. Паспорт набора решает другой вопрос: какие условия представлены в оценке и какие пока остались за её границей.

Не смешивайте подбор и итоговую проверку

С разработчиком заранее согласуйте, какие примеры используются для настройки, а какие — для последующей приёмки выбранного решения. Конкретный метод зависит от задачи. Важно сохранить возможность проверить результат на согласованных примерах, которые не превращены в удобную демонстрацию.

Если состав набора изменился, зафиксируйте версию и причину. Улучшение результата на другом наборе нельзя напрямую назвать улучшением компонента. Сначала нужны сопоставимые условия и понятное правило оценки.

Как представить результат пилота

Покажите ошибки по типам: неверное значение, потерянное поле, неподтверждённый вывод и корректная передача человеку. Укажите обработанный состав, исключения и открытый остаток. Общий процент без определения проверяемой единицы и знаменателя мало объясняет.

Одно проверяемое действие и поля результата:
Тип документов / подтверждённые условия:
Разрешение использования / владелец / версия набора:
Образец — особенность — ожидаемый ответ:
Кто подтвердил ожидание / спорные значения:
Сложные и отрицательные случаи:
Примеры настройки / согласованной приёмки:
Типы ошибок / участие человека:
Граница применимости / открытый остаток:

Для обсуждения ограниченного ИИ-пилота такой паспорт даёт проверяемый вход. Промышленная точность и работа на всём процессе заранее не предполагаются.

Если такой участок есть в вашем проекте, опишите одно действие и нужный результат. Первый разговор бесплатный; готовое ТЗ не обязательно. Обсудить свою задачу.