Согласуйте проверочную выборку

Включите разные условия работы, редкие дефекты и сложные примеры. Отделите данные для проверки от данных, на которых модель обучалась.

Что проверить

  • Версионируйте данные, разметку и модель.
  • Считайте пропуски и ложные срабатывания отдельно.
  • Проверяйте задержку на рабочем оборудовании.
  • Предусмотрите проверку человеком и возврат версии.

Собирайте обратную связь оператора

Подтверждённые и отклонённые события помогают видеть новые ошибки. Изменения модели нужно проверять на прежних сценариях, чтобы улучшение одного класса не ухудшило другие.