Инструмент разметки для обучения юридической OCR-модели

Помощники юристов, готовившие сильно потрёпанные медицинские документы к перепечатке, не могли понять, какие страницы потребуют ручной работы. Всё смазанное или грязное откладывали и перепечатывали с нуля, так что чистая и испорченная страница отнимали одинаково много сил.

Исправления хранились в файлах Word, где был только перепечатанный текст и больше ничего: ни места на странице, ни типа ошибки. Поэтому модель, которая ошиблась, так и не узнавала, что её исправили. К тому же существующий процесс был обязательным, а наш был экспериментом, так что всё новое должно было вписаться в него.

Я наблюдал за тремя помощниками юристов, пока они загружали сканеры и запускали распознавание. В конце каждого дня я брал у них интервью, и вместе мы нарисовали черновую карту пути, то есть картину каждого шага работы и того, как он ощущается, отметив у каждой задачи чувство, мысль и используемую технологию.

Я дал каждому по два голоса, чтобы отдать их за самый напряжённый момент, и попросил объяснить почему. Четыре голоса получила ручная проверка текста, два ожидание сканирования. Когда мы сравнили бесплатную программу распознавания Tesseract с программой сканера, которая у них уже была, помощники юристов сами решили, где проходит граница ручной проверки: они хотели видеть всё, в чём программа уверена меньше чем на 86%.

Tesseract оценивает, насколько он уверен в каждом фрагменте текста, и всё, что ниже порога в 86%, обводится красным прямо на странице. Идея пришла из полиграфии, где корректуру правят на самой странице, а не в списке где-то в стороне.

Наблюдая, как печатают помощники юристов, я увидел, что они смотрят в блокнот со строками и ключевыми словами, потом на экран и снова в блокнот. Поэтому панель рядом со страницей и есть этот блокнот, перенесённый на экран: по строке на каждое сомнительное место и меню типов ошибок. Она сворачивается, когда не нужна, а её полупрозрачный фон никогда полностью не закрывает страницу.

Две вещи, которые я поначалу считал само собой разумеющимися, не подтвердились. Первый раунд исправлений показал, что одного исправленного текста модели для обучения мало, поэтому помощники юристов вместе с нашим инженером выделили четыре типа ошибок: Misread (неверно прочитано), Incomplete (неполно), Bad format (неверный формат) и Other (другое). Неверное прочтение остаётся на совести модели, а неверный формат на совести страницы, поэтому их разделение позволяет модели извлечь из каждого случая правильный урок.

Собственное масштабирование браузера смещало контуры с тех слов, к которым они относились, поэтому масштаб стал элементом управления внутри инструмента, и контуры увеличиваются вместе со страницей. Каждое исправление сохраняется небольшой записью с номером своего места, и этого хватает, чтобы на этапе переобучения вернуть его точно туда, откуда оно взято.

На 1250 обучающих документах уверенность модели в сомнительных местах выросла с 86% до 93%. Это показатель её уверенности, а не доказательство её правоты. Мы так и не отложили пачку страниц, на которых она не обучалась, чтобы проверить её на них, поэтому могу сказать только одно: модель стала увереннее в себе, но не точнее.

Сэкономленное время официально не измеряли. Затраты, с которыми его сравнивали, примерно 12 сомнительных мест на документ по 30 секунд на каждое при ставке $35 в час, это моя оценка по наблюдениям за сессиями, а не результат формального хронометража.