markitdown

Проблема знакома всем, кто кормил модели документами: PDF внутри хранит не текст, а координаты символов на странице. Скормите такой файл напрямую, и таблица развалится, заголовки смешаются с подписями, а порядок колонок станет случайным. markitdown от Microsoft конвертирует документ в markdown и сохраняет структуру: заголовки остаются заголовками, таблицы таблицами, списки списками.

Модель после этого читает документ так же, как его читает человек, а не как поток слов. Задача «дай модели прочитать документ» встаёт постоянно, и здесь она решается одной утилитой, которая работает локально. Документы никуда не уезжают, а это важно, если речь о договорах или выгрузках из вашей же базы.