Enterprise Search
Търсене в документи с ИИ: как да проверите PDF таблици в RAG система, без общата оценка да прикрива грешки
RAG система с много добра обща оценка пак може да отнесе решаващата сума към грешното място. Особено при многостранични PDF таблици заглавните редове, колоните и номерата на страниците се губят по пътя. Тази статия показва къде става това и как да проверявате критичните полета поотделно.
от Sebastian @searchit · · 8 мин. четене
Генерирано с ИИRetrieval-Augmented Generation, накратко RAG, е методът зад повечето асистенти с изкуствен интелект (ИИ) за фирмено знание: система за търсене извлича подходящи откъси от Вашите документи, а езиков модел формулира от тях отговора. Това работи добре, докато знанието е в свободен текст. В фактурите, количествените сметки, ценовите листи и протоколите от изпитвания то обаче често се намира в таблици – а те се простират на няколко страници.
Тогава е достатъчна една малка грешка при разчитането на PDF файла: на страница 2 липсва заглавният ред, една колона се разместява, междинна сума се разчита като позиция. Отговорът пак звучи правдоподобно. И тогава се получава пълна каша, защото обща оценка като „95 процента от съдържанието е разпознато правилно“ казва малко за решаващата сума, ако я претегля по същия начин като погрешно разпозната дума пълнеж.
Едно уточнение предварително: ние сме производителят на searchit. Общопризнат, пълен метод за проверка на таблици в RAG системи не открихме. Затова следващият процес е наш собствен проект. Моят съвет: проверете го върху собствените си документи – при всеки доставчик.
Накратко
- Първо определете критичните полета: сума с валута и мерна единица, отнасяне към позиция и колона, изходна страница.
- Отчитайте критичните грешки в полета поотделно – никога в средната стойност заедно с всички останали знаци.
- Проверявайте три етапа поотделно: разчитане на PDF файла, намиране на правилния откъс, отговор с указано място в източника.
- Разграничавайте „липсва“, „грешно“ и „измислено“. Измислената стойност е по-лоша от липсващата.
- Проверявайте отново след всяка смяна: друг четец за PDF, друг езиков модел, друго разделяне на откъси.
Когато търсите в документи с ИИ: къде се губят връзките в таблиците
PDF файлът съхранява знаци на позиции върху страницата; структурата на таблицата не може просто да се прочете от тях. Който сглобява от тях отново редове и колони, трябва да изведе връзките им. Обикновено това става добре, но не винаги. Типични места на пречупване при търсенето в PDF документи:
| Място на пречупване | Какво се случва | Как изглежда в отговора |
|---|---|---|
| преход между страници | заглавният ред е само на първата страница | стойностите от страница 2 вече нямат имена на колоните – „нето“ и „бруто“ се объркват |
| оформление в няколко колони | колоните се четат една до друга вместо една под друга | две позиции се сливат в една |
| обединени клетки | групов ред важи за няколко реда под него | групата се закача само за първия ред |
| суми и междинни суми | изглеждат като позиции | междинна сума се посочва като единична цена |
| мерна единица в заглавието или бележката под линия | „всички суми в хиляди евро“ стои извън таблицата | сумата е грешна хиляда пъти |
| формат на числата | запетаята и точката разделят според езика хилядите или десетичните знаци | от 1.234,56 евро при грешно приет формат става сума от около едно евро |
| сканирани документи | страницата е изображение, а не текст | без разпознаване на текст таблицата липсва изцяло |
| разделяне на откъси | RAG системата разрязва дългите документи на парчета – и посред таблица | намереният откъс съдържа стойности, но не и реда, към който принадлежат |
Определете критичните полета
Не всеки знак е еднакво важен. За всеки вид документ определете при кои полета грешката прави отговора неизползваем. За фактури и количествени сметки това обикновено са:
- сума – с валута и мерна единица,
- отнасяне – към коя позиция и коя колона принадлежи сумата,
- изходна страница – къде стои стойността в оригинала,
- дата или срок, ако има такива,
- номер на позиция или артикул.
Всичко останало – форматиране, свободен текст, долни колонтитули – също проверявате, но отделно.
Три етапа, три отчитания
Грешна сума в отговора може да е възникнала на три места. Който проверява само готовия отговор, не знае къде е грешката. Затова отчитайте грешките за всеки етап:
- Разчитане: стои ли стойността правилно в текста след преобразуването на PDF файла – в правилния ред, под правилната колона?
- Намиране: дава ли търсенето по даден въпрос откъса, който съдържа стойността и нейния ред заедно с връзката към колоната?
- Отговор: посочва ли отговорът правилната стойност с правилната мерна единица и мястото в източника?
Освен това отбележете какъв вид грешка е:
| Вид | Значение | Тежест |
|---|---|---|
| липсва | стойността е в PDF файла, но не стига до отговора | досадно – обикновено се забелязва |
| грешно | стойност пристига, но с грешно отнасяне, мерна единица или страница | опасно – изглежда правилно |
| измислено | стойността не стои така никъде в документа | най-опасно – не може да се провери в оригинала |
Процесът на проверка
- Тестова папка от реални PDF файлове. Вземете документи, които наистина се срещат при Вас. Изберете съзнателно и трудните случаи: многостранични таблици, сканирани документи, бележки под линия с мерни единици, редове със суми.
- Запишете целевите стойности предварително. Нека човек, който познава документа, запише критичните полета в малка таблица – преди системата да е стартирала.
- Проверявайте всеки етап поотделно. Първо преобразувания текст, после намерените откъси, после отговорите.
- Посочвайте критичните грешки в полета отделно. Собствен ред в доклада, собствен праг. Общата оценка стои под тях, а не над тях.
- Повтаряйте при всяка смяна. Друг четец за PDF, нов езиков модел, променено разделяне на откъси: същата папка, същите целеви стойности.
Така може да изглежда таблицата с целевите стойности за един документ:
| Документ | Страница | Позиция | Колона | Целева стойност | Разчитане | Намиране | Отговор |
|---|---|---|---|---|---|---|---|
| Количествена сметка А | 3 | 04.120 | Обща цена нето | (сума, валута) | |||
| Количествена сметка А | 4 | 04.130 | Единична цена | (сума, валута) | |||
| … |
Какво помага при изграждането на RAG система
За RAG за бизнеса предлагам следните правила за изграждане като част от нашия проект – независимо от използвания софтуер:
- Пренасяйте заглавния ред: всеки откъс от таблица трябва да съдържа имената на колоните ѝ, и на следващите страници.
- Не режете посред реда: подравнявайте границите на откъсите по редовете на таблицата, а не по фиксиран брой знаци.
- Запомняйте страницата: за всеки откъс записвайте номера на страницата в оригинала, за да може отговорът да я посочи.
- Пренасяйте мерните единици: закачайте указания като „в хиляди евро“ от заглавието или бележката под линия към стойностите.
- Третирайте числата с валута като една стойност, а не като две думи.
- Разпознавайте сканираните документи и ги разчитайте с разпознаване на текст, преди да влязат в търсенето.
- Отговаряйте винаги с място в източника, за да може човек да провери стойността в оригинала.
Как searchit помага при проверката
searchit е корпоративно търсене с ИИ и служи като памет на ИИ агентите. При проверката на масиви от PDF документи помагат най-вече тези функции:
- Разпознаване на текст в сканирани документи: сканираните документи и изображения стават четими и достъпни за търсене чрез разпознаване на текст.
- Преглед на текста на документа: визуализацията показва текста на резултата в четим вид. Така виждате какво е станало от една таблица като текст – първият етап на проверката.
- Откъсът, който е дал съвпадението: при резултат от семантичното търсене списъкът с резултати показва текстовия откъс, който е довел до съвпадението. Така проверявате втория етап: стои ли връзката към колоната в откъса?
- Разпознати суми за всеки документ: отделен раздел във визуализацията показва лицата, организациите, местата и сумите, които searchit е разпознал в документа. Така сравнявате разпознатите стойности директно с таблицата с целевите стойности.
- Филтриране по суми: чрез разпознатите суми в търсенето може да се филтрира по диапазони – например „фактури между 50 000 и 100 000 евро“. Сумата и валутата се проверяват като една стойност. Сравнете резултатите със списъка на очакваните документи.
- Произход на всяко ИИ поле: всяко поле, което езиков модел създава при индексирането, носи модел, версия на модела, момент на създаване и идентификатор на промпта. След смяна на модела виждате кое изпълнение какъв резултат е дало.
- Права от системите източници: всеки потребител намира само документите, които има право да вижда в системата източник, а свързаният ИИ агент – само тези на своя потребител – и при фактури и договори.
Какво предлага searchit като корпоративно търсене, показва страницата Enterprise Search на searchit-agent.ai.
Често задавани въпроси
Какво е RAG?
Retrieval-Augmented Generation: система за търсене извлича подходящи откъси от Вашите документи, а езиков модел формулира от тях отговора. Затова качеството на отговора зависи първо от това колко добре се разчитат и намират документите.
Могат ли таблиците от PDF файлове да се извличат надеждно?
Зависи от документа. Цифрово създадените PDF файлове с прости таблици обикновено се извличат добре; многостраничните таблици, обединените клетки и сканираните документи са по-трудни. Затова точно тези случаи трябва да влязат в тестовата папка.
Защо общата оценка не е достатъчна?
Ако тя претегля всички грешки еднакво, една погрешно отнесена сума почти не се отразява в оценка върху хиляди знаци. За отговора към отдел „Снабдяване“ обаче тя може да е решаваща.
Кое е по-лошо: липсваща или грешна стойност?
Грешната стойност, а още по-тежко тежи измислената. Липсващата стойност обикновено се забелязва, грешната може да изглежда правилна. Затова процесът на проверка отчита трите вида поотделно.
Колко често да повтарям проверката?
При всяка промяна, която влияе на разчитането, намирането или отговора: друг четец за PDF, друг езиков модел, друго разделяне на откъси – и когато се добавят нови видове документи.
Заключение
При RAG система за бизнеса в таблиците една-единствена сума може да е решаваща. Затова бих започнал от критичните полета: определете ги, проверявайте разчитането, намирането и отговора поотделно и посочвайте отделно грешните и измислените стойности. Така решаващата грешка остава видима до общата оценка.
Как searchit разчита Вашите PDF файлове и кой раздел показва като резултат, ще Ви покажем с удоволствие със собствените Ви документи – в демонстрация.
Свързани статии: Приемане на ИИ агенти за бизнеса · Най-добрите системи за корпоративно търсене 2026
Може да ви заинтересува също
Генерирано с ИИEnterprise Search
Приемане на ИИ агенти за бизнеса: грешки, въпроси за уточнение и доработка се измерват поотделно
В пилотната фаза един ИИ агент често изглежда добре. Дали в реалната работа ще спести повече труд, отколкото струват контролът и поддръжката, само процентът на успех не …
Генерирано с ИИEnterprise Search
Памет за ИИ агенти за бизнеса: фирмено знание, факти и случаи в сравнение
ИИ агент без памет започва всеки ден отначало. Но „памет“ означава различни неща според доставчика: знанието в масива от данни на Вашата организация, факти за хора и …
Генерирано с ИИEnterprise Search
Правото да четеш не е право да действаш: как безопасно да тествате ИИ агенти с права за запис
ИИ агент с права за четене намира информация. С права за запис той изпраща имейли, променя записи и създава срещи. Преди да разрешите това, Ви трябват три отговора: кой какво …
