Към съдържанието
Последна актуализация:
Технически блог

Корпоративно търсене, пълнотекстово търсене и изкуствен интелект в организацията

Enterprise Search

Търсене в документи с ИИ: как да проверите PDF таблици в RAG система, без общата оценка да прикрива грешки

RAG система с много добра обща оценка пак може да отнесе решаващата сума към грешното място. Особено при многостранични PDF таблици заглавните редове, колоните и номерата на страниците се губят по пътя. Тази статия показва къде става това и как да проверявате критичните полета поотделно.

от Sebastian @searchit · · 8 мин. четене

Споделяне
Две отпечатани страници с таблица, която минава през прехода между страниците; сини светлинни нишки свързват заглавния ред на страница 1 с редовете на страница 2, върху една клетка лежи лупаГенерирано с ИИ

Retrieval-Augmented Generation, накратко RAG, е методът зад повечето асистенти с изкуствен интелект (ИИ) за фирмено знание: система за търсене извлича подходящи откъси от Вашите документи, а езиков модел формулира от тях отговора. Това работи добре, докато знанието е в свободен текст. В фактурите, количествените сметки, ценовите листи и протоколите от изпитвания то обаче често се намира в таблици – а те се простират на няколко страници.

Тогава е достатъчна една малка грешка при разчитането на PDF файла: на страница 2 липсва заглавният ред, една колона се разместява, междинна сума се разчита като позиция. Отговорът пак звучи правдоподобно. И тогава се получава пълна каша, защото обща оценка като „95 процента от съдържанието е разпознато правилно“ казва малко за решаващата сума, ако я претегля по същия начин като погрешно разпозната дума пълнеж.

Едно уточнение предварително: ние сме производителят на searchit. Общопризнат, пълен метод за проверка на таблици в RAG системи не открихме. Затова следващият процес е наш собствен проект. Моят съвет: проверете го върху собствените си документи – при всеки доставчик.

Накратко

  • Първо определете критичните полета: сума с валута и мерна единица, отнасяне към позиция и колона, изходна страница.
  • Отчитайте критичните грешки в полета поотделно – никога в средната стойност заедно с всички останали знаци.
  • Проверявайте три етапа поотделно: разчитане на PDF файла, намиране на правилния откъс, отговор с указано място в източника.
  • Разграничавайте „липсва“, „грешно“ и „измислено“. Измислената стойност е по-лоша от липсващата.
  • Проверявайте отново след всяка смяна: друг четец за PDF, друг езиков модел, друго разделяне на откъси.

Когато търсите в документи с ИИ: къде се губят връзките в таблиците

PDF файлът съхранява знаци на позиции върху страницата; структурата на таблицата не може просто да се прочете от тях. Който сглобява от тях отново редове и колони, трябва да изведе връзките им. Обикновено това става добре, но не винаги. Типични места на пречупване при търсенето в PDF документи:

Място на пречупванеКакво се случваКак изглежда в отговора
преход между страницизаглавният ред е само на първата страницастойностите от страница 2 вече нямат имена на колоните – „нето“ и „бруто“ се объркват
оформление в няколко колониколоните се четат една до друга вместо една под другадве позиции се сливат в една
обединени клеткигрупов ред важи за няколко реда под негогрупата се закача само за първия ред
суми и междинни сумиизглеждат като позициимеждинна сума се посочва като единична цена
мерна единица в заглавието или бележката под линия„всички суми в хиляди евро“ стои извън таблицатасумата е грешна хиляда пъти
формат на числатазапетаята и точката разделят според езика хилядите или десетичните знациот 1.234,56 евро при грешно приет формат става сума от около едно евро
сканирани документистраницата е изображение, а не текстбез разпознаване на текст таблицата липсва изцяло
разделяне на откъсиRAG системата разрязва дългите документи на парчета – и посред таблицанамереният откъс съдържа стойности, но не и реда, към който принадлежат

Определете критичните полета

Не всеки знак е еднакво важен. За всеки вид документ определете при кои полета грешката прави отговора неизползваем. За фактури и количествени сметки това обикновено са:

  • сума – с валута и мерна единица,
  • отнасяне – към коя позиция и коя колона принадлежи сумата,
  • изходна страница – къде стои стойността в оригинала,
  • дата или срок, ако има такива,
  • номер на позиция или артикул.

Всичко останало – форматиране, свободен текст, долни колонтитули – също проверявате, но отделно.

Три етапа, три отчитания

Грешна сума в отговора може да е възникнала на три места. Който проверява само готовия отговор, не знае къде е грешката. Затова отчитайте грешките за всеки етап:

  1. Разчитане: стои ли стойността правилно в текста след преобразуването на PDF файла – в правилния ред, под правилната колона?
  2. Намиране: дава ли търсенето по даден въпрос откъса, който съдържа стойността и нейния ред заедно с връзката към колоната?
  3. Отговор: посочва ли отговорът правилната стойност с правилната мерна единица и мястото в източника?

Освен това отбележете какъв вид грешка е:

ВидЗначениеТежест
липсвастойността е в PDF файла, но не стига до отговорадосадно – обикновено се забелязва
грешностойност пристига, но с грешно отнасяне, мерна единица или страницаопасно – изглежда правилно
измисленостойността не стои така никъде в документанай-опасно – не може да се провери в оригинала

Процесът на проверка

  1. Тестова папка от реални PDF файлове. Вземете документи, които наистина се срещат при Вас. Изберете съзнателно и трудните случаи: многостранични таблици, сканирани документи, бележки под линия с мерни единици, редове със суми.
  2. Запишете целевите стойности предварително. Нека човек, който познава документа, запише критичните полета в малка таблица – преди системата да е стартирала.
  3. Проверявайте всеки етап поотделно. Първо преобразувания текст, после намерените откъси, после отговорите.
  4. Посочвайте критичните грешки в полета отделно. Собствен ред в доклада, собствен праг. Общата оценка стои под тях, а не над тях.
  5. Повтаряйте при всяка смяна. Друг четец за PDF, нов езиков модел, променено разделяне на откъси: същата папка, същите целеви стойности.

Така може да изглежда таблицата с целевите стойности за един документ:

ДокументСтраницаПозицияКолонаЦелева стойностРазчитанеНамиранеОтговор
Количествена сметка А304.120Обща цена нето(сума, валута)
Количествена сметка А404.130Единична цена(сума, валута)
…

Какво помага при изграждането на RAG система

За RAG за бизнеса предлагам следните правила за изграждане като част от нашия проект – независимо от използвания софтуер:

  • Пренасяйте заглавния ред: всеки откъс от таблица трябва да съдържа имената на колоните ѝ, и на следващите страници.
  • Не режете посред реда: подравнявайте границите на откъсите по редовете на таблицата, а не по фиксиран брой знаци.
  • Запомняйте страницата: за всеки откъс записвайте номера на страницата в оригинала, за да може отговорът да я посочи.
  • Пренасяйте мерните единици: закачайте указания като „в хиляди евро“ от заглавието или бележката под линия към стойностите.
  • Третирайте числата с валута като една стойност, а не като две думи.
  • Разпознавайте сканираните документи и ги разчитайте с разпознаване на текст, преди да влязат в търсенето.
  • Отговаряйте винаги с място в източника, за да може човек да провери стойността в оригинала.

Как searchit помага при проверката

searchit е корпоративно търсене с ИИ и служи като памет на ИИ агентите. При проверката на масиви от PDF документи помагат най-вече тези функции:

  • Разпознаване на текст в сканирани документи: сканираните документи и изображения стават четими и достъпни за търсене чрез разпознаване на текст.
  • Преглед на текста на документа: визуализацията показва текста на резултата в четим вид. Така виждате какво е станало от една таблица като текст – първият етап на проверката.
  • Откъсът, който е дал съвпадението: при резултат от семантичното търсене списъкът с резултати показва текстовия откъс, който е довел до съвпадението. Така проверявате втория етап: стои ли връзката към колоната в откъса?
  • Разпознати суми за всеки документ: отделен раздел във визуализацията показва лицата, организациите, местата и сумите, които searchit е разпознал в документа. Така сравнявате разпознатите стойности директно с таблицата с целевите стойности.
  • Филтриране по суми: чрез разпознатите суми в търсенето може да се филтрира по диапазони – например „фактури между 50 000 и 100 000 евро“. Сумата и валутата се проверяват като една стойност. Сравнете резултатите със списъка на очакваните документи.
  • Произход на всяко ИИ поле: всяко поле, което езиков модел създава при индексирането, носи модел, версия на модела, момент на създаване и идентификатор на промпта. След смяна на модела виждате кое изпълнение какъв резултат е дало.
  • Права от системите източници: всеки потребител намира само документите, които има право да вижда в системата източник, а свързаният ИИ агент – само тези на своя потребител – и при фактури и договори.

Какво предлага searchit като корпоративно търсене, показва страницата Enterprise Search на searchit-agent.ai.

Често задавани въпроси

Какво е RAG?

Retrieval-Augmented Generation: система за търсене извлича подходящи откъси от Вашите документи, а езиков модел формулира от тях отговора. Затова качеството на отговора зависи първо от това колко добре се разчитат и намират документите.

Могат ли таблиците от PDF файлове да се извличат надеждно?

Зависи от документа. Цифрово създадените PDF файлове с прости таблици обикновено се извличат добре; многостраничните таблици, обединените клетки и сканираните документи са по-трудни. Затова точно тези случаи трябва да влязат в тестовата папка.

Защо общата оценка не е достатъчна?

Ако тя претегля всички грешки еднакво, една погрешно отнесена сума почти не се отразява в оценка върху хиляди знаци. За отговора към отдел „Снабдяване“ обаче тя може да е решаваща.

Кое е по-лошо: липсваща или грешна стойност?

Грешната стойност, а още по-тежко тежи измислената. Липсващата стойност обикновено се забелязва, грешната може да изглежда правилна. Затова процесът на проверка отчита трите вида поотделно.

Колко често да повтарям проверката?

При всяка промяна, която влияе на разчитането, намирането или отговора: друг четец за PDF, друг езиков модел, друго разделяне на откъси – и когато се добавят нови видове документи.

Заключение

При RAG система за бизнеса в таблиците една-единствена сума може да е решаваща. Затова бих започнал от критичните полета: определете ги, проверявайте разчитането, намирането и отговора поотделно и посочвайте отделно грешните и измислените стойности. Така решаващата грешка остава видима до общата оценка.

Как searchit разчита Вашите PDF файлове и кой раздел показва като резултат, ще Ви покажем с удоволствие със собствените Ви документи – в демонстрация.

Свързани статии: Приемане на ИИ агенти за бизнеса · Най-добрите системи за корпоративно търсене 2026

Може да ви заинтересува също

Генерирано с ИИ

Enterprise Search

Приемане на ИИ агенти за бизнеса: грешки, въпроси за уточнение и доработка се измерват поотделно

В пилотната фаза един ИИ агент често изглежда добре. Дали в реалната работа ще спести повече труд, отколкото струват контролът и поддръжката, само процентът на успех не …

Генерирано с ИИ

Enterprise Search

Памет за ИИ агенти за бизнеса: фирмено знание, факти и случаи в сравнение

ИИ агент без памет започва всеки ден отначало. Но „памет“ означава различни неща според доставчика: знанието в масива от данни на Вашата организация, факти за хора и …

Генерирано с ИИ

Enterprise Search

Правото да четеш не е право да действаш: как безопасно да тествате ИИ агенти с права за запис

ИИ агент с права за четене намира информация. С права за запис той изпраща имейли, променя записи и създава срещи. Преди да разрешите това, Ви трябват три отговора: кой какво …