Попитайте популярен чатбот за заглавието на нечия докторска дисертация. Може да получите три различни отговора, всичките грешни и всеки от тях изречен със същата увереност. Точно това се получи при един случай когато изследователи от OpenAI, попитаха за работата на свой колега – на въпрос за рождената му дата моделът даде три дати, и трите неверни.
Това не е дефект, който предстои да бъде поправен в следваща версия. Той произтича от самото устройство на тези системи. И особено ако работите с научна информация, разбирането на това устройство определя кога инструментът ви помага и кога неусетно ви подвежда.
Какво всъщност е генеративен изкуствен интелект
Генеративният изкуствен интелект е система, която създава ново съдържание (текст, изображения, видео, звук или програмен код) в отговор на ваша заявка. Това го отличава от по-старите системи, които само разпознаваха или подреждаха вече съществуващи неща. Според IBM ключовата дума тук е „създава“: изходът е оригинален, а не извлечен отнякъде.
Големият езиков модел (large language model, LLM) е частен случай на това – модел, обучен върху огромни количества текст, който е усвоил закономерностите в езика и след това произвежда нов текст, следващ същите закономерности. Тук влизат имена като ChatGPT, Claude, Gemini и Copilot.
Или казано на нематематически език, обучението изглежда така: системата минава през милиони примери и на всяка стъпка прави едно и също упражнение: „попълни следващата дума“. После сравнява своя опит с реалния текст и леко се коригира, за да сбърка по-малко следващия път. Повторяйки това достатъчно дълго върху достатъчно текст, моделът усвоява граматика, факти, стилове на писане и начини на разсъждение.
Моделът „предсказва“ следващата дума, не я „разбира“
Тук е и същината на цялата работа: когато отговаря, моделът не знае предварително крайния отговор. Той пресмята вероятностите за всички възможни следващи думи, избира най-вероятната, добавя я и повтаря процеса дума по дума, докато отговорът завърши.
Близка аналогия на този процес е например автоматичното довършване докато пишете на телефона си. Когато пишете съобщение, клавиатурата предлага как да завършите думата и дори каква да е следваща дума. Тя не разбира за какво говорите, просто с времето и натрупаната информация е станала добра в това да предсказва. Големият езиков модел прави същото, само че той е обучен върху почти целия интернет и държи сметка за милиарди връзки между думите.
Тази разлика е важна по две причини. Първо, моделът не „разбира“ смисъла на текста в човешкия смисъл на понятието за разбиране. Той свързва думи, които често се появяват заедно. В текст за кучета думата „лай“ стои близо до „куче“, защото така ги е виждал хиляди пъти, не защото знае какво е куче. IBM нарича това близост в пространството на значенията, но за нашата цел е достатъчно да го запомним като статистика, не като разбиране.
Второ, което е важно винаги да имаме предвид – моделът не „знае истината“. При обучението си той вижда само примери за плавен и логичен език. Никой не му е сложил етикети „вярно“ и „невярно“. Затова, както обясняват от OpenAI, за модела е трудно да отличи валидно твърдение от невалидно, защото никога не е виждал примери, маркирани като грешни.
Защо измисля неща и защо звучи толкова убедено
Когато моделът изрече правдоподобно, но невярно твърдение, това се нарича халюцинация. Терминът звучи екзотично, но механизмът е прозаичен.
OpenAI дава ясна аналогия: правописът и пунктуацията следват устойчиви закономерности, затова грешките в тях изчезват, щом моделът стане достатъчно голям. Но представете си, че се опитвате да предскажете рождения ден на човек само от снимката му. Рождените дни реално са случайни и колкото и добър да е алгоритъмът, ще греши. Същото важи за редките, произволни факти: те просто не следват от закономерности в езика, затова моделът ги отгатва и понякога отгатва грешно.
Остава въпросът защо греши с такава увереност, вместо да каже „не знам“. Тук OpenAI посочва скрития виновник и той е начинът, по който измерваме и оценяваме тези системи.
Например при тест, с избор на възможен отговор, ако не знаеш отговора и налучкаш, имаш шанс да познаеш. Но ако оставиш празно, гарантирано получаваш нула точки на този въпрос. Когато оценяваме моделите само по точност (процент верни отговори), ги насърчаваме да налучкват, вместо да признаят несигурността си. Модел, който гадае рожден ден, понякога печели точка; модел, който честно казва „не знам“, винаги получава нула. После в класациите гадаещият изглежда по-добър. Затова, дори моделите да стават по-умни, те продължават да предпочитат уверено гадаене пред признаване на незнание.
AI, който търси, срещу AI, който генерира
Дотук говорихме за чист генеративен модел, който произвежда текст от наученото. Но има и друг вид работа с информация, и разликата между двата е практически важна.
Генериращият модел създава отговор от закономерностите в паметта си. Може да звучи убедено и пак да сбърка, защото не проверява нищо външно.
Докато търсещата система прави друго, тя намира конкретни документи в база от данни и ги връща. Тук няма измисляне, защото системата не съчинява, а извлича.
Истински полезното се случва, когато съчетаем двете. Този подход се нарича генериране, подсилено с търсене (retrieval-augmented generation, RAG). Според Google Cloud и Microsoft RAG първо извлича релевантни факти от външен източник, после ги подава на модела и едва тогава моделът съставя отговора върху тези факти. Резултатът е по-точен, по-актуален и основан на проверим източник.
Защо това помага? Google Cloud посочва две основни причини. Сам по себе си моделът е ограничен до данните от обучението си, тоест „замръзнал“ в миналото; но RAG му дава достъп до свежа информация. И понеже отговорът стъпва върху подадени факти, рискът от халюцинации намалява, а източниците могат да се покажат на читателя.
Но RAG все пак не е магия. Google Cloud е категоричен по този въпрос: механизмът за търсене е решаващ. Ако извлечените факти са нерелевантни, отговорът може да е стъпил на проверим източник, но не по темата или направо грешен. Реалните трудности са, чесистемата трябва да разбере въпроса, да стигне до много различни източници, да се вмести в лимита на текста, който моделът поема, да отговори бързо и да зачете правата за достъп до данните. С други думи, добрият резултат зависи изцяло от качеството на търсенето отдолу.
Кога да му вярвате и кога не
Сега вече имаме критерий, който не е въпрос на доверие към марката, а следва от устройството на инструмента.
Следователно вярвайте повече, когато отговорът се опира на проверим източник, който можете да отворите и да прочетете сами. Точно това дава добре направеният RAG.
Внимавайте най-много при редки, произволни факти: точни дати, числа, цитати, имена, препратки. Това са нещата, които, по обяснението на OpenAI, моделът най-често гадае.
И не приемайте уверения тон като доказателство. Гладкостта и увереността на езика идва от предсказването на думи, не от проверка на истината. Гладкото изречение не е по-вярно от тромавото.
Накратко този инструмент предсказва най-вероятната следваща дума, а не проверява дали тя е вярна. Затова уверението не е доказателство, а всеки факт е чернова, докато не го проверите в посочен от него източник.
Останалото е дисциплина. Третирайте всяко твърдение като чернова. Карайте инструмента да цитира и отваряйте посочените източници. Питайте „откъде знаеш това“ и не приемайте отгатването за отговор. Разберете ли механиката, вече ще знаете на какво да вярвате.
Източници:
- IBM, „What are large language models (LLMs)?“ — ibm.com/think/topics/large-language-models
- IBM, „What is generative AI?“ — ibm.com/think/topics/generative-ai
- OpenAI, „Why language models hallucinate“ — openai.com/index/why-language-models-hallucinate
- Google Cloud, „What is Retrieval-Augmented Generation (RAG)?“ — cloud.google.com/use-cases/retrieval-augmented-generation
- Microsoft Learn, „Retrieval-augmented generation (RAG) in Azure AI Search“ — learn.microsoft.com/azure/search/retrieval-augmented-generation-overview
