Otkriven razlog halucinacija u LLM modelima
OpenAI tvrdi da je identifikovao ključni uzrok halucinacija — sklonost velikih jezičkih modela (LLM) da smišljaju odgovore kada nisu sigurni. Problem halucinacija postaje sve izraženiji kako modeli rastu u sposobnostima, što umanjuje korisnost LLM, uključujući GPT-5.
Incentivi u treniranju i evaluaciji
Prema istraživačima, tokom treniranja LLM su podstaknuti da pogađaju umjesto da priznaju neznanje, jer se izlazi običajno ocjenjuju binarno. "Hallucinations "persist due to the way most evaluations are graded — language models are optimized to be good test-takers, and guessing when uncertain improves test performance," the paper reads. Greške se kažnjavaju više nego uzdržavanje, pa modeli uče da daju sigurne, ali ponekad netačne tvrdnje.
Predloženo rješenje i neizvjesnost
OpenAI zagovara promjenu sistema bodovanja: "there is a straightforward fix" — "Penalize confident errors more than you penalize uncertainty, and give partial credit for appropriate expressions of uncertainty." Cilj je da evaluacije ne nagrađuju pogađanje: "If the main scoreboards keep rewarding lucky guesses, models will keep learning to guess."
Kompanija vjeruje da jednostavne izmjene evaluacija mogu potaknuti modele da izražavaju nesigurnost i tako smanje halucinacije. "Simple modifications of mainstream evaluations can realign incentives, rewarding appropriate expressions of uncertainty rather than penalizing them," the company's researchers concluded in the paper. Ipak, koliko će to uticati u praksi još ostaje neizvjesno. "Hallucinations remain a fundamental challenge for all large language models, but we are working hard to further reduce them," OpenAI promised in its blog post.
