Megfelelő mennyiségű információ hiányában az általános célú chatbotok – mint a ChatGPT vagy a Gemini – az esetek több mint 80%-ában hibás diagnózist állítanak fel, és tévútra vezetik a felhasználókat – derül ki egy friss kutatásból.

A Massachusetts állambeli Mass General Brigham által végzett, és a Jama Network Open folyóiratban publikált tanulmány 29, orvosi szakkönyveken alapuló klinikai esettanulmány segítségével vizsgálta a mesterséges intelligencia modelleket, számol be a News.ro.

A kutatás során a chatbotok lépésről lépésre kaptak információkat egy-egy betegségről, beleértve az orvosi vizsgálatok megállapításait és a laboreredményeket is. Összesen 21 nyelvi modellt teszteltek, köztük az OpenAI, az Anthropic, a Google, az xAI és a DeepSeek fejlesztéseit.
A szakértők megállapították, hogy minden vizsgált modell az esetek több mint 80%-ában hibás diagnózist adott, amikor nem állt rendelkezésére elegendő vagy teljes körű beteginformáció.

Még teljes adathalmaz mellett sem teljesítettek kiemelkedően: ezekben az esetekben is meghaladta a hibaarány a 40%-ot. Ugyanakkor előfordultak olyan helyzetek, amikor egyes chatbotok a páciensek akár 90%-ánál helyes diagnózist adtak.

A kutatók következtetése szerint az MI-alapú chatbotok orvosi teljesítménye nagymértékben függ a rendelkezésre álló információk mennyiségétől, ugyanakkor még teljes adatok birtokában is félrevezethetik a felhasználókat.

Ennek egyik oka az úgynevezett „hallucinációs” jelenség: a jelenlegi nyelvi modellek hajlamosak kitalált információkat generálni, amikor egyértelmű válasz hiányában kell reagálniuk