„Ne bi trebalo da zamene vašeg doktora još uvek.“
Možda se osećate u redu koristeći ChatGPT za pisanje dosadnih emailova, ali da li biste mu poverili ulogu svog doktora? Nova istraživanja sugerišu da verovatno ne biste trebali.
Nakon što je bilo predstavljeno 150 medicinskih slučajeva, AI chatbot je dao tačnu dijagnozu manje od polovine vremena, kako se navodi u novoj studiji objavljenoj u časopisu Plos One.
Nalazi pokazuju da u svom trenutnom obliku, ChatGPT „nije tačan kao dijagnostički alat,“ napisali su istraživači, što dovodi u pitanje napore kompanija poput Google-a koje eksperimentišu sa chatbotovima koji se koriste u bolnicama. I dok se AI modeli oslobađaju posebno za medicinske svrhe, autori se brinu da će javnost preceniti sposobnosti ove tehnologije.
„Ako su ljudi uplašeni, zbunjeni ili jednostavno nemaju pristup nezi, mogli bi postati zavisni od alata koji izgleda kao da pruža medicinske savete ‘prilagođene’ njima,“ rekao je koautor studije i asistent profesor na Univerzitetu Western, Amrit Kirpalani, za Live Science.
„Mislim da kao medicinska zajednica (i u širem naučnom zajedništvu) treba da budemo proaktivni u edukaciji opšte populacije o ograničenjima ovih alata u ovom smislu. Ne bi trebalo da zamene vašeg doktora još uvek.“
U svom eksperimentu, istraživači su alimentarali veliki jezički model GPT-3.5 sa različitim medicinskim slučajevima sa Medscape-a, online resursa za medicinske profesionalce, koji su već bili tačno dijagnostikovani. Takođe su birali slučajeve koji su nastali nakon avgusta 2021. godine, kako bi osigurali da nisu uključeni u podatke za obuku ChatGPT-a.
Da bi sve bilo pošteno, ChatGPT je imao pristup i istoriji pacijenata, nalazima fizičkih pregleda, kao i laboratorijskim i slikovnim rezultatima – sve stvari kojima bi vaš prosečan doktor imao pristup.
Za svaki slučaj, bot je morao da izabere između četiri različita odgovora, od kojih je samo jedan bio tačan. Takođe je morao da objasni svoje razmišljanje o dijagnozi, a u nekim slučajevima, da pruži citate.
Da je ChatGPT student medicine, dobio bi čistu jedinicu: tačnu dijagnozu dao je samo 49 procenata vremena, a „potpune i relevantne“ odgovore dao je samo 52 procenata vremena.
Međutim, ukupna tačnost bila je mnogo bolja. Ovaj kriterijum je razmatrao sposobnost ChatGPT-a da odbaci pogrešne izbore među svim opcijama višestrukog izbora. Postigao je 74 procenata – što znači da je iznenađujuće dobro prepoznavao šta je netačno.
To je impresivno, ali chatbot je i dalje imao poteškoća u prepoznavanju konačne, tačne dijagnoze. Njegove najveće slabosti u poređenju sa ljudskim lekarima bile su u interpretaciji numeričkih vrednosti i nemogućnosti da tumači medicinske slike. Istraživači su otkrili da je ponekad „halucinirao“ i da je povremeno ignorisao ključne informacije.
Ipak, sugerišu da bi AI mogao biti koristan za obučavanje budućih doktora i čak za pomoć potpuno kvalifikovanim lekarima – sve dok konačna odluka zavisi od ljudskih zdravstvenih radnika.
„Mislim da će medicinska zajednica s AI-jem i chatbotovima na kraju otkriti da postoji ogroman potencijal za poboljšanje kliničkog odlučivanja, pojednostavljenje administrativnih zadataka i poboljšanje angažovanja pacijenata,” rekao je Kirpalani za Live Science.
Pridružite se našoj Viber grupi!
