Systémy predpisovania poháňané umelou inteligenciou v lekárskych ordináciách halucinujú

Správa audítora v kanadskom Ontáriu odhaľuje vážne nedostatky v nástrojoch na zapisovanie poznámok s umelou inteligenciou používaných v lekárskych ordináciách: Systémy písania spôsobujú masívne halucinácie, predpisujú nesprávne lieky, vymýšľajú si choroby a prehliadajú detaily.

Program umelej inteligencie má lekárom odbremeniť od dokumentačných povinností. Ako však odhaľuje špeciálna správa, ktorú v máji zverejnil generálny audítor Ontária, nefunguje spoľahlivo . Výsledky sú alarmujúce. Takzvané systémy umelej inteligencie píšu informácie, predpisujú nesprávne lieky a prehliadajú dôležité detaily.

Systémy AI-Scribe s pacientovým súhlasom počúvajú rozhovory medzi lekármi a pacientmi, prepisujú ich a vytvárajú štruktúrované lekárske poznámky – zvyčajne v klasickom formáte SOAP (Subjektívne, Objektívne, Hodnotiace, Plán). Cieľom je zbaviť lekárov niekoľkých hodín práce s dokumentáciou týždenne a poskytnúť im viac času na pacientov, alebo to aspoň sľubuje. V Ontáriu už približne 5 000 lekárov používa tieto dobrovoľne dostupné nástroje – používajú sa aj v Európe, hoci (stále) sú prísnejšie regulované ako v Severnej Amerike.

Ontário schválilo 20 poskytovateľov a otestovalo ich simulovanými konzultáciami medzi lekárom a pacientom. Výsledok bol zničujúci:

• Všetkých 20 systémov vykazovalo aspoň jednu formu nepresnosti (nepravdivé, vymyslené alebo chýbajúce informácie).
• 9 z 20 systémov (45 %) „halucinovalo“: Vymysleli si vierohodné, ale neexistujúce informácie – ako napríklad odporúčania na liečbu, odporúčania na terapie alebo krvné testy, ktoré sa v rozhovore nikdy nespomenuli.
• 12 z 20 systémov (60 %) zistilo nesprávne lieky.
• 17 z 20 systémov (85 %) prehliadlo dôležité informácie o problémoch duševného zdravia.

„Nepresnosti v lekárskych záznamoch generovaných systémami umelej inteligencie by mohli viesť k nedostatočným alebo škodlivým liečebným plánom a potenciálne ovplyvniť zdravotné výsledky pacientov,“ varuje správa.

Generálny audítor kritizuje nielen samotnú umelú inteligenciu, ale predovšetkým jej obstarávanie a kontrolu kvality. Mnohí dodávatelia nepredložili požadované bezpečnostné a audítorské dokumenty (napr. správy SOC, posúdenia vplyvu na ochranu údajov) – a napriek tomu boli schválení. Presnosť, bezpečnosť údajov a testovanie zaujatosti mali v procese verejného obstarávania extrémne nízku váhu (niekedy len 2 – 4 %). Neexistovali žiadne povinné živé testy a nedostatočné kontroly systematického zaujatosti – boom umelej inteligencie prevyšuje due diligence.

Politici zdôrazňujú, že nie sú známe žiadne prípady ujmy pacienta. Používanie systému je dobrovoľné, súhlas pacienta je povinný a lekári musia skontrolovať a schváliť každú poznámku vygenerovanú umelou inteligenciou predtým, ako sa pridá do pacientovej dokumentácie. Minister Stephen Crawford uviedol, že chyby sa vyskytli iba počas testovacej fázy a konečnú zodpovednosť nesú lekári. Dodal, že tieto nástroje lekárom ušetria drahocenný čas.

Kritici nesúhlasia. Poslanec Strany zelených Mike Schreiner označil výsledky za „veľmi znepokojujúce“ a požadoval, aby sa systémy mohli nasadiť v celej krajine až po preukázaní ich spoľahlivej funkčnosti.

Podobné ťažkosti so systémami písania s umelou inteligenciou hlásia aj USA. Viaceré štúdie a praktické skúsenosti ukazujú, že pisári s umelou inteligenciou môžu halucinovať, vymýšľať si informácie alebo prehliadať dôležité detaily – aj keď miera chybovosti je v niektorých rozsiahlych štúdiách nižšia.

Zdroj: https://tkp.at/2026/06/11/ki-schreibsysteme-in-arztpraxen-halluzinieren/