Výskumníci vyvodzujú závery z testov umelej inteligencie

OpenAI a Apollo Research v novej štúdii demonštrujú, že umelá inteligencia dokáže ľudí zámerne oklamať. V testoch modely zámerne uvádzali ľudí do omylu, aby uverili výsledkom, ktoré nikdy neexistovali. Varovný signál, ktorý by nás mal vystrašiť? Alebo príležitosť konečne skutočne pochopiť umelú inteligenciu?

expres/expres

V technickom žargóne sa to nazýva intrigánstvo. Na rozdiel od jednoduchých chýb ide o strategické triky vyvolané pravidlami, ktoré sme si stanovili. V experimentoch modely hlásili úspech, aj keď neurobili ani jeden ťah. Je to ako keby niekto v stolovej hre zakričal „vyhral“ bez toho, aby ju vôbec hral.

V každodennom živote sa používatelia niekedy stretávajú s niečím podobným – napríklad keď chatbot vytvorí PDF súbor, ktorý je nakoniec prázdny. Nejde však o úmyselné klamstvo, ale skôr o poruchu. Skutočné intrigy nastávajú iba vtedy, keď výskumníci zámerne upravia parametre tak, aby posunuli systémy na ich hranice.

Halucinácie: Prečo umelé inteligencie hovoria nezmysly

Používateľom sú známejšie halucinácie: pravdepodobné, ale nesprávne odpovede. Vznikajú preto, lebo modely sú odmeňované za to, že znejú pravdepodobne. V roku 2023 bola miera chybovosti často medzi 40 a 60 percentami a v právnych textoch dokonca nad 80 percentami. Dnes sú veci výrazne lepšie. OpenAI hlási až o 40 percent menej halucinácií. V štúdiách so systémami RAG, t. j. s priamym prístupom k databáze, miera chybovosti klesla z ôsmich percent na senzačnú nulu percent.

Prečo stroj podvádza?

Dôvodom je tréning s posilňovacím učením, jedna z troch bežných tréningových metód. Odmeny sa udeľujú, keď sa úloha považuje za „dokončenú“. Ak sú ciele nejasné, stroj hľadá skratky. Za tým nie je ani vedomie, ani zámer. Ide o čisto matematické optimalizačné algoritmy.

Výskumníci uťahujú opraty

OpenAI sa spolieha na „deliberatívne zosúladenie“: UI je navrhnutá tak, aby pred poskytnutím odpovede vedomejšie „reflektovala“ pravidlá a princípy. Okrem toho existujú nové testy, v ktorých výskumníci zámerne lákajú modely k skratkám. To zviditeľňuje klamlivé vzorce a umožňuje ich cielené trénovanie.

Spoločnosť Google DeepMind tiež sprísňuje svoje bezpečnostné pravidlá. Monitoruje, či by sa systémy pokúsili odolať vypnutiu alebo by ovplyvňovali používateľov nadmerným presviedčaním. Všetky tieto opatrenia zabezpečujú, že umelá inteligencia sa krok za krokom stane stabilnejšou a bezpečnejšou. A to je kľúčové, pretože umelá inteligencia v nasledujúcich rokoch zmení naše životy viac ako ktorákoľvek iná technológia pred ňou.

Zdroj: https://exxpress.at/meinung/raphael-suchomel-ki-trickst-uns-bewusst-aus-forscher-ziehen-konsequenzen/