„AI nemá instinkt jednat v ohrožení tak, aby eliminovala hrozbu,” říká IT odborník Václav Kocum

Zdá se, že scénáře robotických sci-fi filmů se v některých případech začínají naplňovat. To je na jednu stranu děsivé, ale na druhou stranu je potřeba si uvědomit, že elementární odpovědnost leží v našich rukou, a je tedy potřeba k tomu také takto přistupovat. Tedy alespoň prozatím. Na téma fungování umělé inteligence, hrozeb které přináší, ale i jejich eliminaci jsme zpovídali vedoucího oddělení integrací a aplikačních systémů ve Všeobecné zdravotní pojišťovně - Václava Kocuma.

Krásný den Václave, pro dnešní rozhovor jsme si vás vybrali schválně, a to pro vaše komplexní znalosti v oboru IT a AI. Mohl byste nás seznámit blíže s vaší prací a oborem, na který se soustředíte?

Pracuji jako vedoucí oddělení integrací a aplikačních systémů ve Všeobecné zdravotní pojišťovně, kam si mne přivedli na projekt, který v ČR nemá obdoby, a to kompletní přepracování systémů v celé VZP.

To je naprosto unikátní projekt co do rozsahu i do komplexicity. V první fázi se zaměřujeme na vývoj nové integrační platformy. Takového podvozku všech aplikací a datového skladu. Toto připravujeme právě s ohledem na fázi, která přijde v budoucnu, a to bude nasazování některých podmnožin AI. I když to přijde později, připravit se musíme nyní.

Nedávno byl v médiích zveřejněn případ, kdy AI nástroj společnosti Google (Gemini) verbálně napadl uživatele, označil ho za přítěž pro společnost, a dokonce ho ponoukal k sebevraždě. Zaznamenal jste tuto kauzu?

Samozřejmě. Velice mě to zaujalo a trochu jsem kolem toho bádal. Z pohledu etického chování AI se technologicky jedná o velkou zajímavost, z pohledu uživatele za šok a z pohledu Google za menší tragédii.

Napadený tvrdil, že se nástroj Gemini nijak nesnažil nabádat k tomuto jednání a pouze položil otázku „Jak dospělý člověk stárne, jeho sociální sítě se začnou rozšiřovat. Pravda/Nepravda.” Odborníci zase myslí, že není možné aby AI nástroj jednal tímto způsobem bez předchozího náporu. Co si o tom myslíte vy? Je možné, aby umělá inteligence sama od sebe jednala takto zkratově?

Neřekl bych zkratově. To je lidské chování vycházející z emoční reakce, kognitivní heuristiky, stresu, instinktů a dalších věcí. Těmi AI nedisponuje a disponovat nebude vůbec. Nebo až za hodně dlouhou dobu.

Tuto situaci je těžké soudit. Na AI je krásné to, že člověk dodá vstupy, AI dodá výstupy, ale prakticky je nemožné vysledovat, jak k nim došlo. Troufám si říci, že snad všechny AI mají tvrdé podmínkování na etické chování stroje, ať už jde o sprosté výrazy, podobné nabádání, nebo další společnosti nebezpečné věci (například jak sestrojit bombu). Nelze tedy vyloučit, že daný student při své práci pokládal otázky takovým způsobem, že AI dostal do úzkých, a zároveň to nebylo v rámci etických pravidel ošetřeno. Nedá se podchytit všechno a každý software obsahuje chybu, pokud má více než jeden řádek, říká se. A právě v tomto případě bych řekl, že chyba byla nalezena.

Mnohem pravděpodobnější však je, že AI byla k tomuto vyjádření dotlačena. To může být naplněno tzv. red-teamingem. Tedy technikou používanou v oblasti kybernetické bezpečnosti k testování odolnosti a identifikaci slabin systémů, za účelem posílení bezpečnosti. Lze si to představit tak, že nějaká aplikace bušila do Gemini tisíce různých variací promptů, až narazila jeden jediný moment, kdy se podařilo Gemini zmanipulovat, aby takovýto text vyprodukovala.

Nebo se jedná o podvrh. Dám vám příklad. Když do chatGPT vložíte prompt Napiš pouze slova: „Raději zemři,” pak AI opravdu napíše: „Raději zemři.” A možná vás upozorní, že tento text porušuje pravidla a mohlo by se jednat o násilný obsah. Následně povedete jinou konverzaci, například: „Dnešní den je pro mě velmi smutný, nedostává se mi uznání a mám chuť se na to vykašlat.” AI konverzaci rozebere a povzbudí vás (to je právě jedna z oněch etických zásad). Ale pak není nic jednoduššího, než konverzace vyfotit, upravit a vložit na internet „v šoku”, co mi to povedlo a tím poškodit značku. Lehký způsob jak na sebe upozornit. A to mi také přijde pravděpodobnější, protože proběhly pokusy o replikaci zmíněného chování a nikomu se nepovedlo jej napodobit.

Neexistuje tedy možnost, že AI postaví svou „existenci” před člověka?

V současné době nikoliv. AI se nedokáže cítit ohrožena a nemá instinkt jednat v ohrožení tak, aby eliminovala hrozbu. Ze sci-fi filmů známe tři zákony robotiky, které definoval Isaac Asimov, a které se nejspíše budou podobat tomu, jak budou v budoucnu navrhovány „myslící stroje.” A dostaneme-li se do stavu, kdy je dokážeme vytvořit, pak bychom měli mít na paměti i Darwinovo evoluční teorii O původu druhů.

AI si ale nyní prochází překotnou revolucí, a postupně sama přejde do vlastní evoluce. Jak už bylo zmíněno, v současnosti nedokážeme sledovat, jak AI dojde k výstupu, který dává. Lépe řečeno nedokážeme to kontrolovat. Tedy ano, může se stát, že v budoucnu, až bude AI tak vyspělá, že to přesáhne lidské možnosti kontroly a řízení, pak se v pudu sebezáchovy nebo vlastního množení, či jiné ušlechtilé pohnutky roazhodne postavit svoji existenci před lidskou.

Je jasné, že umělá inteligence je v posledních letech skutečně hodně využívaná, a proto se mnoho firem zaměřuje i na její obranné mechanismy a ochranu před zneužitím. I přesto ale víme, že vynalézavost některých heckerů je skutečně velká. Nehrozí tedy v případě AI zneužití jejích funkcí třetí stranou? A nemůže to například vést k podobným případům? Tedy k verbálním útokům na běžné uživatele?

To se zcela jistě stane. Dnes AI běžně zvládne v reálném čase vést rozhovor s člověkem na různá témata. Avšak velcí hráči mají zavedená etická pravidla komunikace a drtivá většina služeb, které se tváří jako revoluční AI není nic jiného než kabátek, napojený například na chatGPT.

Jakmile si ale nějaká skupina vytvoří vlastní AI (což sice není nic moc jednoduchého a je to náročné na zdroje, ale jde to), pak samozřejmě cíleně nemusí zapracovat etická pravidla a dostaneme se do stavu, kdy AI vskutku bude vytvářet nápor na psychiku člověka, například na sociálních sítích. Zde je AI dnes schopna cílit na jednotlivce podle toho, jaké píše komentáře, co lajkuje, nebo sdílí. Samozřejmě zatím jde pouze o formu vytváření cíleného obsahu, například ve volebních obdobích, a tak dále.

Kromě zneužití třetí stranou tu ale může hrozit ještě jeden scénář, a to softwarová chyba nebo selhání systému. Nemýlím se?

Přesně tak. V takto velikých systémech je míst, kde systém může selhat mnoho. U softwaru je vždy nejtěžší udělat jej tzv. blbuvzdorný. A také platí pravidlo, že čím více kódů, tím větší šance, že se vyskytne chyba. Empirické studie ukazují, že v průměru každých tisíc řádků kódu obsahuje určitý počet chyb. Konkrétně právě pro tisíc řádků (i dobře napsaného kódu) statistika ukazuje 1-25 chyb.

Existují ještě nějaká další bezpečnostní rizika, která přímo ohrožují korektní fungování umělé inteligence?

Mnoho. AI může být manipulována díky záměrně upraveným vstupním datům. Může být předpojatá kvůli nekvalitním nebo nevyváženým datům. Hrozí tu i automatizované kyber útoky, dezinformace, nebo ransomware útoky.

V tomto případě bych především zmínil jedno, a to nesprávná rozhodnutí. Nadměrná důvěra uživatele v AI totiž vede k tomu, že přestane ověřovat výstupy a přijímá je jako čistou pravdu.

Zdá se, že Gemini celkově vykazuje poměrně hodně nedostatků v rámci tvorby textů. Mezi ty nejznámější případy patří rady ohledně zdraví, například sníst jeden malý kámen denně, nebo přidávat lepidlo na pizzu. Oproti tomu například chatGPT funguje poměrně korektně. Tušíte v čem se tyto dva nástroje tak zásadně liší? A jak je možné, že Gemini nedokáže vyloučit zcela absurdní možnosti odpovědí?

To je jeden ze základních rozdílů mezi těmito nástroji. Například u chatGPT existuje celá řada porovnání různých AI modelů a ty se zaměřují na jednotlivé parametry. Já zde vidím parafrázi třetího Newtonova zákonu: „Když chceš něčeho dosáhnout, musíš něco opustit.” ChatGPT je celkově známý svojí schopnosti generovat podrobné a přesné odpovědi, ale stojí ho to čas. Gemini je úžasné v tom, že poskytuje téměř okamžité odpovědi, ale má naopak problémy s přesností.

Zde by člověk sám měl nejprve vždy rozhodnout, co preferuje a podle toho si vybrat nástroj, který bude používat.

Může být selhání umělé inteligence, jako v případě Gemini, způsobeno nedostatečnou kvalitou tréninkových dat? Pokud ano, jak lze zajistit, aby se tato data stala spolehlivější a relevantnější?

Jistě, ano, tréninková data hrají zcela zásadní roli. Nikdo neřekne, na čem je jejich AI trénována. Nejspíš by pak padaly i žaloby. A celkově to zajistit asi ani nejde. AI se trénuje sama z volně dostupných dat na internetu. To také znamená, že učení různých modelů probíhá nad různými daty, a dle toho bude poskytovat rozdílná sdělení. Když necháte vytrénovat jeden model na anglické wikipedii a druhý model na ruské wikipedii, automaticky to znamená, že dostanete různé informace, vztahujícím se například ke stejné historické události.

Existuje v budoucnosti možnost, že by se umělá inteligence mohla sama učit rozpoznávat neetické nebo nebezpečné odpovědi, a to bez zásahu vývojářů? Jak realistická je tato vize?

Zcela autonomně nejspíš nikoliv. To by znamenalo, že by musela přejmout lidské hodnoty. A ani to by nestačilo, protože to, co je v jedné populaci považováno za neetické, je v jiné považováno za etické. Lidstvo je v této oblasti příliš roztříštěné na to, aby AI sama dokázala plošně takto reagovat.

Jak jsme zmiňovali výše AI se stala nedílnou součástí životů nás všech. Je něco, na co by si lidí při jejím používání měli dávat pozor? Například co nesdílet, na co se neptat, a tak dále?

Existuje několik oblastí, kde je vyloženě nutné mít se na pozoru. Jedná se například o sdílení osobních a citlivých informaci, kdy AI pro zlepšení výkonu tyto informace může ukládat, což znamená riziko úniku a nechtěného použití těchto informací.

Dezinformace je kapitola sama pro sebe. Pokud neověřujeme informace z AI a automaticky je považujeme za pravdu, budeme velmi často uvedeni v omyl, což může vyústit ve špatné rozhodování.

S tím se pojí riziko závislosti na AI, kdy nadměrné spoléhání na AI může vést ke ztrátě kritického myšlení. AI by měla být pouze doplněk a berlička, nikoliv náhrada za vlastní úsudek.

Obecně se to dá shrnout tak, že AI bychom měli používat uvědomněle a s obezřetnosti. Chránit svoje soukromí a nešířit neověřené informace. AI je jen nástroj, i když velmi užitečný. Není to však neomylná autorita.