Povrchnost a rizika v AI

Autor: Jan Babovák · AI a automatizace · doba čtení 5 minut

Riziko nezačíná ve chvíli, kdy se něco pokazí. Začíná ve chvíli, kdy nevíte, co děláte.

Když se mluví o riziku, často se používá formulace, že ho musíme „eliminovat“. Jenže to je trochu zavádějící.

Riziko můžeme snižovat, předcházet mu, omezovat jeho následky nebo ho vědomě přijmout. Úplně odstranit konkrétní riziko ale obvykle znamená odstranit jeho příčinu. U výrobku například změnit konstrukci tak, aby daný způsob selhání už nemohl nastat. V procesu, softwaru nebo AI automatizaci platí v principu totéž: pokud určitou situaci nechci připustit, musím změnit samotný návrh systému.

Ještě důležitější je ale něco jiného.

Nejdřív musím vůbec vědět, že nějaké riziko existuje.

S rizikem se dá žít. Ale musím o něm vědět.

Představme si jednoduchou automatizaci.

Vím, že může selhat externí API. Počítám s tím, mám timeout, retry nebo fallback. Riziko jsem neodstranil, ale vědomě s ním pracuji.

Stejně tak můžu dojít k závěru, že případné selhání nemá závažné důsledky a žádné další opatření mi za to nestojí. I to je legitimní rozhodnutí. Riziko jsem vědomě akceptoval.

Úplně jiná situace nastává, když o existenci problému vůbec nevím. Nemám co kontrolovat, nemám čemu předcházet a nemohu ani rozhodnout, zda je pro mě dané riziko přijatelné.

A právě tady podle mě vzniká jeden z problémů současného přístupu k AI.

Zkopíruj tohle do terminálu a bude to fungovat

Na sociálních sítích a někdy bohužel i v placených kurzech dnes najdeme obrovské množství návodů:

„Postavte si vlastního AI agenta za pět minut.“

„Těmito třemi příkazy si nainstalujete automatizaci.“

„Zkopírujte tenhle skript do terminálu.“

A skutečně to může fungovat.

To ale ještě neznamená, že člověk ví, co právě udělal.

• Co ten příkaz mění?
• S jakými oprávněními běží?
• Kam se posílají data?
• Kde jsou uložené přístupové údaje?
• Co se stane, když některá část systému přestane odpovídat?
• Co všechno může agent provést?

Pokud člověk odpovědi nezná, problém není jen v nedostatku technických znalostí. Především nedokáže posoudit rizika systému, který právě vytvořil.

Je něco jiného vědět o riziku a rozhodnout se ho přijmout než o něm vůbec nevědět.

Špička ledovce

AI nástroje jsou v tomhle trochu jako ledovec.

Nad hladinou je prompt, funkční workflow v n8n, agent volající API nebo příkaz zkopírovaný do terminálu. Výsledek vypadá jednoduše.

Pod hladinou je autentizace, oprávnění, síťová komunikace, práce s daty, závislosti, API limity, chybové stavy, logování, aktualizace, zálohování nebo bezpečnost.

To neznamená, že každý musí být expert na všechno. Měl by ale alespoň vědět, že část pod hladinou existuje. A pokud na systému závisí něco důležitého, někdo jí musí rozumět dostatečně hluboko.

Sociální sítě ukazují hlavně to, co je nad hladinou

Problém zesiluje způsob, jakým dnes o technologiích komunikujeme.

Sociální sítě odměňují jednoduchost. Fungující demo je zajímavé. Vysvětlování chybových stavů, oprávnění nebo bezpečnostního modelu už podstatně méně.

Do krátkého videa se dobře vejde:

„Podívejte, postavil jsem AI aplikaci za pět minut.“

Mnohem hůř se do něj vejde, co všechno na ní může selhat, proč má právě tuto architekturu, jak jsou omezená oprávnění a co se stane při problému.

Vidíme výsledek. Nevidíme práci a složitost pod ním.

Vidíme špičku ledovce.

Nechci učit jen postup. Chci učit i to, co je pod ním.

A právě na tom si zakládám i ve svých školeních.

Mým cílem není, aby účastník odešel s několika příkazy, které umí zkopírovat do terminálu, nebo s workflow, které funguje jen proto, že jsme ho společně podle návodu poskládali.

Chci, aby si odnesl i určitý přesah. Nemusí se z něj během jednoho školení stát vývojář, správce infrastruktury ani bezpečnostní expert. Měl by ale alespoň do určité míry rozumět tomu, co se v systému děje, proč jednotlivé kroky dělá a kde se mohou objevit problémy.

Když kopíruje příkaz, měl by vědět, co ten příkaz přibližně udělá. Když propojuje AI s nějakou službou, měl by přemýšlet, jaká data jí předává. Když staví automatizaci, měl by vědět, že existují chybové stavy a že funkční demo ještě není totéž jako spolehlivý systém.

Ne proto, aby se bál něco zkoušet. Právě naopak. Aby mohl nové nástroje používat samostatně a dělat informovaná rozhodnutí i ve chvíli, kdy už vedle něj lektor nestojí.

Protože cílem podle mě není naučit člověka několik postupů, které dnes fungují. Nástroje i konkrétní postupy se stejně budou měnit.

Důležitější je naučit ho dívat se i pod hladinu.

Pak může riziku předcházet, omezit jeho dopad nebo ho klidně vědomě přijmout.

Ale nejdřív musí vědět, že tam je.