AI agent nie je digitálny zamestnanec

Človek rozumie množstvu nevyslovených pravidiel

Keď prijmeme nového kolegu, nepíšeme mu explicitný algoritmus na každé rozhodnutie. Veľa vecí pochopí zo sociálneho kontextu. Vie, že nemá poslať interný dokument konkurencii. Že niektoré rozhodnutie treba konzultovať. Že prístup k účtu neznamená oprávnenie zmeniť fakturačné údaje. Že veta klienta môže byť irónia.

AI agent takéto predpoklady nemá spoľahlivo zabudované. Ak mu dáme nástroj a neurčité zadanie, môže urobiť presne to, čo sme technicky dovolili – nie to, čo sme intuitívne očakávali.

Preto ma zaujíma autorita, nie iba schopnosť

Pri agentovi sa podľa mňa príliš často pýtame:

Môže čítať? Môže zapisovať? Môže odoslať e-mail? Môže zmeniť dáta? Môže nasadiť kód? Môže minúť peniaze? Môže komunikovať s klientom?

A pri každom z týchto krokov: Za akých podmienok? S akým audit logom? S akou možnosťou zastavenia?

To je podľa mňa skutočná agentná architektúra. Nie iba prompt.

Predvolený prístup by mal byť malý

Mám rád princíp minimálnych oprávnení. Agent nezačína s prístupom ku všetkému a neskôr mu niečo zakazujeme. Začína s ničím. A dostane iba to, čo potrebuje pre konkrétnu úlohu.

Ak má sumarizovať dokumenty, nepotrebuje meniť CRM. Ak kontroluje server, nepotrebuje fakturačné údaje. Ak pripravuje návrh e-mailu, nemusí ho vedieť automaticky odoslať.

Takéto hranice môžu pôsobiť ako brzda. V skutočnosti umožňujú väčšiu autonómiu tam, kde je bezpečná.

Agent by nemal vlastniť cudzie tajomstvá

Ďalšia vec, ktorú považujem za dôležitú, je oddeliť agenta od prístupových údajov. Agent môže potrebovať schopnosť vykonať akciu v externom systéme. To neznamená, že musí dostať samotné heslo alebo API kľúč.

Oveľa bezpečnejší mi príde model, kde medzi agentom a systémom existuje kontrolovaná brána.

Takýto systém je podľa mňa robustnejší než „tu máš všetky kľúče, dávaj pozor“.

Autonómia nemusí byť zapnutá alebo vypnutá

Pri AI ma všeobecne zaujíma škála autonómie. Niektoré úlohy môže systém iba navrhnúť. Iné vykonať po potvrdení. Ďalšie spraviť automaticky a iba zalogovať.

Úroveň autonómie by mala podľa mňa závisieť od rizika, vratnosti, dôvery v systém a kvality spätnej väzby. Ak je operácia lacná, vratná a dobre kontrolovateľná, môžeme byť odvážnejší. Ak je drahá, verejná alebo deštruktívna, hranica má byť inde.

Dobrý agentný systém potrebuje aj človeka

Nie nutne pri každom kroku. Ale potrebuje jasného vlastníka – človeka, ktorý rozhoduje o cieľoch, oprávneniach, výnimkách a zmenách pravidiel.

Agent môže mať čoraz väčšiu operačnú autonómiu.

Zodpovednosť za systém však podľa mňa nemá zmiznúť v slove „autonómny“.

Možno potrebujeme inú metaforu

„Digitálny zamestnanec“ sa dobre predáva. Mne však viac sedí predstava špecializovaného softvérového aktéra. Má úlohu. Má nástroje. Má kontext. Má presne ohraničenú autoritu. Je pozorovateľný. A jeho správanie sa dá kontrolovať.

To znie menej futuristicky. Ale podľa mňa je to oveľa zaujímavejší základ pre systémy, ktorým budeme môcť reálne veriť.