Vzory ľudského schvaľovania pre AI agentov
Autor: Artashes Arakelian, Spoluzakladateľ a prevádzkový riaditeľ (COO) · Publikované: · Aktualizované:
AI agent, ktorý môže konať, potrebuje jasné pravidlo, kedy rozhoduje človek. Článok porovnáva štyri vzory schvaľovania, čo má každý zapisovať a v akom poradí ich zavádzať.
Schvaľovanie je návrhové rozhodnutie, nie zaškrtávacie políčko
Keď AI agent vie poslať e-mail, zmeniť záznam alebo spustiť platbu, otázka už nie je, či je model šikovný, ale kto rozhoduje a kedy. Povedať, že človek je v slučke, nestačí, pretože to môže znamenať, že človek číta každý výstup, alebo že by systém teoreticky mohol niekto vypnúť. Obe možnosti sa veľmi líšia nákladmi aj ochranou. Schvaľovanie berieme ako návrhové rozhodnutie pre každú akciu: ktoré akcie môže agent vykonať sám, ktoré potrebujú človeka vopred a čo sa stane, keď sa niečo pokazí. Nižšie uvedené vzory sú spôsob, akým na tieto tri otázky zvyčajne odpovedáme pri vlastnej orchestrácii.
Štyri vzory a čím nie sú
Štyri vzory v tomto článku sú naša vlastná inžinierska prax. Sú to vzory, nie právne požiadavky, a nič tu netvrdí, že použitie niektorého z nich robí systém súladným s EU AI Act alebo iným zákonom. Sú užitočné, lebo každý nastavuje inú rovnováhu medzi rýchlosťou, nákladmi a kontrolou a každý zanecháva záznam, ktorý môže človek neskôr preskúmať. V praxi väčšina agentov používa viac než jeden: núdzové vypnutie všade a jeden z ostatných troch pre každý typ akcie.
Štyri vzory vedľa seba
Tabuľka porovnáva vzory podľa situácie, ktorej vyhovujú, a podľa minimálneho záznamu, ktorý má každý zanechať. Čítajte ju podľa akcie, nie podľa agenta: ten istý agent môže používať vopred schválenie pri platbách a výberovú kontrolu pri označovaní tiketov podpory.
| Vzor | Kedy použiť | Čo zapisovať |
|---|---|---|
| Vopred schválenie: agent navrhne, človek schváli skôr, než sa niečo stane | Akcie, ktoré sa ťažko vracajú, vidia ich zákazníci či partneri alebo sú pri chybe drahé, napríklad platby, zmeny zmlúv alebo externé správy | Navrhnutú akciu, vstupy a zdroje ukázané schvaľovateľovi, kto schválil alebo zamietol, vykonané úpravy a čas |
| Front výnimiek: agent koná sám pri jasných prípadoch a nejasné posiela človeku | Veľký objem sväčšinou rutinných prípadov, kde viete vopred opísať, čo je nejasné | Prečo bola položka presmerovaná (pravidlo alebo nízka istota), čas čakania, rozhodnutie človeka a podiel presmerovaných položiek |
| Výberová kontrola: človek dodatočne skontroluje vzorku dokončených akcií | Nízko rizikové, vratné akcie vo veľkom objeme, kde by schvaľovanie každej položky stálo viac než chyby, ktorým predchádza | Pravidlo výberu, ktoré položky boli vybrané, verdikt kontrolóra, nájdené chyby a prijatú nápravu |
| Núdzové vypnutie: ktorákoľvek oprávnená osoba môže agenta okamžite zastaviť a vrátiť prácu na ručné spracovanie | Vždy, ako záloha za každým iným vzorom, a jediný vzor pre náhle problémy, napríklad chybný zdroj dát | Kto ho zastavil, kedy, prečo, čo bolo v tej chvíli rozpracované a kto schválil opätovné spustenie |
Ako vybrať pre danú akciu
Väčšinu prípadov rozhodnú dve otázky. Ako drahá je jedna chyba a dá sa vrátiť? Akcia, ktorá je drahá alebo nevratná, patrí za vopred schválenie, nech agent v testoch vyzerá akokoľvek presne. Akcia, ktorá je lacná a ľahko vratná, môže bežať sama a kontrolovať sa výberom. Front výnimiek je medzi nimi: funguje, keď viete jasne povedať, čo robí prípad neobvyklým, napríklad chýbajúce pole, suma nad limit alebo zákazník na sledovanom zozname. Ak výnimky neviete opísať, ešte neviete dosť na to, aby ste nechali rutinné prípady bez dohľadu, a poctivou voľbou je vopred schválenie.
Schvaľovateľ musí byť skutočný
Človek, ktorý klikne na schváliť pri každej položke bez čítania, nie je dohľad, ale len oneskorenie. Schvaľovanie robia skutočným tri detaily. Ukážte schvaľovateľovi podklady k návrhu, nielen návrh. Dajte mu právomoc zamietnuť bez žiadania o povolenie a čas na kontrolu v tempe, v akom front prichádza. Povedzte mu, ako systém zvyčajne zlyháva, aby tie zlyhania hľadal namiesto dôvery v sebavedomý tón. Zapisovanie úprav, ktoré schvaľovateľ robí, je tu užitočné: vysoký podiel nezmenených schválení pri zložitých položkách je signál, aby ste overili, či kontrola vôbec prebieha.
Čo o dohľade hovorí AI Act
Pre vysokorizikové systémy AI sa AI Act ľudskému dohľadu venuje priamo. Podľa AI Act Service Desk Európskej komisie článok 14 vyžaduje, aby poskytovatelia takéto systémy navrhli tak, aby na ne mohli ľudia počas používania účinne dohliadať, a uvádza schopnosti týchto ľudí: rozumieť limitom systému, zostať pozorní voči prílišnému spoliehaniu sa na jeho výstup, interpretovať ho, rozhodnúť sa ho nepoužiť alebo ho prekonať a bezpečne ho zastaviť. Článok 26 ukladá povinnosti nasadzujúcim: používať systém podľa pokynov, poveriť dohľadom ľudí s potrebnou kompetenciou, zaškolením a právomocou, monitorovať prevádzku a uchovávať logy pod svojou kontrolou najmenej šesť mesiacov. Tieto články sa týkajú len vysokorizikových systémov a Service Desk uvádza, že jeho zhrnutia nie sú právne záväzné. Ktoré z vašich použití sú vysokorizikové a odkedy, je otázka pre právneho poradcu; dátumy pokrýva náš článok s časovou osou. Vyššie uvedené vzory môžu takéto povinnosti podporiť, ale nenahrádzajú čítanie samotného textu.
Poradie zavádzania, ktoré obstojí
Zavádzať schvaľovanie v zlom poradí je obvyklá chyba: tímy začnú najľahšou kontrolou, lebo je najlacnejšia, a trenie pridajú až po incidente. Poradie nižšie to obracia. Postupuje od prísneho k ľahkému, ako záznam ukazuje, že agentovi možno zveriť viac.
- Vypíšte každú akciu, ktorú agent môže vykonať, a označte ju ako vratnú alebo nevratnú a ako internú alebo externú.
- Na začiatku dajte každú akciu za vopred schválenie, aj tie, ktoré neskôr plánujete uvoľniť.
- Pred spustením definujte polia záznamu: návrh, podklady, osoba, rozhodnutie, čas a prípadná úprava.
- Určte schvaľovateľov, dajte im právomoc zamietať a dohodnite maximálny čas odpovede.
- Núdzové vypnutie vytvorte a otestujte pred prvou ostrou akciou a nacvičte, kto ho môže použiť a ako sa práca vráti na ručné spracovanie.
- Po dostatku zaznamenaných rozhodnutí presuňte nízko rizikové akcie do frontu výnimiek a najnižšie rizikové do výberovej kontroly, po jednom type akcie.
- Záznamy, výsledky vzoriek a udalosti zastavenia preskúmavajte podľa pevného rozvrhu a akciu vráťte k vopred schváleniu, ak chyby pribúdajú.
Uchovajte záznam, uchovajte právo zastaviť
Všetkými štyrmi vzormi prechádza rovnaký princíp: človek musí môcť rozhodnúť a organizácia musí vedieť dodatočne ukázať, čo sa rozhodlo. Schválenie bez záznamu sa nedá preskúmať a záznam bez fungujúceho spôsobu, ako agenta zastaviť, problém len zdokumentuje. Ak plánujete agenta, ktorý koná vo vašich systémoch, berte návrh schvaľovania ako súčasť vývoja od prvého workshopu, pretože jeho dodatočné doplnenie po spustení zvyčajne znamená prepísať, ako agent hlási svoju prácu.
Často kladené otázky
Aký je rozdiel medzi človekom v slučke a človekom nad slučkou?
V slučke znamená, že človek rozhoduje pred každou akciou, ako pri vopred schválení. Nad slučkou znamená, že agent koná sám, kým človek monitoruje, zasahuje pri výnimkách alebo dodatočne kontroluje vzorky. Čo sa hodí, závisí od toho, ako drahá a vratná je chyba, nie od technológie.
Robia tieto vzory schvaľovania AI agenta súladným s AI Act?
Nie. Sú to inžinierske postupy, nie právne požiadavky. Pravidlá AI Act o ľudskom dohľade pre vysokorizikové systémy sú v článkoch 14 a 26 a otázka, či je vaše použitie vysokorizikové, je právna. Vzory a ich záznamy môžu tieto povinnosti podporiť, ale súlad nedokazujú.
Ako zistím, že agent môže opustiť vopred schválenie?
Použite záznam. Keď zmysluplná séria zaznamenaných rozhodnutí ukáže, že schvaľovatelia daný typ akcie len zriedka menia alebo zamietajú a chyby sa ľahko vracajú, presuňte ho do frontu výnimiek alebo výberovej kontroly. Núdzové vypnutie ponechajte a pri náraste chýb sa vráťte.