Čo automatizovať ako prvé: metóda bodovania
Autor: Artashes Arakelian, Spoluzakladateľ a prevádzkový riaditeľ (COO) · Publikované: · Aktualizované:
Väčšina firiem má viac kandidátov na automatizáciu než kapacity. Článok opisuje metódu bodovania, ktorú EUHub používa na workshopoch, s hypotetickým príkladom a krokmi na jej realizáciu.
Prečo na prvom výbere záleží
Firma, ktorá sa začne zaujímať o AI agentov, má zvyčajne dlhý zoznam kandidátov na workflow a kapacitu na jedno či dve. Prvé z nich nastaví očakávania pre všetko ďalšie. Ak sa hodí, tím sa naučí dohliadať na agenta pri úlohe, kde je chyba lacná. Ak sa nehodí, naučí sa, že agenti sú nespoľahliví, hoci skutočná lekcia bola, že úloha bola zle vybraná. Metóda bodovania výber za vás neurobí. Zviditeľní dôvody, aby sa ľudia, ktorí prácu robia, a ľudia, ktorí nesú riziko, mohli nezhodnúť na konkrétnostiach namiesto dojmov.
Päť kritérií, bodovanie od 1 do 5
Metóda je naša vlastná. Nie je to odvetvová norma a váhy sú úsudok, ktorý sa nám osvedčil, nie meranie. Každé kritérium sa boduje tak, aby vyššie číslo vždy znamenalo lepšieho prvého kandidáta. Preto sa cena chyby boduje opačne: 5 je chyba lacná a ohraničená, 1 je chyba, ktorá poškodí človeka alebo právnu pozíciu.
Tabuľka bodovania a jej stĺpec rizika
Posledný stĺpec spája každé kritérium s právnou otázkou, ktorú vyvoláva. Články aktu o AI pochádzajú zo stránky AI Act Service Desk Európskej komisie, ktorá uvádza, že jej zhrnutia nie sú právne záväzné. Články GDPR pochádzajú z textu nariadenia (EÚ) 2016/679 v Úradnom vestníku. Články 14 a 26 aktu o AI sa týkajú vysokorizikových systémov, takže sú dôležité, len ak váš prípad použitia patrí do tejto kategórie; aktuálny rozsah si overte na stránkach Komisie.
| Kritérium | Na čo sa pýtate a čo znamená 1 a 5 | Kde vstupuje právo |
|---|---|---|
| Frekvencia | Ako často úloha nastáva? 1 je niekoľkokrát ročne, 5 je denne alebo častejšie. | Žiadny článok. Rozhoduje o tom, či sa oplatí zavádzať kontroly nižšie. |
| Jasnosť | Dá sa správna odpoveď zapísať ako pravidlá a príklady? 1 je tichá úvaha, 5 sú písané pravidlá s jasnými odpoveďami. | Články 14 a 26 aktu o AI: dohľad je účinný, len ak človek vie posúdiť výstup podľa niečoho známeho. |
| Prístup k dátam | Dosiahne systém na dáta, ktoré potrebuje, s povolením? 1 je papier alebo obrazovky bez exportu, 5 je API alebo export, ktorý ovládate. | Články 28 a 32 GDPR pre každého dodávateľa a systém v dátovej ceste; článok 35, ak je spracúvanie pravdepodobne vysokorizikové. |
| Cena chyby (opačne) | Koľko chyba stojí? 1 poškodí zákazníka, platbu alebo právnu pozíciu, 5 je lacná a ohraničená. | Článok 22 GDPR pre rozhodnutia založené výlučne na automatizovanom spracúvaní, ktoré významne ovplyvňujú osobu; články 14 a 26 aktu o AI pre vysokorizikové systémy. |
| Vratnosť | Dá sa chybná akcia vrátiť? 1 je nezvratná po odoslaní, 5 sa vráti jedným krokom. | Článok 26 aktu o AI: nasadzujúci monitorujú, môžu pozastaviť používanie a uchovávajú záznamy aspoň šesť mesiacov, pri vysokorizikových systémoch. |
Ukážkový príklad s vymyslenými číslami
Nasledujúci príklad je hypotetický a ilustračný. Neopisuje skutočného klienta a skóre nie sú výsledkami žiadneho projektu. Predstavte si malého distribútora, ktorého tím ručne páruje faktúry dodávateľov s objednávkami. Toto jedno workflow bodujeme v tabuľke nižšie, s jedným riadkom odôvodnenia ku každému kritériu, aby sme ukázali, ako do seba zapadá aritmetika a diskusia. Najcennejšie je odôvodnenie: na skutočnom workshope je skóre bez dôvodu len odhad.
Bodovanie hypotetického workflow párovania faktúr
Skóre sú vymyslené na ilustráciu. Súčet je jednoduchý súčet piatich skóre z možných 25.
| Kritérium | Skóre | Odôvodnenie vo vymyslenom prípade |
|---|---|---|
| Frekvencia | 5 | Faktúry prichádzajú každý pracovný deň, takže je dosť objemu, z ktorého sa dá učiť. |
| Jasnosť | 4 | Väčšina zhôd sa riadi písaným pravidlom podľa referencie a sumy; menšina vyžaduje úsudok. |
| Prístup k dátam | 3 | Objednávky sa dajú exportovať, ale faktúry prichádzajú ako PDF prílohy, ktoré sa musia najprv prečítať. |
| Cena chyby (opačne) | 3 | Chybné spárovanie oneskorí platbu a vyvolá prácu navyše, ale pred úhradou kontroluje človek. |
| Vratnosť | 4 | Navrhnuté spárovanie sa dá pred zaúčtovaním zamietnuť alebo zmeniť; zaúčtované položky vyžadujú opravný zápis. |
| Súčet | 19 z 25 | Sľubný kandidát, ak človek spárovania pred zaúčtovaním schvaľuje. |
Ako čítať skóre
Používame tri pásma, opäť je to naše pravidlo palca. Súčet 20 alebo viac naznačuje začať. Súčet od 15 do 19 naznačuje kandidáta s podmienkami: začnite tým, že každú akciu schváli človek, napríklad niektorým zo vzorov v našom článku o ľudskom schvaľovaní pre AI agentov. Pod 15 to nechajte na neskôr alebo workflow rozdeľte na menšie kroky. Dve pravidlá prebíjajú súčet. Jednotka pri cene chyby alebo vratnosti kandidáta z prvého kola vyradí, pretože prvý projekt má byť taký, kde sa dá omyl prežiť. A každý kandidát, ktorý spracúva osobné údaje, prejde otázkami GDPR pred vybudovaním, nie po ňom.
Ako bodovanie viesť na workshope
Na zoznam piatich až desiatich kandidátov zvyčajne stačí zhruba dvojhodinové stretnutie. Na poradí záleží, pretože bodovanie pred dohodnutím zoznamu sa rado zvrhne na spor o obľúbencov.
- Pozvite ľudí, ktorí prácu robia, jednu osobu, ktorá proces vlastní, a niekoho, kto vie hovoriť za prístup k dátam a bezpečnosť. Nebodujte len zhora nadol.
- Vypíšte kandidátov na workflow, každého jedným riadkom s uvedením spúšťača, výstupu a systému, v ktorom končí. Zastavte sa pri desiatich.
- Dohodnite päť kritérií a významy 1 až 5 z tabuľky vyššie, pričom znenie prispôsobte svojej firme skôr, než niekto bodovať začne.
- Každého kandidáta bodujte potichu a individuálne, potom skóre odhaľte naraz.
- Prediskutujte každé kritérium, kde sa skóre líšia o dva body alebo viac, a zapíšte dôvod konečného čísla.
- Najprv uplatnite veto, potom súčty a pásma, a označte, ktorí kandidáti sa dotýkajú osobných údajov.
- Vyberte jedného kandidáta, zapíšte, čo musí človek schváliť, a určite dátum na opätovné bodovanie po prvom pilote.
Čo metóda nerobí
Metóda radí kandidátov podľa toho, ako sú zhovievaví. Neodhaduje úspory a nehovorí nič o tom, či je agent technicky schopný úlohu zvládnuť: na to slúži diagnostika a krátky pilot. Nevie ani povedať, či je prípad použitia vysokorizikový podľa aktu o AI alebo či vyžaduje posúdenie vplyvu na ochranu údajov. To sú právne posúdenia. Kandidátov s dobrým skóre prediskutujte so zodpovednou osobou alebo právnikom skôr, než ich vybudujete. Tento článok je všeobecná informácia od inžinierskeho tímu, nie právne poradenstvo.
Často kladené otázky
Je táto metóda bodovania oficiálna norma?
Nie. Je to vlastná pracovná metóda EUHub, zostavená z toho, na čo sa pýtame pri diagnostike. Kritériá a pásma sú úsudok, nie meranie, a žiadny regulátor ani normalizačný orgán ich nevyžaduje. Znenie a prahy prispôsobte svojmu podnikaniu a zapíšte si dôvody, aby sa skóre dalo spochybniť.
Máme vždy začať workflow s najvyšším skóre?
Nie automaticky. Najprv uplatnite veto: nízke skóre pri cene chyby alebo vratnosti vyradí kandidáta z prvého kola bez ohľadu na súčet. Potom porovnajte zvyšné súčty a skontrolujte otázky prístupu k dátam a osobných údajov. Najvyšší súčet je východisko diskusie.
Dá nám skóre vedieť, koľko ušetríme?
Nie. Skóre radí kandidátov podľa toho, aké bezpečné a praktické je s nimi začať, nie podľa hodnoty. Odhad úspor vyžaduje vaše vlastné objemy, vaše náklady a zmeraný pilot. K akémukoľvek číslu odvodenému len zo skóre pristupujte s nedôverou.
Súvisiace
Primárne zdroje
- AI Act Service Desk Európskej komisie: článok 14, Ľudský dohľad (EN)
- AI Act Service Desk Európskej komisie: článok 26, Povinnosti nasadzujúcich vysokorizikových systémov AI (EN)
- Nariadenie (EÚ) 2016/679 (GDPR), Úradný vestník L 119, 4. 5. 2016, články 22, 28, 32 a 35, cez Úrad pre vydávanie publikácií EÚ (EN)