Čo automatizovať ako prvé: metóda bodovania

Väčšina firiem má viac kandidátov na automatizáciu než kapacity. Článok opisuje metódu bodovania, ktorú EUHub používa na workshopoch, s hypotetickým príkladom a krokmi na jej realizáciu.

Prečo na prvom výbere záleží

Firma, ktorá sa začne zaujímať o AI agentov, má zvyčajne dlhý zoznam kandidátov na workflow a kapacitu na jedno či dve. Prvé z nich nastaví očakávania pre všetko ďalšie. Ak sa hodí, tím sa naučí dohliadať na agenta pri úlohe, kde je chyba lacná. Ak sa nehodí, naučí sa, že agenti sú nespoľahliví, hoci skutočná lekcia bola, že úloha bola zle vybraná. Metóda bodovania výber za vás neurobí. Zviditeľní dôvody, aby sa ľudia, ktorí prácu robia, a ľudia, ktorí nesú riziko, mohli nezhodnúť na konkrétnostiach namiesto dojmov.

Päť kritérií, bodovanie od 1 do 5

Metóda je naša vlastná. Nie je to odvetvová norma a váhy sú úsudok, ktorý sa nám osvedčil, nie meranie. Každé kritérium sa boduje tak, aby vyššie číslo vždy znamenalo lepšieho prvého kandidáta. Preto sa cena chyby boduje opačne: 5 je chyba lacná a ohraničená, 1 je chyba, ktorá poškodí človeka alebo právnu pozíciu.

Tabuľka bodovania a jej stĺpec rizika

Posledný stĺpec spája každé kritérium s právnou otázkou, ktorú vyvoláva. Články aktu o AI pochádzajú zo stránky AI Act Service Desk Európskej komisie, ktorá uvádza, že jej zhrnutia nie sú právne záväzné. Články GDPR pochádzajú z textu nariadenia (EÚ) 2016/679 v Úradnom vestníku. Články 14 a 26 aktu o AI sa týkajú vysokorizikových systémov, takže sú dôležité, len ak váš prípad použitia patrí do tejto kategórie; aktuálny rozsah si overte na stránkach Komisie.

KritériumNa čo sa pýtate a čo znamená 1 a 5Kde vstupuje právo
FrekvenciaAko často úloha nastáva? 1 je niekoľkokrát ročne, 5 je denne alebo častejšie.Žiadny článok. Rozhoduje o tom, či sa oplatí zavádzať kontroly nižšie.
JasnosťDá sa správna odpoveď zapísať ako pravidlá a príklady? 1 je tichá úvaha, 5 sú písané pravidlá s jasnými odpoveďami.Články 14 a 26 aktu o AI: dohľad je účinný, len ak človek vie posúdiť výstup podľa niečoho známeho.
Prístup k dátamDosiahne systém na dáta, ktoré potrebuje, s povolením? 1 je papier alebo obrazovky bez exportu, 5 je API alebo export, ktorý ovládate.Články 28 a 32 GDPR pre každého dodávateľa a systém v dátovej ceste; článok 35, ak je spracúvanie pravdepodobne vysokorizikové.
Cena chyby (opačne)Koľko chyba stojí? 1 poškodí zákazníka, platbu alebo právnu pozíciu, 5 je lacná a ohraničená.Článok 22 GDPR pre rozhodnutia založené výlučne na automatizovanom spracúvaní, ktoré významne ovplyvňujú osobu; články 14 a 26 aktu o AI pre vysokorizikové systémy.
VratnosťDá sa chybná akcia vrátiť? 1 je nezvratná po odoslaní, 5 sa vráti jedným krokom.Článok 26 aktu o AI: nasadzujúci monitorujú, môžu pozastaviť používanie a uchovávajú záznamy aspoň šesť mesiacov, pri vysokorizikových systémoch.

Ukážkový príklad s vymyslenými číslami

Nasledujúci príklad je hypotetický a ilustračný. Neopisuje skutočného klienta a skóre nie sú výsledkami žiadneho projektu. Predstavte si malého distribútora, ktorého tím ručne páruje faktúry dodávateľov s objednávkami. Toto jedno workflow bodujeme v tabuľke nižšie, s jedným riadkom odôvodnenia ku každému kritériu, aby sme ukázali, ako do seba zapadá aritmetika a diskusia. Najcennejšie je odôvodnenie: na skutočnom workshope je skóre bez dôvodu len odhad.

Bodovanie hypotetického workflow párovania faktúr

Skóre sú vymyslené na ilustráciu. Súčet je jednoduchý súčet piatich skóre z možných 25.

KritériumSkóreOdôvodnenie vo vymyslenom prípade
Frekvencia5Faktúry prichádzajú každý pracovný deň, takže je dosť objemu, z ktorého sa dá učiť.
Jasnosť4Väčšina zhôd sa riadi písaným pravidlom podľa referencie a sumy; menšina vyžaduje úsudok.
Prístup k dátam3Objednávky sa dajú exportovať, ale faktúry prichádzajú ako PDF prílohy, ktoré sa musia najprv prečítať.
Cena chyby (opačne)3Chybné spárovanie oneskorí platbu a vyvolá prácu navyše, ale pred úhradou kontroluje človek.
Vratnosť4Navrhnuté spárovanie sa dá pred zaúčtovaním zamietnuť alebo zmeniť; zaúčtované položky vyžadujú opravný zápis.
Súčet19 z 25Sľubný kandidát, ak človek spárovania pred zaúčtovaním schvaľuje.

Ako čítať skóre

Používame tri pásma, opäť je to naše pravidlo palca. Súčet 20 alebo viac naznačuje začať. Súčet od 15 do 19 naznačuje kandidáta s podmienkami: začnite tým, že každú akciu schváli človek, napríklad niektorým zo vzorov v našom článku o ľudskom schvaľovaní pre AI agentov. Pod 15 to nechajte na neskôr alebo workflow rozdeľte na menšie kroky. Dve pravidlá prebíjajú súčet. Jednotka pri cene chyby alebo vratnosti kandidáta z prvého kola vyradí, pretože prvý projekt má byť taký, kde sa dá omyl prežiť. A každý kandidát, ktorý spracúva osobné údaje, prejde otázkami GDPR pred vybudovaním, nie po ňom.

Ako bodovanie viesť na workshope

Na zoznam piatich až desiatich kandidátov zvyčajne stačí zhruba dvojhodinové stretnutie. Na poradí záleží, pretože bodovanie pred dohodnutím zoznamu sa rado zvrhne na spor o obľúbencov.

  1. Pozvite ľudí, ktorí prácu robia, jednu osobu, ktorá proces vlastní, a niekoho, kto vie hovoriť za prístup k dátam a bezpečnosť. Nebodujte len zhora nadol.
  2. Vypíšte kandidátov na workflow, každého jedným riadkom s uvedením spúšťača, výstupu a systému, v ktorom končí. Zastavte sa pri desiatich.
  3. Dohodnite päť kritérií a významy 1 až 5 z tabuľky vyššie, pričom znenie prispôsobte svojej firme skôr, než niekto bodovať začne.
  4. Každého kandidáta bodujte potichu a individuálne, potom skóre odhaľte naraz.
  5. Prediskutujte každé kritérium, kde sa skóre líšia o dva body alebo viac, a zapíšte dôvod konečného čísla.
  6. Najprv uplatnite veto, potom súčty a pásma, a označte, ktorí kandidáti sa dotýkajú osobných údajov.
  7. Vyberte jedného kandidáta, zapíšte, čo musí človek schváliť, a určite dátum na opätovné bodovanie po prvom pilote.

Čo metóda nerobí

Metóda radí kandidátov podľa toho, ako sú zhovievaví. Neodhaduje úspory a nehovorí nič o tom, či je agent technicky schopný úlohu zvládnuť: na to slúži diagnostika a krátky pilot. Nevie ani povedať, či je prípad použitia vysokorizikový podľa aktu o AI alebo či vyžaduje posúdenie vplyvu na ochranu údajov. To sú právne posúdenia. Kandidátov s dobrým skóre prediskutujte so zodpovednou osobou alebo právnikom skôr, než ich vybudujete. Tento článok je všeobecná informácia od inžinierskeho tímu, nie právne poradenstvo.

Často kladené otázky

Je táto metóda bodovania oficiálna norma?

Nie. Je to vlastná pracovná metóda EUHub, zostavená z toho, na čo sa pýtame pri diagnostike. Kritériá a pásma sú úsudok, nie meranie, a žiadny regulátor ani normalizačný orgán ich nevyžaduje. Znenie a prahy prispôsobte svojmu podnikaniu a zapíšte si dôvody, aby sa skóre dalo spochybniť.

Máme vždy začať workflow s najvyšším skóre?

Nie automaticky. Najprv uplatnite veto: nízke skóre pri cene chyby alebo vratnosti vyradí kandidáta z prvého kola bez ohľadu na súčet. Potom porovnajte zvyšné súčty a skontrolujte otázky prístupu k dátam a osobných údajov. Najvyšší súčet je východisko diskusie.

Dá nám skóre vedieť, koľko ušetríme?

Nie. Skóre radí kandidátov podľa toho, aké bezpečné a praktické je s nimi začať, nie podľa hodnoty. Odhad úspor vyžaduje vaše vlastné objemy, vaše náklady a zmeraný pilot. K akémukoľvek číslu odvodenému len zo skóre pristupujte s nedôverou.

Náš bezpečnostný prístup

Primárne zdroje