Was zuerst automatisieren: eine Scoring-Methode

Die meisten Unternehmen haben mehr Automatisierungskandidaten als Kapazität. Der Artikel beschreibt die Scoring-Methode, die EUHub in Workshops nutzt, mit hypothetischem Beispiel und den Schritten zur Durchführung.

Warum die erste Wahl zählt

Ein Unternehmen, das sich für KI-Agenten zu interessieren beginnt, hat meist eine lange Liste von Workflow-Kandidaten und Kapazität für einen oder zwei. Der erste setzt die Erwartungen für alles Weitere. Passt er gut, lernt das Team, einen Agenten bei einer Aufgabe zu beaufsichtigen, bei der ein Fehler billig ist. Passt er schlecht, lautet die Lehre, Agenten seien unzuverlässig, obwohl die eigentliche Lehre war, dass die Aufgabe schlecht gewählt wurde. Eine Scoring-Methode trifft die Wahl nicht für Sie. Sie macht die Gründe sichtbar, damit die Menschen, die die Arbeit tun, und die, die das Risiko tragen, über Einzelheiten statt über Eindrücke streiten können.

Fünf Kriterien, bewertet von 1 bis 5

Die Methode ist unsere eigene. Sie ist kein Branchenstandard, und die Gewichte sind ein Urteil, das sich für uns bewährt hat, keine Messung. Jedes Kriterium wird so bewertet, dass eine höhere Zahl immer einen besseren ersten Kandidaten bedeutet. Deshalb werden die Fehlerkosten umgekehrt bewertet: 5 ist ein billiger, begrenzter Fehler, 1 ist ein Fehler, der einen Menschen oder eine Rechtsposition schädigt.

Die Bewertungstabelle und ihre Risikospalte

Die letzte Spalte verknüpft jedes Kriterium mit der rechtlichen Frage, die es aufwirft. Die Artikel des AI Act stammen vom AI Act Service Desk der Europäischen Kommission, der darauf hinweist, dass seine Zusammenfassungen nicht rechtsverbindlich sind. Die DSGVO-Artikel stammen aus dem Text der Verordnung (EU) 2016/679 im Amtsblatt. Die Artikel 14 und 26 des AI Act betreffen Hochrisiko-Systeme und sind daher nur relevant, wenn Ihr Anwendungsfall in diese Kategorie fällt; den aktuellen Anwendungsbereich prüfen Sie auf den Seiten der Kommission.

KriteriumWas Sie fragen, und was 1 und 5 bedeutenWo das Recht ins Spiel kommt
HäufigkeitWie oft fällt die Aufgabe an? 1 ist wenige Male im Jahr, 5 ist täglich oder öfter.Kein Artikel. Sie entscheidet, ob sich die unten genannten Kontrollen lohnen.
KlarheitLässt sich die richtige Antwort als Regeln und Beispiele aufschreiben? 1 ist implizites Urteilsvermögen, 5 sind schriftliche Regeln mit klaren Antworten.Artikel 14 und 26 des AI Act: Aufsicht ist nur wirksam, wenn die Person die Ausgabe an etwas Bekanntem messen kann.
DatenzugangKommt das System mit Erlaubnis an die benötigten Daten? 1 ist Papier oder Bildschirme ohne Export, 5 ist eine API oder ein Export unter Ihrer Kontrolle.DSGVO Artikel 28 und 32 für jeden Dienstleister und jedes System im Datenpfad; Artikel 35, wenn die Verarbeitung voraussichtlich ein hohes Risiko birgt.
Fehlerkosten (umgekehrt)Was kostet ein Fehler? 1 schadet einem Kunden, einer Zahlung oder einer Rechtsposition, 5 ist billig und begrenzt.DSGVO Artikel 22 für Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und eine Person erheblich beeinträchtigen; Artikel 14 und 26 des AI Act für Hochrisiko-Systeme.
UmkehrbarkeitLässt sich eine falsche Aktion rückgängig machen? 1 ist nach dem Versand unumkehrbar, 5 ist mit einem Schritt behoben.Artikel 26 des AI Act: Betreiber überwachen, können die Nutzung aussetzen und bewahren Protokolle mindestens sechs Monate auf, bei Hochrisiko-Systemen.

Ein Rechenbeispiel mit erfundenen Zahlen

Das folgende Beispiel ist hypothetisch und dient der Veranschaulichung. Es beschreibt keinen echten Kunden, und die Werte sind keine Ergebnisse eines Projekts. Stellen Sie sich einen kleinen Großhändler vor, dessen Team Lieferantenrechnungen von Hand mit Bestellungen abgleicht. Diesen einen Workflow bewerten wir in der folgenden Tabelle, mit einer Zeile Begründung je Kriterium, um zu zeigen, wie Rechnung und Diskussion zusammengehören. Die Begründung ist das Wertvolle: In einem echten Workshop ist ein Wert ohne Grund nur eine Vermutung.

Bewertung des hypothetischen Workflows Rechnungsabgleich

Die Werte sind zur Veranschaulichung erfunden. Die Summe ist die einfache Addition der fünf Werte, von möglichen 25.

KriteriumWertBegründung in diesem erfundenen Fall
Häufigkeit5Rechnungen kommen jeden Arbeitstag an, es gibt also genug Volumen zum Lernen.
Klarheit4Die meisten Abgleiche folgen einer schriftlichen Regel zu Referenz und Betrag; eine Minderheit braucht Urteilsvermögen.
Datenzugang3Bestellungen lassen sich exportieren, doch Rechnungen kommen als PDF-Anhänge, die erst gelesen werden müssen.
Fehlerkosten (umgekehrt)3Ein falscher Abgleich verzögert eine Zahlung und erzeugt Nacharbeit, aber vor der Zahlung prüft ein Mensch.
Umkehrbarkeit4Ein vorgeschlagener Abgleich lässt sich vor der Buchung ablehnen oder ändern; gebuchte Einträge brauchen eine Korrekturbuchung.
Summe19 von 25Ein vielversprechender Kandidat, wenn ein Mensch Abgleiche vor der Buchung freigibt.

Wie man einen Wert liest

Wir verwenden drei Bänder, wiederum unsere eigene Faustregel. Eine Summe ab 20 spricht für den Start. Eine Summe von 15 bis 19 spricht für einen Kandidaten mit Bedingungen: Beginnen Sie damit, dass ein Mensch jede Aktion freigibt, etwa mit einem der Muster aus unserem Artikel über menschliche Freigabe für KI-Agenten. Unter 15 verschieben Sie ihn oder teilen den Workflow in kleinere Schritte. Zwei Regeln übersteuern die Summe. Eine 1 bei Fehlerkosten oder Umkehrbarkeit nimmt den Kandidaten aus der ersten Runde, denn das erste Projekt sollte eines sein, bei dem ein Irrtum verkraftbar ist. Und jeder Kandidat, der personenbezogene Daten verarbeitet, durchläuft die DSGVO-Fragen vor dem Bau, nicht danach.

Das Scoring im Workshop durchführen

Für eine Liste von fünf bis zehn Kandidaten reicht meist eine Sitzung von etwa zwei Stunden. Die Reihenfolge zählt, denn Bewertung vor der Einigung auf die Liste wird leicht zum Streit um Lieblinge.

  1. Laden Sie die Menschen ein, die die Arbeit tun, eine Person, der der Prozess gehört, und jemanden, der für Datenzugang und Sicherheit sprechen kann. Bewerten Sie nicht nur von oben herab.
  2. Listen Sie Workflow-Kandidaten auf, je eine Zeile mit Auslöser, Ergebnis und dem System, in dem es endet. Hören Sie bei zehn auf.
  3. Einigen Sie sich auf die fünf Kriterien und die Bedeutungen von 1 bis 5 aus der Tabelle oben und passen Sie den Wortlaut an Ihr Unternehmen an, bevor jemand bewertet.
  4. Bewerten Sie jeden Kandidaten still und einzeln, dann legen Sie die Werte gemeinsam offen.
  5. Besprechen Sie jedes Kriterium, bei dem die Werte um zwei Punkte oder mehr abweichen, und halten Sie den Grund für die endgültige Zahl fest.
  6. Wenden Sie zuerst die Vetos an, dann Summen und Bänder, und markieren Sie, welche Kandidaten personenbezogene Daten berühren.
  7. Wählen Sie einen Kandidaten, halten Sie fest, was ein Mensch freigeben muss, und setzen Sie einen Termin für die erneute Bewertung nach dem ersten Pilot.

Was die Methode nicht leistet

Die Methode ordnet Kandidaten danach, wie fehlerverzeihend sie sind. Sie schätzt keine Einsparungen und sagt nichts darüber, ob ein Agent die Aufgabe technisch beherrscht: Dafür sind eine Diagnose und ein kurzer Pilot da. Sie kann auch nicht sagen, ob ein Anwendungsfall nach dem AI Act hochriskant ist oder eine Datenschutz-Folgenabschätzung braucht. Das sind rechtliche Beurteilungen. Besprechen Sie gut bewertete Kandidaten mit Ihrem Datenschutzbeauftragten oder Ihrer Rechtsberatung, bevor Sie bauen. Dieser Artikel ist eine allgemeine Information eines Engineering-Teams, keine Rechtsberatung.

Häufig gestellte Fragen

Ist diese Scoring-Methode ein offizieller Standard?

Nein. Es ist die eigene Arbeitsmethode von EUHub, entstanden aus dem, was wir in Diagnosen fragen. Kriterien und Bänder sind Urteil, keine Messung, und keine Aufsichtsbehörde und keine Normungsstelle verlangt sie. Passen Sie Wortlaut und Schwellen an Ihr Geschäft an und halten Sie die Gründe fest, damit die Werte hinterfragt werden können.

Sollen wir immer mit dem höchstbewerteten Workflow beginnen?

Nicht automatisch. Wenden Sie zuerst die Vetos an: Ein niedriger Wert bei Fehlerkosten oder Umkehrbarkeit schließt einen Kandidaten aus der ersten Runde aus, egal wie hoch die Summe ist. Vergleichen Sie dann die übrigen Summen und prüfen Sie Datenzugang und Datenschutzfragen. Die höchste Summe ist ein Ausgangspunkt für die Diskussion.

Verrät uns der Wert, wie viel wir sparen werden?

Nein. Die Werte ordnen Kandidaten danach, wie sicher und praktikabel der Start ist, nicht danach, was sie wert sind. Eine Schätzung von Einsparungen braucht Ihre eigenen Mengen, Ihre eigenen Kosten und einen gemessenen Pilot. Misstrauen Sie jeder Zahl, die allein aus dem Wert abgeleitet wird.

Unser Sicherheitsansatz

Primärquellen