Der Unterschied zwischen herkömmlichem Programmieren und Künstlicher Intelligenz (KI) bzw. Artificial Intelligence (AI) besteht darin, dass wir dem Programm nicht mehr Schritt für Schritt vorgegeben, was es tun soll, sondern sich das Programm die Lösungswege selbst sucht. Bei komplexen Anwendungen wie der Spracherkennung, textbasierten Dialogsystemen (Chatbots) oder Anwendungen rund um Fahrerassistenzsysteme sind die Eingangsvariablen und die Kombinationsmöglichkeiten so vielfältig und komplex, dass es unmöglich ist, diese in einem Programm vorauszudenken. Im Rahmen der AI gibt man den Programmen daher zwei Dinge: Ausgangsdatensätze und ein Vorhersagekriterium. Das Programm versucht dann selbst in mehreren Schritten mit den Daten das Kriterium vorherzusagen. Beispiel: ist das per Hand geschriebene Kürzel ein bestimmter Buchstabe? Ist in dem per Radar erfassten Bild ein Mensch, der gleich auf die Straße läuft? Im Fall von Artificial Intelligence Assessment: Ist aus den vom Kandidaten erstellen Texten die Eignung für einen Job erkennbar?
Analyse von Video-Nachrichten und E-Mails in einer simulierten Outlook-Umgebung
In unserem 90-minütigen Online-Assessment versetzen wir die Kandidaten in ein komplexes Business-Szenario. Das Szenario ist die Leitung einer internationalen Headhunting-Firma mit verschiedenen Projekten, Mitarbeitern und Kunden. In einem solchen Szenario hat keiner Vor- oder Nachteile. Wir geben Aufgaben (=Stimuli) wie komplexe Geschäftstabellen (z. B. einem Benchmarking mit anderen Niederlassungen), E-Mails von Mitarbeitern und Kunden und Videonachrichten vor. Die Herausforderung besteht nun darin, auf diese Aufgaben hin, kurze Video-Antworten und E-Mails in einer simulierten Outlook-Umgebung zu erstellen. Anschließend bewerten wir die verschiedenen Kompetenzen nach vorgegebenen Auswertungsvorgaben, z. B. Analysevermögen (Qualität der Tabellenauswertung), Führungsverhalten (Umgang mit Führungsproblemen), sprachlicher Ausdruck (Formulierungsqualität der E-Mails), Sozialkompetenz (Antwortvideos zu Beschwerden), Vertriebskompetenz, oder Orthographie (Fehlerfreiheit der E-Mails).
Automatische Analyse von Ausgangstexten im Online-Assessment
Wir nutzen jetzt die Methoden der Artificial Intelligence im Assessment für Aspekte, die für unsere intuitive Bewertung von Kandidaten immer wichtig waren (z. B. Sympathie, wahrgenommene Kompetenz, Selbstbewusstsein), die sich bisher jedoch nie zufriedenstellend beobachtet werden konnten, da diese als viel zu subjektiv oder zu komplex angesehen wurden.
Im folgenden Absatz sehen Sie eine typische Antwort-E-Mail, die in dem simulierten Outlook-System von einem Kandidaten produziert wurde. Der Ausgangspunkt (=Stimulus) war die Beschwerde eines Headhunting-Bewerbers, der nie eine Absage erhalten hatte. Für das Headhunting-Projekt war jedoch ein Mitarbeiter mit Namen Müller in dem Team zuständig, an den unser Kandidat nun schreiben soll.
“Sehr geehrter Kollege Müller,
ich hatte heute eine unerfreuliche Beschwerde eines Bewerbers aus einem Ihrer IT-Projekte. Er sagte, dass er bis heute keine abschließendes Feedback erhalten hatte, obwohl das Projekt laut unserer Projektliste abgeschlossen ist. Das ist etwas unangenehm. Man könnte das Feedback nachhohlen. Es wäre schlecht, wenn auch für andere Projekte der Prozess nicht eingehalten werden kann. Man sollte sich immer in Erinnerung rufen, dass alle Kandidaten unser Image bestimmen, letztlich unser Kapital und potenzielle Auftraggeber sind.
Viele Grüße”
Syntaktische Analyse
Ein erster Analyseschritt besteht darin, dass wir jeden Satz syntaktisch auswerten: Was sind Verb, Subjekt und Prädikat? In der Auswertung des gesamten Mails kann daraus unser Programm ableiten, wie die typische Satzstruktur und Verwendung von bestimmten Wörtern ausfällt. In unserem Beispiel erweist sich als ein guter Prädikator für die Gesamteignung die (hier geringe) Verwendung der ersten Person (ich, mich, mir).
Emotionsanalyse
In der Emotionsanalyse werden die E-Mail-Texte automatisiert im Hinblick auf die jeweils vermittelten emotionalen Stimmungen ausgewertet. In der linken Spalte ist für den Beispielstext ein Score abgebildet, der die eher positive (grün) oder negative (rot) Valenz der Formulierungen indiziert. Über die verschiedenen Durchläufe des Online-Assessments haben wir eine Vergleichsnorm anderer Teilnehmer erstellt, mit der bezogen auf den gleichen Stimulus (Aufgabenstellung) die typische Valenz des jeweiligen Teilnehmers relativ zu dem Benchmark deutlich wird. Die rechte Spalte gibt unabhängig von der Valenz die emotionale Stärke der jeweiligen Formulierungen an. Das Beispiel zeigt, dass der Teilnehmer in diesem Text eher emotional negative Sprachausdrücke verwendet. Die Absicherung findet dadurch statt, dass wir die Analyse für jeden der von dem Teilnehmer produzierten E-Mail-Antworten durchgeführen. Die so für jeden Teilnehmer ermittelte durchschnittliche Valenz hat sich in unserer AI-Analyse als ein zuverlässiger Prädiktor für die emotionale Stabilität erwiesen.
