- Das Plus an Effizienz und Validität für Testverfahren der Eignungsdiagnostik
Christoph Moelleken und Levi Kuhlmann
Digitalisierung, Innovation und Effizienz sind Treiber, die auch die Praxis der psychologischen Eignungsdiagnostik zunehmend bestimmen und fortlaufend für neue Entwicklungen sorgen. So gehören digitale Tools zur Durchführung von Assessment-Centern wie bspw. AC-Apps und simulative Online-Testverfahren wie bspw. digitale Fallstudien längst zum Standard moderner Auswahlprozesse für Unternehmen und Organisationen.
Ein Trend im Bereich der psychometrischen Testverfahren ist jedoch besonders hervorzuheben: Das adaptive Testen. Dies bestimmt nun auch die Testverfahren von Obermann Consulting & Brooklynmaxx.
Was ist adaptives Testen?
Bei der Durchführung von Testverfahren im Auswahlprozess ist es sinnvoll sich folgende Fragen zu stellen: Sollten Testpersonen alle zur Verfügung stehenden Aufgaben (Items) eines Tests bearbeiten oder ist es sinnvoller, nur diejenigen Items vorzugeben, die am ehesten dem individuellen Fähigkeitsniveau entsprechen? Sollte eine Testperson beispielsweise wiederholt schwierigere Aufgaben lösen müssen, wenn zuvor vergleichbare Aufgaben nicht gelöst wurden?
Die Antworten auf diese Fragen sind aus Sicht des adaptiven Testens eindeutig: Eine verbesserte und differenzierte Beurteilung der individuellen Leistungsfähigkeit gelingt nur, wenn spezifisch ausgewählte Testitems vorgegeben werden, die am ehesten dem jeweiligen Fähigkeitsniveau der Testperson entsprechen. In der Konsequenz passen sich also die zu bearbeitenden Items eines Tests stets dem bisherigen Antwortverhalten der Testperson an: Wird ein Item korrekt bearbeitet, ist das nachfolgende Item schwerer, wird das Item falsch beantwortet, ist das nachfolgende Item leichter.
Im Ergebnis ist nicht die Summe korrekter gelöster Aufgaben (Items) entscheidend (Prinzip der klassischen Testtheorie) sondern es wird vielmehr das individuelle Fähigkeitslevel (also die Stärke einer Person auf der zu bewerteten Kompetenz, z. B. Numerisches Denken) in Abhängigkeit der Schwierigkeit der zuletzt bearbeiteten Items betrachtet.
Die Vorteile dieses Prinzips: Eine differenziertere Beurteilung individueller Merkmalsausprägungen über einen größeren Leistungsbereich hinweg und damit eine bessere Vorhersagegenauigkeit in der zu messenden Kompetenz.
Übersetzt bedeutet das: Höhere Treffsicherheit in der Auswahl passender Bewerber/innen.
Adaptives Testen in der Praxis
In der praktischen Anwendung der adaptiven Testverfahren ergeben sich keine zusätzlichen Hürden. Testanwendung, Durchführung und Administration bleiben unverändert – der Zugewinn an Vorhersagekraft und Genauigkeit ergibt sich durch die hinter dem Test liegende Methodik.
Hier greift das Prinzip der probabilistischen Testtheorie (Item-Response-Theorie, Lord & Nowick, 1968) bei dem über die statistische Wahrscheinlichkeit, ob ein Item gelöst werden konnte oder nicht, die individuelle Merkmalsausprägung auf einer Kompetenz ermittelt wird. Liefert ein zu bearbeitendes Item jene bestmögliche Vorhersage der Merkmalsausprägung (maximaler Informationszugewinn, minimale Irrtumswahrscheinlichkeit) wird der Test automatisch beendet und die Ausprägung in der gemessenen Kompetenz steht fest.
Die Dauer der Testbearbeitung kann dabei interindividuell variieren, ist jedoch im Vergleich zu klassischen Testformaten oftmals kürzer. Motivationale Anreize für die Testpersonen entstehen zusätzlich durch das individuell angepasste Schwierigkeitsniveau der Testaufgaben (Vermeidung von Überforderung, Frustration bzw. Unterforderung durch zu leichte Aufgaben).
Adaptives Testen bei Brooklynmaxx
Die adaptiven Testverfahren von Brooklymaxx wurden in über einem Jahr Testentwicklung unter wissenschaftlicher Begleitung der Rheinischen Hochschule Köln entwickelt. Dabei folgen die Testverfahren dem statistischen Ansatz des Rasch-Modells und nutzen das sogenannte „Branched-Testing“-Prinzip. Die umfangreiche Normstichprobe beinhaltet vorwiegend berufstätige Personen. Zudem konnte der in unseren Testverfahren bewährte Praxis- bzw. Businessbezug der Testitems beibehalten werden. Testdauer und Durchführung können durchschnittlich um 4-5 Items pro Testperson reduziert werden, wobei gleichzeitig eine zufriedenstellende Reliabilität von .74 erreicht wird.
Besonderes Merkmal unserer adaptiven Testverfahren ist darüber hinaus der dynamische Itempool, welcher sich durch die Hinzunahme neuer Items automatisch vergrößert und so zusätzlich zu einer Erhöhung der Testsicherheit beiträgt.
Fazit
Das Prinzip des adaptiven Testens etabliert sich zunehmend als State-Of-the-Art Ansatz moderner Testverfahren der professionellen Eignungsdiagnostik. Die kognitiven Fähigkeitstests von Brooklynmaxx gehen hier voran und sorgen für eine bestmögliche Vorhersage beruflicher Leistung und Führungspotential in Ihrem Unternehmen.
Gerne beraten wir Sie in einem persönlichen Gespräch zu den Vorteilen und Anwendungsbereichen unserer Testverfahren und wie Sie mit diesen Ihre Personaldiagnostik und Personalentwicklung auf moderne Füße stellen.
Literatur
Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee’s ability. In F. M. Lord & M. R. Novick (Eds.), Statistical theories of mental test scores. Reading, MA: Addison-Wesley.
Lord, F. N. & Nowick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison- Wesley.