Die Güteprüfung des Persönlichkeits-Screenings Per-Screen

Dem Screening liegen 112 Indikatoren zugrunde, die die Ausprägung von 22 Persönlichkeitseigenschaften indizieren sollen.

Warum noch ein Persönlichkeitsscreening?

Ende der neunziger Jahre sahen wir uns im Prozess der Ausarbeitung unternehmensspezifischer Assessments zunehmend mit einer Problemlage konfrontiert, die vielschichtig ist und aus der hier nur auf zwei Erkenntnisse fokussiert werden soll:  Erstens: Die Anforderungen der Arbeitsprozesse an den tätigen Menschen werden über seine Fachkompetenzen in immanenter Wechselwirkung mit seinen Persönlichkeitskompetenzen umgesetzt.(1) Die wechselseitige Abhängigkeit dieser beiden Kompetenzarten gewinnt an Bedeutung für die Qualität der Arbeit und das Verhalten in Arbeitsprozessen. Dabei ist es für die Unternehmen relativ einfach, präzise Aussagen zu Fachkompetenzen zu treffen, weitaus schwieriger scheint es jedoch, geeignete Kompetenzen für das Verhalten in verschiedenen Arbeitswelten zu fixieren. Die Suche nach geeigneten Fachkräften scheitert aber nicht selten genau an diesem Phänomen. Da es nicht leicht ist, die wirklich benötigten Persönlichkeitseigenschaften in der für den spezifischen Arbeitsprozess sinnvollen Ausprägung zu beschreiben – also das Optimale zu fixieren-, flüchtet man in das Maximale und beschreibt eine „Eier-legende Wollmilch sau“, die man natürlich nicht findet. Erscheinungsformen sind dann unbesetzte Stellen, überhöhte Erwartungen und frühzeitiger Arbeitsstellenwechsel. Wir haben festgestellt, dass diesem Fehler auch langjährig tätige Personalabteilungen von nicht kleinen Organisationseinheiten unterliegen können.  Zweitens: Personalentscheider sind zum überwiegenden Teil keine ausgebildeten Psychologen. Das müssen sie auch nicht. Ungeachtet dessen, werden aber wissenschaftlich ausgearbeitete Instrumente zur Feststellung des Vorhandenseins einzelner Eigenschaften und Verhaltensweisen auf verschiedenen Abstraktionsebenen genutzt über deren Verwendungsrahmen und Aussagekraft man sich nicht immer bewusst zu sein scheint. Es besteht einerseits die Gefahr einer unbewussten „Horoskopisierung“ und andererseits der mechanistischen „Input-Output-Sicht“ bei der Handhabung von Tests und anderen Informationserfassungsverfahren. Auch ist die Zeit, die man benötigt, um an die für die Entscheidungsfindung notwendigen Informationen zu kommen unter kommerziellem Aspekt oft zu lang, so dass letztlich eine „Computerentscheidung mit symbolischen Kurzgespräch“ vor einer wirklich aus einem vorbereiteten persönlichen Gesprächs resultierenden Entscheidung Vorzug gegeben wird.  Diese Tatbestände bewogen uns, über ein auch für Nichtpsychologen leicht handhabbares Verfahren mit hohem Informationsgehalt nachzudenken, ohne die Prinzipien der Wissenschaftlichkeit zu verletzen. 

Der Aufbau des Screenings und sein Geltungsbereich

Dem Screening liegen 112 Indikatoren zugrunde, die die Ausprägung von 22 Persönlichkeitseigenschaften indizieren sollen. Es wird ergänzt durch 4 Distractionsitems sowie 11 Indikatoren, die allgemeine Zusatzinformationen erfassen. Die Indikatorenreihung wurde über Zufallsgeneratoren ermittelt, um inhaltliche Interferenzen zu minimieren. Die Rohpunktwerterfassung erfolgt über eine 4-stufige ordinalskalierte Intensitätsskala. Das Screening verfügt über 19 Falsehood- (Lügen-) Indikatoren, die Rückschlüsse auf relativ konstantes bzw. streuendes Antwortverhalten des Probanden zu gleichen Sachverhalten zulassen. Der Proband wird viermal im Verlauf der Befragung in geeigneter motivierender Ansprache (Texteinblendung) über sein Antwortverhalten informiert.  Das Verfahren führt zu Aussagen in den Bereichen: 


  • allgemeines Aktivitätsniveau (Drive)
  • Arbeitseinstellungen
  • Verhalten gegenüber Anforderungen und Situationen
  • soziales Verhalten
  • Verhalten zu sich selbst
  • Temperamentseigenschaften
  • Stressresistenz

Per-Screen[basic] wird am PC durchgeführt. Die Befragung kann aber auch über ein Printmedium erfolgen, wobei dann die Informationen zur digitalen Verarbeitung in ein Antworttableau eingegeben werden müssen.  Die Ergebnisse des Screenings, wie „Allgemeine Auswertung in Textform“, Eigenschaften-Netzdiagramm“ und anderes können im Anschluss an die Befragung vom Nutzer unter optionaler Zuhilfenahme eines Interpretationsleitfadens sofort eingesehen werden.  Indem sich das Screening auf Angaben des Probanden stützt, ist die prinzipielle Fähigkeit des Probanden zur Beurteilung von Dingen und Erscheinungen eine generelle Anforderung. Das Indikatorverständnis setzt als untere Grenze des intellektuellen Entwicklungsniveaus den Regelschulabschluss und eine gewisse Grunderfahrung in der Lebensweise in modernen Industriegesellschaften voraus. Die Altersgruppe sollte Jugendliche mit einer mittleren Reife unter 18 Jahren nicht unterschreiten. Die Probanden sollten die deutsche Sprache auf einem Niveau -auch in ihrer Nuancierung-beherrschen, welches es ihnen erlaubt, die in den Indikatoren angesprochenen Sinnzusammenhänge zu erfassen.  Die in der Instruktion enthaltene Aufforderung, die Fragen möglichst spontan zu beantworten, wird tendenziell geschlechtsspezifisch signifikant unterschiedlich wahrgenommen. Dieses Phänomen korreliert mit der Beantwortungszeit. Weibliche Probanden benötigen ca. 30-35 Minuten, männliche mitunter auch 40-60 Minuten. Das Screening ist als ein (und nicht der) Baustein im Kontext weiterer Informationserfassungsmethoden zur Vorbereitung Persönlicher Gespräche als Instrument zur Strukturierung und inhaltlichen Ausrichtung von Kommunikationsprozessen in den Bereichen Lebenswegberatung, Personalrekrutierung und Mitarbeiterführung konzipiert. 

Zur Einordnung des Persönlichkeits-Profil-Screenings Per-Screen[basic] in das Methodenarsenal der Persönlichkeitsforschung

Per-Screen[basic] ist eine spezifische Form der schriftlichen Befragung und neben der Beobachtung, dem Interview, der Exploration, dem Experiment, dem Test sowie der Dokumenten- und Werkanalyse eine von zahlreichen Analysetechniken, die der generellen Erkenntnis unterliegt, dass sich die Qualität gewonnener persönlichkeitsanalytischer Informationen durch seinen abgestimmten Einsatz im Komplex verschiedener Informationserfassungsmethoden über integrative Interpretationen erhöht.  Die Entwicklung des Per-Screen[basic] begann bereits in den 1980er Jahren und war als Basisversion zur Erprobung eines Führungskräftescreenings gedacht. Im Verlauf der Brauchbarkeitsuntersuchungen und Erprobung kristallisierte es sich als ein eigenständiges Screening zur Erfassung berufsrelevanter Eigenschaften heraus. Per-Screen[basic] folgt einem indirekten Ansatz. Diesem liegt im Wesentlichen die Auffassung zugrunde, dass sich Persönlichkeitseigenschaften Anlagen und Umwelt bedingt in typischen Verhaltensweisen ausdrücken und durch diese wiederum als Dispositionen des Handelns und Verhaltens gefestigt und modifiziert werden. Etwas einmalig Vererbtes sind sie nicht, sondern vielmehr als Produkt einer Anlage-Umwelt-Entwicklung auch veränderbar und situativ ausrichtbar. (vgl. z.B. A.N. LEONTJEW 1982; W. HACKER 2005, S.7; Uni-Protokolle 2011)  In diesem Zusammenhang wird festgestellt, dass ein Berufserfolg nicht ausschließlich mit spezifischen Persönlichkeitsmerkmalen eines Menschen zu erklären ist. ( vgl. L. von ROSENSTIEL/G. COMELLI 2003) Aufgabeninhalte, Teamzusammensetzungen und situative Einflüsse haben ebenso Einfluss auf den Berufserfolg – besonders auf der motivationalen, volitiven und emotionalen Ebene.  Andererseits entsteht berufsrelevantes Verhalten nicht aus dem Nichts und zeigt sich in konkreten Situationen Ursachen bedingt, wobei die Verhaltensauslöser und –regulierer in erster Linie Persönlichkeitseigenschaften im Sinne von ‚traits‘ sein sollten, wohl wissend, dass sie es in manchen Fällen nicht allein sind. Diese ‚traits‘, also über lange zeitliche Phasen sehr stabile Persönlichkeitseigenschaften, existieren in der Wechselwirkung mit ‚states‘, also sich mit den Umweltbedingungen verändernden, zeitlich eher kurzfristig vorliegenden Zuständen transsituationaler Konsistenz (vgl. M. SCHMITT, 1990) einer Persönlichkeit.  Wir möchten an dieser Stelle nicht weiter auf die theoretische und methodologische Grundlegung des Verfahrens eingehen, sondern uns in diesem Artikel ausschließlich Aussagen zu dessen Brauchbarkeitsprüfung zuwenden. Dabei ist es unumgänglich, sich immanent bewusst zu sein, dass Gütekriterien immer auf einer theoretisch und methodologisch begründeten Grundlage ihre Bewertung erfahren müssen. 

Die Güte-Prüfung des Per-Screen[basic]

Die Güte-Prüfung einer Informationserfassungsmethode ist ein laufender, niemals abgeschlossener Prozess und kontinuierlich fortzusetzender Prozess des sich asymptotischen Annäherns an komplexe reale Gegebenheiten. In diesem Sinne sind die nachfolgend beschriebenen Aktivitäten als erste Schritte im Prozess der Güteprüfung zu verstehen.  


  • Aussagen zur Validität

Der formal-technische Aspekt einer Güteprüfung ist dem inhaltlichen Aspekt der Abbildungspräzision eines Untersuchungsgegenstandes nachzuordnen. Wird das Abbild des Untersuchungsgegenstandes originalinadäquat konstruiert, kann auch ein noch so ausgefeilter statistischer Überbau nichts mehr zur Nachweispräzision beitragen. Ob das Verfahren das nachweist, was es nachweisen soll, ist die zentrale Frage jeder Güte-Prüfung und führt zur Rekonstruktion des Teils der objektiven Realität, auf den das Augenmerk gerichtet ist.(2)  Die grundlegende Frage, die die Güte des Per-Screen[basic] bestimmt, war somit die nach der Quelle aussagekräftiger Informationen über Verhaltensanforderungen für die erfolgreiche Bewältigung von Aufgaben in verschiedenen Arbeitswelten. Wir sind der Auffassung, diese Quelle kann nur in den Arbeitswelten selbst bei den dort langjährig tätigen berufserfahrenen Akteuren liegen:  


  • den kompetenten Arbeitern/Angestellten,
  • den erfahrenen Bereichs- und Abteilungsleitern,
  • den praxiserfahrenen Personalabteilungen und Geschäftsführungen.

Um eine hohe Sicherheit der aus den Screening-Resultaten abgeleiteten Aussagen anzustreben, wurde versucht, das Rekonstrukt von berufsrelevanten Persönlichkeitseigenschaften aus zugänglichen realen Arbeitswelten abzuleiten. Im Bewusstsein dieser modellhaften Einschränkung des Untersuchungsgegenstandes  


  • wurde 1998 eine Analyse von Personalmanagementliteratur der Erscheinungsjahre 1971 bis 1998 durchgeführt:

 Aus der Analyse von 62 Werken resultierten 34 Persönlichkeitseigenschaften, die als „berufsrelevant“ eingestuft wurden.  


  • Auf der Basis dieser 34 Eigenschaften wurden in den Jahren 1998 bis 2000 dann mehr als 300 europäische Unternehmen einer nach Angestelltenzahl geschichteten Stichprobe anonym befragt, welche Eigenschaften sie präferieren würden:

Im Ergebnis dieser Befragung ergaben sich 18 invariante berufsrelevante Persönlichkeitsmerkmale, die durch vier Arbeitseinstellungen ergänzt wurden.  


  • Diese 22 Merkmale wurden operationalisiert, in Indikatorbatterien abgebildet und zu einem Fragebogen ausgearbeitet:

 Zur Festlegung der Indikatorinhalte und deren Formulierung fand eine Befragung zur Eignungsbewertung vorgegebener Indikatoren zum Aufdecken von Persönlichkeitsmerkmalen und Feststellen der am häufigsten als "geeignet" bewerteten Formulierungen bzgl. einer Eigenschaft statt. 

168 von 195 vorgeschlagenen eigenschaftsbezogenen Indikatoren und deren Formulierungen wurden verifiziert, wobei 41 Indikatoren gleichen Wortlautes für die Indikation mehrerer (2 bis 3) Eigenschaften ausgewählt wurden.  

  • Eine sich anschließende „Befragung der Befragung“ gab Aufschluss über das semantische Differential der 168 Indikatoren in Bezug auf die Klientel. Die Indikatoren unterlagen einer Testung des semantischen Differentials ab einer Altersgruppe von jungen Erwachsenen (18- bis 30 -jährigen).

Es waren 11 Änderungshinweise folgender Art zu 9 (7%) von 127 (100%) Indikatoren zu verzeichnen: 

  • Der respondentive Teil des Indikators wurde als 4-stufige Ordinalskala (Intensitätsskala) mit den Graduierungen „stimmt vollkommen“, „stimmt größtenteils“, „stimmt weniger“ und „stimmt gar nicht“ festgelegt.Der Grund dafür lag in den Erfahrungen mit dem Antwortverhalten der Klientel bei der Testung vorausgegangener Informationserfassungsmethoden:
  • Es bestand der Wunsch zu einer „Mitte“, um Entscheidungen und ein intensiveres Nachdenken über den im evokativen Teil des Indikators angesprochenen Sachverhalt in Bezug auf die eigene Person zu vermeiden,
  • Bei nicht Vorhandensein einer Mitte bestand die Forderung nach ausdifferenzierteren Skalen bis zu einer Skalenweite von 10, um letztlich zur Mitte durch lediglich geringe Abweichungen von ihr zu tendieren und andererseits die Pole durch geringe Abweichungen von denselben zu vermeiden.

Für die Befragung und dem intendierten Entscheidungsverhalten zu den angesprochenen Inhalten reichen Tendenzen, die kurz über dem Alternativniveau liegen. Es wird nichts „gemessen“, wir bilden homomorph ab und es nutzen in Bezug auf unser Klientel mit seinem Antwortverhalten keine mehrstufigen Skalen, die sich letztlich statistisch in der topologischen Verarbeitung dann wieder reduzieren.  Generell ist die Rekonstruktvalidität ist am theoretischen Modell orientiert für Per-Screen[basic] als gut einzuschätzen.  Die Prädikative Validität konnte für die 22 Eigenschaften auf der Basis von beobachteten Verhaltensmustern im Berufsfeld nach Einstellungsverfahren unter Mit-Zugrundelegung von Per-Screen[basic] - Ergebnissen nachgewiesen werden. Dazu wurden in 5 Unternehmen 87 Interviews mit nach Alter, Geschlecht, Funktion und Arbeitserfahrung (in Jahren) geschichteten Personen durchgeführt. 

Die Signifikanzprüfung über den Zufallshöchstwert τ**max (L. KAARSEMAKER; A. VAN WINJNGAARDEN 1952[2]) ergab bei einem α von 5% und einem doppelt bindungskorrigiertem KENDALL-τ von τ**= 0,37 einen signifikanten Zusammenhang zwischen den beobachteten und nachgewiesenen Verhaltensmustern. 

Aussagen zur Reliabilität

Die Antwortzulässigkeit (Indikatorreliabilität) wurde nach dem Rangsummenverfahren von F. WILCOXEN (1945)[8] mit einer Wiederholung nach 2 Monaten mittels Retest an einer Stichprobe von n = 97 für jeden der Indikatoren unter der Berücksichtigung Nullpaar eliminierter Summen über die auf die Prüfgröße |u| normierten T-Werte bzw. über T ermittelt. 

Es liegen bei einer angenommenen statistischen Sicherheit von 95% keine signifikanten Veränderungen zwischen den Ergebnissen der Erst- und Zweitbefragung vor. 

Aussagen zur Objektivität

Verfälschungstendenzen in der Durchführungs- und Auswertungsphase des Screenings im Sinne der Bedingungskonstanz werden durch genaue Instruktionen, probandenbezogene verständliche Indikatorformulierungen einfache und übersichtliche Beantwortungsmodalitäten sowie computergestützte Datenauswertungen minimiert. Zur Durchführung des Screenings existieren Instruktionen und Interpretationshinweise, die für Störgrößen im Befragungs-, Auswertungs- und Interpretationsprozess sowie deren Minimierung bzw. Vermeidung sensibilisieren und auf den Aussagewert der erhaltenen Informationen hinweisen. Gleichwohl wird darauf verwiesen, dass die Interpreterkonkordanz immer auch von der psychologischen Qualifizierung sowie der Erfahrung des Interpreters bei der Betrachtung und Bewertung des Probandenkreises abhängig ist und Interpreterschulungen für Nicht-Testpsychologen zu empfehlen sind. 

Aussagen zur Utilität

Das Screening lässt sich in seiner Durchführung leicht handhaben. Große psychische Belastungen der Befragten sind mit dem Einsatz des Screenings nicht verbunden. Der Umfang der zu erwartenden Informationen und deren wechselseitige Beziehungen sind insgesamt groß. Da die Informationen in numerischer Form vorliegen, sind sie statistisch interpretierbar. 

Auf einer sechsstufigen Skala von „gar nicht brauchbar“ bis „sehr gut brauchbar“ schätzten die Befragten das Verfahren zu 44% mit „sehr gut brauchbar“ und zu 46% mit „gut brauchbar“ ein. 10% gaben an, dass das Screening „schon brauchbar“ wäre. 

Resümee

Per-Screen[basic] ist hinsichtlich der Präzisionskriterien einer Brauchbarkeitsprüfung generell als ein einsetzbares Persönlichkeits-Screening zu werten.  Die Überprüfung, inwieweit sich einzelne Persönlichkeitseigenschaften als latente Variablen durch ein nomologisches Netzwerk implizit aufklären lassen und der damit verbundene statistische Nachweis der Konstruktvalidität in der Betrachtung von Konvergenz und Diskriminanz (vgl. M. KLEINMANN 1997) verschiedener Konstrukte könnte unter der Bedingung erfolgen, dass es für eine relativ sichere Aussage hinsichtlich der kriterienbezogenen Validität immer eines gesicherten Kriterienfächers dedarf. Eine weitere periodische Brauchbarkeitsprüfung durch unabhängige Außengutachter ist für den Aktualitätsbestand des Per-Screen[basic] ist zu empfehlen. 

Literatur

  • Hacker, W. (2005). Allgemeine Arbeitspsychologie. Psychische Regulation von Wissens-, Denk- und körperlicher Arbeit. Bern: Huber-Verlag.
  • Kaarsemaker, L. and van Wijngaarden, Adriaan (1952): Tables for use in rank correlation. Computation Department, Mathematisch Centrum. Amsterdam: Rep. R 73. pp 1 +17.
  • Kleinmann, Martin (1997): Assessment-Center: Stand der Forschung - Konsequenzen für die Praxis., Schriftenreihe. Göttingen: Verlag für Angewandte Psychologie.
  • Leontjew, Alexej Nikolajew (1982): Tätigkeit, Bewußtsein, Persönlichkeit. In: Studien zur Kritischen Psychologie. Köln.
  • Rosenstiel, Lutz von und Comelli, Gerhardt (2003): Führung durch Motivation. Mitarbeiter für Organisationsziele gewinnen. München: Vahlen-Verlag (3. Aufl.)
  • Schmitt, Manfred (1990): Konsistenz als Persönlichkeitseigenschaft. Berlin: Springer-Verlag.
  • Uni-Protokolle (2011): Zur Handlung unter dem Gesichtspunkt der psychischen Regulation. In: www.uni-protokolle.de/Lexikon/Handlung.html
  • Wilcoxon, Frank (1945): Biometrics Bulletin, International Biometric Society, 1444 I Street NW, Suite 700. Washington, DC 20005-2210 USA. Vol. 1, No. 6. (Dec., 1945), pp. 80-83.

1 Unter Kompetenz verstehen wir ein komplexes Gebilde aus sich in Kenntnissen manifestierendem angeeigneten Wissen, das als Grundlage zur Anbahnung von Können (Fähigkeiten, Fertigkeiten und Gewohnheiten) dient, welches wiederum durch praktische Erfahrungen in verschiedenen Bedingungsfeldern angereichert wird.  2 Eine Einordnung des Screenings in nomologische Netze erfolgte aus Gründen der nicht a priori gegebenen Vergleichbarkeit mit anderen Verfahren als Gesamtkonstrukt nicht. Selbst bei einem Abgleich mit bekannten hochvaliden Verfahren zur Feststellung der entsprechenden Eigenschaftsausprägungen würde die Prüfung des Kriteriums auf Gültigkeit ein Kriterium auf Gültigkeit des Vergleichskriteriums voraussetzen und schließlich dieses wieder ein Kriterium auf Gültigkeit für dieses Kriterium usw. Zum anderen bedarf die kriterienbezogene Validität für eine relativ sichere Aussage immer eines Kriterienfächers und auch die logische Validität leitet ihren Gültigkeitsanspruch aus Verfahren zum Nachweis von Merkmalen ab, die sich in eindeutigen und in ihrer Gesamtheit umschreibbaren Verhaltensweisen manifestieren.

Bild: SamuelBrownNG @iStock.com

per-screen
personlichkeits-screening
personlichkeitstest
Assessment
Ähnliche Artikel

Peats Redaktion

Die PEATS-Redaktion informiert Sie über Trends in der Eignungsdiagnostik & berichtet über neue Features auf PEATS.

15.11.17

Daran erkennen Sie wissenschaftliche Eignungstests

Die Vergleichsplattform PEATS erklärt, welche wissenschaftlichen Methoden und Kriterien hinter eignungsdiagnostischen Lösungen stehen.

Deutsche HR-Abteilungen vertrauen bei ihren Entscheidungen zunehmend auf eignungsdiagnostische Verfahren für Personalauswahl, Personalentwicklung und Talent Management. Die Akzeptanz gegenüber Eignungstests wächst zwar, dennoch haben viele Anwender und Unternehmen weiterhin Zweifel an Güte und Messbarkeit eignungsdiagnostischer Instrumente. Was ist an diesen Vorbehalten dran?

Die Vergleichsplattform PEATS erklärt, inwieweit die Wissenschaft vorhandene Zweifel entkräften kann und welche wissenschaftlichen Methoden und Kriterien hinter eignungsdiagnostischen Lösungen stehen.

Die Zweifel an Eignungstests

Die vorherrschenden Zweifel gegenüber Eignungstests beruhen vor allem auf der Frage, was ein Test eigentlich misst. Die tatsächlichen Merkmale einer Person oder doch eher ihre Fähigkeit zu liefern, was der potentielle Arbeitgeber mit dem Test hören möchte? Wie valide sind die Ergebnisse, die der Test ermittelt? Denn der Zusammenhang zwischen den teils weit hergeholt wirkenden Fragen im Test einerseits und Merkmalen wie der eigenen Teamfähigkeit oder Durchsetzungsstärke andererseits erschließt sich eben oft nicht gleich auf den ersten Blick. Natürlich zweifeln Menschen auch immer wieder daran, inwieweit ein Eignungstest die Vielfalt des Menschen und seiner Individualität gerecht wird. 

Einwände und Zweifel beruhen einerseits auf privaten Erfahrungen, die viele Anwender mit unwissenschaftlichen “Psychotests” gemacht haben, zum Beispiel in einschlägigen Zeitschriften. Zum anderen gehen die Vorbehalte auf Tests zurück, die zwar im eignungsdiagnostischen Kontext tatsächlich gebraucht werden, aber den eigentlichen Anforderungen in der Praxis nicht gerecht werden können. Unter all den professionellen Angeboten des Marktes befinden sich auch unseriöse Anbieter, die mit geschickten Marketingstrategien versuchen, ihre Tools an den Personaler zu bringen. Doch trotz ihres kurzfristigen Erfolgs sind es mittelfristig genau diese Tools, die die Skepsis wachsen lassen.

Daran erkennen Sie wissenschaftliche Testverfahren

Wir brauchen also gewisse Anhaltspunkte, um die fundierten und seriösen Tools für die eigenen Personalprozesse erkennen zu können. Die Antwort lautet Wissenschaft. Wer für sein Talent Management ein eignungsdiagnostisches Tool etablieren möchte, sollte sich also immer an der Wissenschaftlichkeit eines Testverfahrens orientieren. 

Doch was sind die wissenschaftlichen Kriterien und wann erfüllt ein Eignungstest oder Tool diese?

Zu den wichtigsten Kriterien gehören: 

  • Haupt- und Nebengütekriterien
  • Statistische Modelle
  • Eindeutigkeit und Genauigkeit
  • Testmanual

Was jeweils unter den verschiedenen Kriterien zu verstehen ist, haben wir im Folgenden für Sie aufbereitet.

1. Kriterium: Der Eignungstest erfüllt die drei Hauptgütekriterien

Einwand: „Misst der Test überhaupt das, was er messen soll?“

Möchte man eine Antwort auf diese Frage erhalten, lohnt sich ein Blick auf die die Zahlen zu den drei Hauptgütekriterien eines wissenschaftlichen Tests:

  • Objektivität
  • Reliabilität
  • Validität

Sie müssen für jeden Test mit Hilfe von statistischen Methoden einzeln nachgewiesen werden und bürgen für die wissenschaftliche Güte des Verfahrens. Ein Verfahren ist demnach wissenschaftlich solide, wenn der Eignungstest ein Merkmal unabhängig von äußeren Einflüssen (objektiv), zuverlässig (reliabel) und tatsächlich (valide) misst.

Die Zahlen zu den Gütekriterien erstrecken sich von 0,0 bis 1,0. Die 1 steht dabei für eine perfekte Erfüllung des Kriteriums: Der Test ist so objektiv, reliabel oder valide wie er nur sein kann. Umgekehrt sollte klar sein, was von einem Test mit Hauptgütekriterien in der Nähe von 0 zu halten ist.

Das wichtigste aller Gütekriterien ist dabei die Validität. Sie gibt an, ob der Test das misst, was er tatsächlich messen soll. Also ob beispielsweise ein Intelligenztest tatsächlich die kognitiven Fähigkeiten misst und nicht etwa Schulwissen oder Allgemeinbildung. Ist die Validität nicht erfüllt, ist der Test aus wissenschaftlicher Perspektive durchgefallen und damit auch für Anwendungen im eignungsdiagnostischen Kontext ungeeignet.

Nebengütekriterien

Je nach Kontext können Anwender zusätzlich erwarten, dass noch weitere Nebengütekriterien erfüllt sind. Zum Beispiel ist es für einen guten ersten Eindruck des Unternehmens wichtig, dass die Bewerber den verwendeten Eignungstest als angemessen und sinnvoll einschätzen. Wenn ein Bewerber im Test erkennt, worauf die Fragen abzielen - also den beruflichen Zusammenhang zwischen Fragen und Kompetenzen wahrnimmt - steigt die Bereitschaft, den Test wahrheitsgemäß auszufüllen. In der Testtheorie spricht man hier vom Gütekriterium der „Akzeptanz“. 

Einige (weitere) mögliche Nebengütekriterien sind: 

  • Akzeptanz
  • Fairness von Tests gegenüber Minderheitengruppen
  • Positiver Kosten-Nutzen Aufwand des Testverfahrens
  • Unverfälschbarkeit

Besonders der letzte Punkt ist unter dem Stichwort der „sozialen Erwünschtheit“ ein heiß diskutierter Aspekt in der Eignungsdiagnostik: Es ist nur verständlich, dass Personen einen Eignungstest bestmöglich ausfüllen möchten – also mit den Ergebnissen, die von ihnen erwartet werden.

Ein Test, der diese allzu menschlichen Tendenzen austrickst, erfüllt das Kriterium der Unverfälschbarkeit. Gelingen kann das zum Beispiel durch verschiedene Arten von Fragebögen mit unterschiedlichen Fragetechniken (Forced Choice, Multiple Choice, Likert-Skala). Auch gibt es die Möglichkeit, mittels spezieller Fangfragen (sogenannter „Bogus-Items“) einzuschätzen, wie genau es der Getestete mit der Wahrheit nimmt.

2. Kriterium: Der Eignungstest basiert auf statistischen Modellen

Einwand: „Zwischen den Fragen im Test und den untersuchten Merkmalen besteht kein Zusammenhang.

Ein zentrales Kriterium für einen wissenschaftlichen Test ist seine Entwicklung anhand statistischer Modelle. Nur ein Test, der auf empirischen und mit Zahlen belegbaren Erkenntnissen beruht, verdient das Prädikat „wissenschaftlich“.

Bevor ein eignungsdiagnostisches Verfahren auf den Markt gelangt, muss es dafür eine Reihe empirischer Testläufe bestehen. Anhand der Testergebnisse von Stichproben, die der späteren Zielgruppe ähneln, wird der Test entwickelt, angepasst und optimiert. Dies kann bedeuten, dass einzelne, zu schwierige Fragen aus späteren Versionen des Tests fliegen. In der Statistik spricht man dabei von der sogenannten „Itemschwierigkeit“.

Weitere Analysen können zeigen, dass eine Frage gar nicht zu dem restlichen Test passt, weil sie ganz andere Dinge abfragt als ursprünglich geplant (“Trennschärfenanalyse”). 

Die statistische Königsdisziplin bildet jedoch die sogenannte „Faktorenanalyse“. Mit diesem Verfahren erfahren Testkonstrukteure, welche Fragen tatsächlich dafür geeignet sind, um das interessierende Merkmal angemessen zu erfassen. Was zum Beispiel ein Item wie „Ich hinterlasse meinen Arbeitsplatz jeden Abend ordentlich und aufgeräumt“ mit einem Merkmal wie „Gewissenhaftigkeit“ zu tun hat, kann mit Hilfe einer Faktorenanalyse statistisch aufgezeigt werden. 

Durch eine Vielzahl von Testläufen und statistischen Analysen werden so nach und nach die ungeeigneten Items bzw. Fragen entfernt. Das Ergebnis sind Tests mit Fragen, die sich unter dem kritischen Blick der prüfenden Statistik mehrmals bewährt haben. Fragen, die auch dann beibehalten werden, wenn sich dem Laien ihr Zusammenhang mit dem Messmerkmal nicht auf den ersten Blick erschließt.

3. Kriterium: Der Eignungstest ist eindeutig und genau 

Einwand: „Jeder Mensch ist anders – ein Eignungstest kann das überhaupt nicht abbilden“

Je genauer wir unsere Mitmenschen betrachten, desto besser erkennen wir, wie unterschiedlich und einzigartig diese sind. Das Zusammenspiel von Eindeutigkeit und Genauigkeit ist es, was wissenschaftliche Tests ausmacht.

Funktionierende Wissenschaften zeichnen sich dadurch aus, dass ihre verwendeten Begriffe eindeutig definiert sind. Dies bildet die Grundlage für erfolgreiche Kommunikation und beugt Missverständnisse vor. In diesem Sinne muss auch einem wissenschaftlichen Eignungstest eine eindeutige Definition des berufsrelevanten Merkmals  – sei es Intelligenz, Kontaktfähigkeit oder Führungsstärke - vorliegen, das gemessen werden soll.

Für die Testkonstrukteure bedeutet das, eindeutig festzulegen, wie das zu messende Merkmal zu verstehen ist und in welchen Aspekten es sich von ähnlichen Merkmalen unterscheidet. Dies kann beispielsweise bei einem Test für soziale Kompetenz damit einhergehen, die verschiedenen Facetten dieser Kompetenz zu definieren und klarzumachen, wo die Unterschiede zu einem Konstrukt wie „sozialer Intelligenz“ liegen.

Multidimensionale Testverfahren zur Erhebung mehrerer Merkmale

Mit einem multidimensionalen Test wird es möglich, einen Kandidaten auf verschiedenen Dimensionen zu beurteilen. Die Erhebung mehrerer Merkmale funktioniert aber nur, wenn die Merkmale präzise voneinander abgegrenzt und definiert sind. 

Das Ergebnis ist ein mitunter sehr differenziertes Bild des Kandidaten, das sich aus seinen jeweiligen Ausprägungen auf den verschiedenen Skalen für z.B. Offenheit, Gewissenhaftigkeit und Extraversion (Big Five) zusammensetzt. Durch die unterschiedlichen Ausprägungen und deren Verhältnis zueinander entsteht eine Vielzahl möglicher Testergebnisse, die sich von Person zu Person nur selten exakt gleichen.

Das Kriterium der Eindeutigkeit schafft somit nicht nur Transparenz und Klarheit. Es bildet die Grundlage für differenzierte, genaue Kandidatenurteile. Durch diese Genauigkeit haben Tests in der Regel eine gute Chance, der Individualität eines Menschen gerecht zu werden. Ganz ohne Schubladen.

Das Testmanual: Angaben zur Wissenschaftlichkeit des Eignungstests

Das Testmanual stellt quasi die Urkunde all der genannten Kriterien des Eignungstests dar. Gemeint ist damit eine Broschüre, die alle wichtigen Angaben zur Wissenschaftlichkeit des Testverfahrens in nachvollziehbarer Form enthält.

Zum Beispiel Angaben darüber, wie das Testverfahren entstanden ist, es sich bisher empirisch bewährt hat oder korrekt in der Praxis anzuwenden ist. Wer wissenschaftlich arbeitet, hat nichts zu verbergen, sondern ist darum bemüht, diese Qualität auch transparent nach außen zu vermitteln.

Die Nicht-Existenz eines Testmanuals ist also ein recht  zuverlässiges Ausschlusskriterium für unwissenschaftliche Testverfahren. Allerdings gilt der Umkehrschluss nicht, denn ein Testmanual garantiert nicht automatisch Wissenschaftlichkeit. Hier gilt es immer im Einzelfall zu prüfen, ob und auf welche Weise die oben genannten Kriterien erfüllt sind.

An oberster Stelle steht natürlich immer die weiterführende Frage, ob das Testverfahren überhaupt für die eigenen Zwecke geeignet ist.

Die häufig verbreiteten Einwände gegenüber Testverfahren sind nicht unbegründet, allerdings nur für bestimmte Arten von Tests angebracht. Die Wissenschaftlichkeit ist hier das Merkmal, anhand dessen Sie innerhalb des Angebots fundierte Testverfahren erkennen können.

Übrigens: Auf PEATS finden Sie nur Testverfahren, die die genannten wissenschaftlichen Kriterien erfüllen. Damit Sie ein Tool finden, das nicht nur wissenschaftlich, sondern auch für Ihren spezifischen Case ideal passt, möchten wir Sie unterstützen - mit einem Toolfinder, detaillierten Testinformationen und Kontaktkanälen zu den Anbietern. Mit PEATS finden Sie ein wissenschaftliches Tool, das bestmöglich zu Ihren Herausforderungen passt und Ihnen die Personalauswahl und die Personalentwicklung vereinfacht. 

Ähnliche Artikel

Innermetrix Deutschland GmbH - YOU ARE MORE!™

Warum du tust, was du tust und wie du es tust? Holistische Erfassung des Persönlichkeitskerns für PE und FKE

21.07.17

Team-Analyse als Ursachenforschung - Ein Fallbeispiel

Team-Analyse zur Ursachenforschung bei Problemen in der Organisation

Wir leben in einer schnell agierenden und leistungsorientierten Gesellschaft, die den Bedarf an möglichst raschen Lösungen aufweist. Im unternehmerischen Kontext kann dieser Wunsch nach einer Sofortlösung zu fatalen Fehlern mit gravierenden Konsequenzen führen.

Innermetrix plädiert für eine akkurate Ursachenforschung mit passender Analyse der Konsequenzen, die sowohl individuell als auch auf der Teamebene erfolgt, um erst danach den Typ der Lösung festzulegen.

Ein Fallbeispiel zur klaren Darstellung des IMX-Ansatzes:

Neues Management findet keinen Anschluss zum Team

Ein Tochterunternehmen eines deutschen Technologie-Konzerns mit 5000 Mitarbeitern wählt ein neues Management-Team an die Spitze der größten Abteilung mit 1600 Kollegen. Die neue Abteilungsleiterin und ihr Stellvertreter kommen von einer Bank, der dritte Manager von einem amerikanischen multinationalen Unternehmen. Die anderen beiden Mitglieder des Management-Teams sind schon seit Jahren angestellt. Den fünf Managern untersteht eine mittlere Führungsebene mit 40 Führungskräften.

Ein halbes Jahr nach dem Führungskräftewechsel registriert man beim Mittelmanagement des Unternehmens eine Abwanderungsrate von 25%, diese Ziffer steigt in den kommenden Monaten um weitere 15% an. Die Lage ist dramatisch. Das Management – Team holt sich verschiedene Beratungsunternehmen und Coaches zu Hilfe, jedoch ohne Erfolg: die hohen Kündigungszahlen bleiben und gefährden mittlerweile die tägliche Operation.

Als die Unternehmensspitze INNERMETRIX engagiert, ist das Management-Team bezüglich der Ursachen für das Desaster komplett ratlos und sich dennoch ziemlich sicher:
   Ihre Management-Vorgänger haben das mittlere Führungskräfte-Team völlig falsch besetzt und selbst offensichtlich nicht über die notwendigen Talente und Führungsskills, wie Zeitmanagement, richtiges Delegieren von Aufgaben etc. verfügt.

Nach der INNERMETRIX-Analyse boten wir die INNERMETRIX Management Screening Lösung an:

Im Rahmen dieses Prozesses füllten alle Führungskräfte das IMX-Leistungspotenzial-Profil aus.

Vorteil dieser Analyse ist, dass die Messung schnell und sehr tiefgehend, präzise und holistisch erfolgt. Die ermittelten Werte geben uns Aufschluss über Verhaltenspräferenzen, Werteeinstellungen und Talente des Individuums. Die zusammengeführten Einzelwerte ergeben die Teamwerte, die sowohl das Gesamtpotenzial der Teamleistung als auch die Ursachen der vorhandenen Probleme gleichzeitig aufdecken können.

Folgende Ursachen konnten wir kurz zusammengefasst identifizieren:
 Das Problem lag in der unterschiedlichen Kommunikation und den unterschiedlichen Werteeinstellungen der beiden Führungsebenen.

- Das fünfköpfige Management-Team hatte sich im adaptiven Verhalten in der sogenannten interaktiven Dimension stark verändert. In ihrem natürlichen Verhaltensstil wiesen sie eine sehr offene und kommunikative Verhaltensweise auf, adaptiv verhielten sie sich aber genau gegenteilig. Ihre unbewusste Wirkung auf die neuen Kollegen war eher reserviert, verschlossen, teilweise wirkten sie sogar arrogant.

- Der Führungsstil, den sie aus den anderen Unternehmenskulturen mitbrachten, passte überhaupt nicht zu der Werteeinstellung der Kollegen. Die zweite Führungsebene war mehrheitlich individualistisch eingestellt, schwer zu managen und eher nach Autonomie und Freiheit strebend. Die Mitarbeiter waren es gewohnt, selbständig arbeiten zu dürfen. Die neuen Manager demotivierten sie mit der ständigen Forderung nach Kontroll – und Berichtsprotokollen.

- Die Mehrheit des Führungsteams verfügte über einen sehr niedrigen "politischen" Antrieb. Die Macht, der Einfluss und die Kontrolle, die mit der Führungsposition verbunden waren, wirkten eher kontraproduktiv auf ihre Motivation.

Wir von INNERMETRIX konnten zudem klar nachweisen, dass die Talente der Mitarbeiter absolut zu deren Jobs passten und somit nicht das Team, sondern die Führungsart die Ursache für die gehäuften Kündigungen war.

Aufgrund der (Selbst)-Erkenntnisse und der akkurat ausgeführten Detailanalyse, der Zusammenhänge und deren Konsequenzen konnten wir am Ende unseres Beratungsprozesses eine gemeinsame Entscheidung mit dem Management-Team über erfolgreiche Lösungswege treffen.

Wir sind stolz darauf, dass die Fluktuationsrate des Unternehmens nach einem halben Jahr auf 5% reduziert werden konnte und sich das Engagement des Teams um 24% nach Hewitt verbesserte.

Maximilian Malchiner

Bild: LukaTDB @iStock.com

Team
Führungskräfte
INNERMETRIX
IMX-Leistungspotenzial-Profil
Ähnliche Artikel

Dr. Rolf Meier

• Wissenschaftlich erfolgreich zertifizierte systemische Coachausbildung • Personalanalysen "Werte" und "Begabungen"

15.06.17

Begabungen, Talente und Intelligenzen - die Interessen eines Menschen

Die Diagnoseidee von Talenten, Begabungen und Intelligenzen - nach Prof. Howard Gardner

Talente, Begabungen und Intelligenzen, die von Prof. Howard Gardner im Rahmen seiner Forschungen als multiple Intelligenzen definiert worden sind, stehen im Mittelpunkt der auf dieser Seite angebotenen kostenpflichtigen Analyse. Gardner versteht Intelligenzen als qualitatives Potenzial in einem Menschen und nicht als quantitativ messbare Größe. Denken Sie deshalb nicht in traditionellen Kategorien von Intelligenz - sondern auch in Begabungen und in Talenten.

Howard Gardner nutzt den Begriff „Intelligenzen“. Wie ist er zu verstehen? Was steckt in dem Begriff „Intelligenzen“?

Intelligenzen können in drei Verständnisse unterteilt werden, die alle zusammen „Intelligenzen“ erklären oder sichtbar machen:


  • Intelligenz ist eine individuelle, ererbte und gelernte strukturelle, neuronale Ressource, die in einem Kontext die Qualität kognitiver, emotionaler oder psychomotorischer Entscheidungen initiiert und/oder beeinflusst.
  • Begabung ist eine themenspezifische, individuelle Ressource, die sich in einem konkreten fachlichen Handlungskontext als vorteilhaft unterscheiden lässt.Talent zeigt sich in der reflexiven Fähigkeit in komplexen thematischen Kontexten fachlich und sozial erfolgreich zu agieren.
  • Intelligenzen können in drei Verständnisse unterteilt werden, die alle zusammen „Intelligenzen“ erklären oder sichtbar machen:
  • Intelligenz ist eine individuelle, ererbte und gelernte strukturelle, neuronale Ressource, die in einem Kontext die Qualität kognitiver, emotionaler oder psychomotorischer Entscheidungen initiiert und/oder beeinflusst.
  • Begabung ist eine themenspezifische, individuelle Ressource, die sich in einem konkreten fachlichen Handlungskontext als vorteilhaft unterscheiden lässt.
  • Talent zeigt sich in der reflexiven Fähigkeit in komplexen thematischen Kontexten fachlich und sozial erfolgreich zu agieren.

Die acht Intelligenzen sind:


  • Sprachliche Intelligenz
  • Musikalische Intelligenz
  • Logisch-mathematische Intelligenz
  • Räumliche Intelligenz
  • Körperlich-kinästhetische Intelligenz
  • Intrapersonale Intelligenz
  • Interpersonale Intelligenz
  • Naturalische Intelligenz

Es handelt sich um eine Selbstdiagnose. Menschen offenbaren ihre Freude und Lust an abstrakt-fachlichen Inhalten. Im Verständnis von Selbstwirksamkeit, Selbstvertrauen und Resilienz bekundet der Menschen sein Selbstvertrauen in seine Ressourcen.

Angebot für Peronalreferenten, Personalentwickler, Personalberater, Trainer und Coaches:

Falls Sie diese Diagnose Interessiert und Sie beabsichtigen, dieses Tool in Ihrem Arbeitsbereich einzusetzen, richte ich Ihnen gerne einen kostenlosen Zugang zum Testen und Kennenlernen ein. Bitte nehmen Sie Kontakt mit mir auf. Danke.

www.talente-begabungen.de  

Bild: portra @iStock.com

Intelligenz
Talent
Begabung
Interesse
Howard Gardner