Neue Events bitte unter https://conference3.aau.at/ anlegen.
4 September 2022 to 7 September 2024
Klagenfurt
Europe/Vienna timezone

Effekte des Antwortformats auf die Ergebnisse von Leistungs- und Eignungserhebungen: Multilevel Random Effects Meta-Analysen

6 Sep 2022, 10:00
20m
HS 3

HS 3

Vortrag Methoden & Evaluation RG Methoden und Metriken

Speaker

Natalie Badstuber

Description

Leistungs- und Eignungstests werden zu immer wichtigeren Entscheidungsgrundlagen im Bildungs- und Berufsbereich. Bei Leistungstests im Multiple-Choice Format zeigen sich häufig systematische Gruppenunterschiede zwischen Testpersonen, weshalb dieses Antwortformat im Hinblick auf Validitäts- und Fairnessbedenken diskutiert wird. In mehreren Multilevel Random Effects Meta-Analysen wurden daher Daten aus 110 Primärstudien mit 382 Effektstärken zum Vergleich von offenen und geschlossenen Antwortformaten gepoolt und analysiert. Es stellten sich mittlere bis hohe Zusammenhänge zwischen den Leistungen in beiden Formaten heraus, in geschlossenen Formaten wurden durchschnittlich mehr Aufgaben richtig gelöst. Geschlechtsunterschiede zeigten sich je nachdem, welches Antwortformat verwendet wurde: Männer erreichten in geschlossenem Format höhere Scores als Frauen. Als weitere relevante Moderatoren erwiesen sich unter anderem die Leistungsmotivation der Testpersonen, die Stammäquivalenz der Items und die persönliche Relevanz der Testsituation. Die Ergebnisse werden im Hinblick auf Implikationen für die Praxis und Forschung der Leistungsdiagnostik diskutiert.

Primary author

Sonja Breuer (Paris Lodron Universität Salzburg)

Co-authors

Thomas Scherndl (Paris Lodron Universität Salzburg) Tuulia M. Ortner (Paris Lodron Universität Salzburg)

Presentation Materials

There are no materials yet.