Zwei Mitglieder des Trägerkonsortiums am Standort Frankfurt am Main (DIPF) überprüfen unabhängig voneinander die von den Verbünden eingesetzten diagnostischen Verfahren (Tools) darauf, ob sie wissenschaftlichen Minimalstandards genügen. Tools, für die unterschiedliche Bewertungen resultieren, werden in Redaktionssitzungen des mehrköpfigen Tool-Redaktionsteams abschließend diskutiert. Die Festlegung der Minimalstandards orientierte sich an Fisseni (2004) sowie Neugebauer und Becker-Mrotzek (2013). Minimalstandards bedeutet, dass die Gütekriterien der Reliabilität, Objektivität, Normierung/Interpretationseindeutigkeit und Validität wenigstens ausreichend erfüllt sein müssen. Dies heißt im Einzelnen:
Reliabilität: Ausreichend ist die Angabe der internen Konsistenz (optimal: Retestreliabilität) im Manual. Bei Individualdiagnostik sollte ein Wert von .70 nicht unterschritten sein. Bei eindimensionalen Verfahren sollte der Wert i.d.R. höher liegen (>.80), mehrdimensionale Verfahren können teilweise in Einzelskalen schlechtere Werte aufweisen als .70. Werden verschiedene Werte aufgeführt und einige entsprechen dem o.g. Wert, andere nicht, wird dies als Anmerkung bei dem Verfahren notiert.
Objektivität: Ausreichende Durchführungsobjektivität ist gegeben, wenn es im Manual eindeutige Durchführungshinweise/Instruktionen gibt. Ausreichende Auswertungsobjektivität ist gegeben, wenn eine eindeutige Zuordnung möglich ist, wie eine Antwort zu bewerten ist (Schablonen, Beispiele); Beachtet wird auch, ob die Inter-Rater-Reliabilität berechnet wurde und wenn ja, wie: Sind dabei die Beobachter trainiert worden, ist dies kein Maß für Objektivität. Eine Angabe der Inter-Rater-Reliabilität ist jedoch nicht zwingend für eine Beurteilung als „ausreichend“.
Normierung/Interpretationseindeutigkeit: Bis zum Alter von acht Jahren sollten mindestens Halbjahresnormen vorliegen, ab der 3.Klasse Ganzjahresnormen (falls im Manual nicht stichhaltig begründet wird, warum dieser Altersabstand nicht eingehalten wurde). Die Stichprobengröße sollte N = 120 je Normierungsgruppe nicht unterschreiten. Die Interpretationseindeutigkeit ist i.d.R. durch eine Normierung gegeben. Eine fehlende Normierung kann nur kompensiert werden, wenn die Interpretation von Ergebnissen genau beschrieben wird (z.B. Eintragen von Werten in Auswertungsprofile und Angabe, was welches Profil bedeutet). Das Alter der Normen (die Aktualität) wurde nicht berücksichtigt.
Validität: Es muss genau angegeben sein, welche inhaltlichen Bereiche das Tool erfasst und ob/wodurch dies belegt ist, dabei müssen mindestens Angaben zur Konstruktvalidität vorliegen (theoretische Einbettung des Verfahrens, Nennung von Quellen). Außerdem sollte eine empirische Absicherung gegeben sein, d.h. für das Tool sollte überprüft worden sein, ob es Zusammenhänge zu externen Kriterien des gleichen Inhaltsbereiches gibt (konvergente Validität). Bei konvergenter Validität sollte ein Wert von .50 nicht unterschritten werden und auch für genau den Bereich gegeben sein, den das Tool erfasst (ist das Verfahren/Kriterium, mit dem korreliert wurde, inhaltlich übereinstimmend mit dem geprüften Tool? Beispielsweise ein anderes Testverfahren aus diesem Bereich, Expertenrating zu dem erfassten Bereich).
Fisseni, H.-J. (2004). Lehrbuch der psychologischen Diagnostik (3 Aufl.). Göttingen: Hogrefe
Neugebauer, U. & Becker-Mrotzek, M. (2013). Die Qualität von Sprachstandsverfahren im Elementarbereich. Eine Analyse und Bewertung. Herausgegeben vom Mercator-Institut für Sprachförderung und Deutsch als Zweitsprache. Verfügbar unter https://www.mercator-institut-sprachfoerderung.de/fileadmin/Redaktion/PDF/Publikationen/Mercator-Institut_Qualitaet_Sprachstandsverfahren_Web_03.pdf.
