Navigieren auf Schulinfo Zug

Inhaltsnavigation auf dieser Seite

Navigation
  • Fokus
  • Kompetenzen — Messen als Risiko oder Chance?
09.01.2018

Kompetenzen — Messen als Risiko oder Chance?

Welchen Einfluss habe ich auf den Lernfortschritt meiner Schülerinnen und Schüler? Ist meine Beurteilung vergleichbar mit der Beurteilung meiner Kolleginnen und Kollegen andernorts? Lehrpersonen ...
Bild Legende:

Welchen Einfluss habe ich auf den Lernfortschritt meiner Schülerinnen und Schüler? Ist meine Beurteilung vergleichbar mit der Beurteilung meiner Kolleginnen und Kollegen andernorts? Lehrpersonen aller Stufen haben ein professionelles Interesse an solchen Fragen. Sind Vergleichsmessungen geeignet, Antworten darauf zu finden? Oder gerade nicht? Urs Moser* nimmt zu 10 Thesen Stellung.

Von Lukas Fürrer

Lehrpersonen sind an ihrer Wirkung und an ihrem Einfluss auf den Lernfortschritt der Schülerinnen und Schüler interessiert. Und Lehrpersonen müssen der Vergleichbarkeit von Anspruchsniveau, Lernfortschritt und Beurteilung vertrauen können. Im Kanton Zug mit seinen prüfungsfreien Übertritten ist diese Vergleichbarkeit gar noch wichtiger als in Kantonen mit Übertrittsprüfungen.

Risiko oder Chance?
Können Vergleichsmessungen dazu einen Beitrag leisten oder nicht? Anders gefragt: Führen Vergleichsmessungen unweigerlich zu nutzloser Betriebsamkeit oder sind sie ein wertvolles Analyseinstrument für den schulischen Alltag? Um den Chancen und Risiken von Vergleichsmessungen auf die Spur zu kommen, habe ich Urs Moser* um Stellungnahme zu 10 Thesen gebeten. Urs Moser ist nicht unbefangen, weil er nicht nur zu solchen Tests forscht, sondern auch Tests entwickelt und anbietet. In den Kantonen BS, BL, AG und SO führt sein Institut die sogenannten Checks durch. Urs Moser ist aber auch Wissenschaftler an der Universität Zürich, bestens vertraut mit dem Gegenstand und der steten wissenschaftlichen Wahrheitssuche im Popperschen Sinn verpflichtet.

 

These 1: Was wirklich zählt, kann nicht gemessen werden.

Urs Moser: Die standardisierte Leistungsmessung wird immer wieder mit dem Vorwurf konfrontiert, sie orientiere sich am einfach Messbaren. Dass dieser Eindruck entstehen mag, ist aufgrund der aktuellen Instrumente zur Standortbestimmung verständlich. Im Fokus stehen die Leistungen in den Sprachen und in der Mathematik, gleich wie bei vielen Prüfungen, die „zählen" und zu Selektionszwecken eingesetzt werden.

Im Grunde genommen kann sehr viel von dem gemessen werden, was auch noch zählt, beispielsweise Präsentationskompetenzen oder Projekte erfolgreich planen und abwickeln. Der Aufwand für eine standardisierte Messung dieser Kompetenzen ist allerdings hoch, sowohl, was die Organisation der Durchführung in den Schulen betrifft, als auch, was die Kosten anbelangt.

Dass sehr wohl gemessen werden kann, was zählt, beweisen auch die in der Schweiz beliebten internationalen Diplome und Zertifikate. Schülerinnen und Schüler, die beispielsweise an einem Gymnasium das International Baccalaureate erwerben, schliessen diesen Bildungsgang mit einer Prüfung ab, die extern entwickelt, korrigiert und bewertet wird. Die internationale Vergleichbarkeit des Diploms liesse sich ohne Standardisierung nicht sicherstellen. Geht es bei der Beurteilung um Fairness und Vergleichbarkeit, dann führt kaum ein Weg an der standardisierten Leistungsmessung vorbei.

Im pädagogischen Alltag ist Leistung ohne Zweifel mehr als das, was gemessen wird und gemessen werden kann. Dass auch nicht oder nur schlecht messbare Leistungen von Bedeutung sind, versteht sich von selbst. Auf die Messung des Messbaren zu verzichten, nur weil sich nie sämtliche Facetten von Bildung messen lassen, wäre aber pädagogisch nicht klug. Oder gibt es einen Grund, weshalb auf eine schul- und klassenunabhängige Beurteilung ausgewählter Leistungen im Interesse von Schülerinnen und Schülern, Eltern, Lehrpersonen und Schulen verzichtet werden soll?

These 2: Die Leistungen der Schülerinnen und Schüler werden durch Vergleichsmessungen nicht besser.

U. M.: Leistungen werden nicht durch Vergleichsmessungen besser, sondern durch Unterricht und Lernen. Inwiefern Vergleichsmessungen eine Bedeutung für den Unterricht und das Lernen haben, hängt vom Zweck ab, der mit ihnen verfolgt wird: Geht es um eine unabhängige Beurteilung der Kompetenzen, um Rechenschaftslegung, um die Unterstützung des formativen Vorgehens im Unterricht (Lernen sichtbar machen), um Selektionsentscheidungen und Berechtigungen, um Schul- und Unterrichtsentwicklung?

Zentrale Abschlussprüfungen beispielsweise haben einen positiven Effekt auf die Leistungen1. Auch für die formative Nutzung von Testergebnissen zur Optimierung des Lehr-Lern-Prozesses konnten im Bereich grundlegender Fertigkeiten wie Lesen oder Rechnen substanzielle Effekte nachgewiesen werden2. Feedback in jeglicher Form, auch aus Vergleichsmessungen, erweist sich als eines der wirksamsten Merkmale eines erfolgreichen Lehr-Lern-Prozesses3. Selbstverständlich finden sich auch Studien, die unerwünschte Nebenwirkungen der Vergleichsmessung ans Licht bringen. Diese Studien stammen jedoch mehrheitlich aus den USA, wo in einzelnen Staaten die Leistungstests mit drastischen Sanktionen für Schulen verbunden sind4.

These 3: Mit Vergleichsmessungen können die individuellen Lernfortschritte nicht gemessen werden.

U. M.: Auch dieser Eindruck ist verständlich, weil Vergleichsmessungen häufig als einmalige Standortbestimmung und selten als Teil eines formativen Vorgehens im Unterricht konzipiert werden. Die Verbindung von Computer und moderner Testtheorie macht es aber möglich, dass Lernfortschritte auf einfache Art und Weise im Unterricht gemessen werden können. Dazu braucht es nicht zwingend Tests, sondern mit Vorteil eine Aufgabensammlung (Itembank), auf die Lehrpersonen, wann immer sie wollen, zugreifen können.

Die Idee dahinter beruht auf folgender Annahme: Eine Kompetenz kann durch ein Aufgabenuniversum illustriert werden. Wenn alle Aufgaben des Universums die Kompetenz von ganz einfach bis sehr anspruchsvoll abbilden, dann lässt sich anhand der Aufgaben der Lernfortschritt ausweisen. Diese Annahme lässt sich mit einem mathematischen Modell überprüfen.

Damit der Lernfortschritt mit Aufgaben zuverlässig ausgewiesen werden kann, wird eine stochastische Beziehung zwischen dem Antwortverhalten eines Schülers, seiner Fähigkeit und der Aufgabenschwierigkeit angenommen und berechnet. Mit anderen Worten ergibt sich die Wahrscheinlichkeit der richtigen Lösung einer Aufgabe als Funktion der Aufgabenschwierigkeit und der Fähigkeit des Schülers. Das bedeutet: Je grösser die Fähigkeit ist, desto wahrscheinlicher ist es, dass ein Schüler eine bestimmte Aufgabe richtig löst. Und je schwieriger die Aufgabe ist, desto unwahrscheinlicher ist es, dass ein Schüler mit einer bestimmten Fähigkeit die Aufgabe richtig löst5.

Wenn Lehrpersonen im Unterricht Aufgaben einer Aufgabensammlung nutzen, deren Schwierigkeit bekannt ist (kalibrierte Aufgaben), lässt sich aus den Schülerantworten und der Aufgabenschwierigkeit die Fähigkeit des Schülers berechnen. Es gibt meines Wissens kein besseres Konzept, um den Lernfortschritt zu verfolgen und zugleich anhand von Aufgaben inhaltlich zu beschreiben.

Es braucht also keine vorgefertigten Standortbestimmungen, die messen, was ein Schüler kann, was er gelernt hat oder was als Nächstes drankommt. Eine kalibrierte und intelligente Aufgabensammlung erfüllt den Anspruch des kompetenzorientierten Lernens im Unterricht vollständig: Das ist Lernen, das sich nach dem Aufbau des Wissens und Könnens richtet und das mit einem geschärften Blick auf Lernergebnisse und Lernfortschritte verbunden ist6.

These 4: Den Qualitätsunterschieden von Schulzimmer zu Schulzimmer im gleichen Schulhaus kommt man mit Vergleichsmessungen nicht auf die Spur.

U. M.: Das Aufdecken und Erklären von Qualitätsunterschieden innerhalb einer Schule gehört zu einem professionellen Qualitätsmanagement. Vergleichsmessungen können diesen Prozess erheblich bereichern, weil sie zu einem Blick von aussen und in der Regel zu multiplen Vergleichsmöglichkeiten führen7. Der Vergleich von Schüler- oder Klassenleistungen bewirkt allerdings keinen Entwicklungsprozess. Erst durch die Analyse der Ergebnisse und die Suche nach den Ursachen kann ein Lernprozess ausgelöst werden. Die Verbindung von Messen, Beurteilen und Reflektieren bildet eine unabdingbare Voraussetzung, um den Qualitätsunterschieden auf die Spur zu kommen.

Damit Vergleichsmessungen als Teil des Qualitätsmanagements fruchtbar gemacht werden können, müssen die Ursachen der Ergebnisse gemeinsam erforscht werden. Dies setzt ein Vertrauensverhältnis zwischen Schulleitung und Lehrpersonen voraus, ein gemeinsames Verständnis über Umgang und Interpretation von Ergebnissen – sogenannte Assessment Literacy – sowie die Bereitschaft, pädagogische Interventionen und Fördermassnahmen zu begründen, zu planen, umzusetzen und deren Wirkung im Rahmen eines formativen Prozesses zu überprüfen8.

These 5: Ranglisten sind so sicher wie das Amen in der Kirche.

U. M.: Diese Befürchtung wird vor allem von den Lehrerverbänden regelmässig geäussert. Der Grund liegt darin, dass Ranglisten in der Öffentlichkeit generell auf grosses Interesse stossen und zunehmend zur Beeinflussung unseres Handelns eingesetzt werden. Schulrankings sind allerdings verpönt, auch in der Politik und in der Wissenschaft. Das einzige mir bekannte Ranking wurde vor knapp zehn Jahren von der ETH publiziert. Veröffentlicht wurde ein Ranking von Schweizer Gymnasien, das aufgrund von durchschnittlichen Zwischenprüfungsergebnissen nach dem ersten Studienjahr erstellt worden war9. Nun herrscht wieder Funkstille.

Ein Ranking von Schweizer Schulen auf der Grundlage von Testdaten hat es bisher nicht gegeben, und ich wage zu behaupten, dass es ein solches nie geben wird. Erstens hat sich die Politik schon mehrfach gegen Schulrankings ausgesprochen10. Zweitens macht der Vergleich von Schulen keinen Sinn, weil Vergleichsmessungen jeweils nur in einer Klassenstufe durchgeführt werden. Drittens sind Schulen sehr unterschiedlich zusammengesetzt; aufgrund der Segregation der Schülerpopulation nach bildungsrelevanten Merkmalen wie der sozialen Herkunft lassen sich Schulen nicht ohne weiteres anhand von Schulmittelwerten aus Vergleichsmessungen beurteilen.

These 6: Bestehende Öffentlichkeitsgesetze lassen keinen wirksamen Schutz der Ergebnisse zu.

U. M.: Vergleichsmessungen führen zu einer Beurteilung des Lernstands und des Lernfortschritts. Sie sind Teil einer umfassenden Beurteilung. Solche Informationen gehören ohne Zweifel zu besonders schützenswerten Personendaten. Das Öffentlichkeitsgesetz ist nur ein Instrument, das den uneingeschränkten Schutz belasten könnte. Ebenso gilt es zu berücksichtigen, dass heutzutage Ergebnisse aus Vergleichsmessungen meist in der Cloud aufbewahrt werden.

Daher braucht es erstens gesetzliche Massnahmen, die den Umgang mit Ergebnissen aus Vergleichsmessungen regeln; zweitens technische IT-Sicherheitsmassnahmen (Passwort, Verschlüsselung), die verhindern, dass die Ergebnisse in unbefugte Hände gelangen können, und drittens organisatorische Massnahmen zum Umgang mit Ergebnissen (Instruktion aller Beteiligter, Information und Dokumentation). Der korrekte Umgang mit den Ergebnissen und der Schutz der Beteiligten hat oberste Priorität.

These 7: «Teaching to the Test» lässt sich nicht verhindern.

U. M.: „Teaching to the Test" ist eine schulimmanente Praxis, die im Laufe der Schulzeit zunimmt. Lehrpersonen prüfen jenes Wissen und Können, das sie im Unterricht vermitteln. Damit informieren sie die Schülerinnen und Schüler über den Lernerfolg und verschaffen sich selbst einen Überblick, wie gut die Ziele erreicht wurden. Feedback war schon immer ein zentraler Bestandteil des Lehr-Lern-Prozesses. Die Quelle des Feedbacks hingegen ist sekundär. Unterrichtsbezogene Prüfungen, Beobachtungen, Selbsteinschätzung des Leistungsstandes, externe Leistungstests: Alles ist wichtig und hat seine Berechtigung.

Solange Tests im Sinne des Support-Ansatzes11 zur Förderung und Unterrichtsentwicklung eingesetzt werden, besteht kaum die Gefahr, dass Lehrpersonen den Unterricht auf Tests ausrichten und nicht getestete Inhalte vernachlässigen. Die Testvorbereitung würde den pädagogischen Wert einer klassenunabhängigen Beurteilung unterlaufen. Vergleichsmessungen zeigen, wie gut die Schülerinnen und Schüler das Wissen und Können in variablen Situation erfolgreich nutzen können und führen zu einer Beurteilung der Fähigkeiten und Fertigkeiten, die nicht von der Lehrperson und nicht von den Mitschülerinnen und Mitschülern abhängt.

Anders muss die Situation beurteilt werden, wenn Vergleichsmessungen im Sinne des Pressure-Ansatzes12 mit einem Selektionsentscheid verbunden sind. Es ist selbstverständlich, dass Lehrpersonen dann den Unterricht auf den Test ausrichten und die Schülerinnen und Schüler optimal vorbereiten. „Teaching to the Test" im Unterricht schadet dem Geschäft privater Anbieter für Prüfungsvorbereitung und vermindert die Zunahme von sozialen Ungleichheiten. Aus diesem Grund forderte die bekannte amerikanische Psychologin Lauren Resnick bereits vor 30 Jahren, dass Tests entwickelt werden müssen, auf die es sich zu üben lohnt ("tests worth teaching to")13.

These 8: Vergleichsmessungen machen die Erhebung zahlreicher persönlicher Daten notwendig.

U. M.: Das hängt wiederum davon ab, wozu die Vergleichsmessungen eingesetzt werden. Persönliche Daten sind beispielsweise dann notwendig, wenn Leistungstests im Rahmen von Forschungsprojekten eingesetzt werden. Fragen zur Bildungsgerechtigkeit oder zur Chancengleichheit lassen sich ohne Angaben zur sozialen Herkunft nicht beantworten.

Auch Vergleichsmessungen, die zu einer Rückmeldung des Leistungsstandes der Klasse führen, profitieren von der Berücksichtigung persönlicher Daten bei der Auswertung. Aufgrund der grossen Bedeutung der sozialen Zusammensetzung für den Lernerfolg ist es erstens wichtig zu wissen, welche Kompetenzen wie gut erreicht werden, zweitens, wie gross die Leistungsheterogenität in der Klasse ist und drittens, wo die Klasse im Vergleich zu Klassen mit ähnlicher sozialer Zusammensetzung steht. Aus diesem Grund werden heutzutage finanzielle Mittel mit Bezug zur gesellschaftlichen Belastung beziehungsweise entsprechend eines Sozialindexes gesprochen.

These 9: Es fehlen Mittel und Know-how, um mit den Testergebnissen etwas Sinnvolles anzufangen.

U. M.: Dieser These kann ich aufgrund meiner persönlichen Erfahrungen nur zustimmen. Die pädagogisch sinnvolle Nutzung von Testergebnissen setzt ein spezifisches Know-how voraus. Dieses Know-how kann nicht einfach vorausgesetzt werden, weshalb adäquates Informationsmaterial und Weiterbildungsangebote für den Erfolg von Vergleichsmessungen entscheidend sind. Ein Test kann noch so gut sein, was in der Fachsprache mit Validität ausgedrückt wird. Wenn Schulleitungen oder Lehrpersonen nicht wissen, wie die Ergebnisse angemessen interpretiert und genutzt werden, nützt die Qualität des Tests wenig. Ob ein Test gut ist, kann streng genommen nur über die Plausibilität des Zusammenhangs zwischen Testergebnis und Zweck des Tests beurteilt werden14.

These 10: Aufwand und Ertrag stimmen bei Vergleichsmessungen nicht überein.

U. M.: Der Aufwand ist beim ersten Mal gross, weil alles neu ist: Wie führe ich die Tests durch? Wie interpretiere ich die Ergebnisse? Wie nutze ich die Ergebnisse? Da kann schnell einmal der Eindruck entstehen, dass Aufwand und Ertrag in einem ungünstigen Verhältnis stehen. Mit zunehmender Nutzung sinkt aber der Aufwand und der Mehrwert wird grösser, weil Ergebnisse über die Zeit hinweg verglichen und interpretiert werden können. Lernfortschritte werden sichtbar.

Die Beurteilung von Aufwand und Ertrag hängt wiederum vom Zweck und vor allem vom Umgang mit den Ergebnissen ab. Werden Vergleichsmessung für die Unterstützung professionellen Handelns im Unterricht eingesetzt, dann ermöglicht dies den Lehrpersonen eine faire Beurteilung und eine datengestützte Planung des Lehr-Lern-Prozesses. Die Nutzung eines unabhängigen Feedbacks über den Lernstand der eigenen Klasse gehört zum professionellen Handeln einer Lehrperson, die auf Stärken und Schwächen ihrer Schülerinnen und Schüler eingeht.

Die Auseinandersetzung mit dem Leistungsstand der Schülerinnen und Schüler gehört aber auch zum Qualitätsmanagement von Schulen. Vergleichsmessungen liefern relevante und wissenschaftlich abgesicherte Informationen für die Schul- und Unterrichtsentwicklung und ermöglichen Transparenz über den Umgang mit sozialen Ungleichheiten. Sie sind eine unerlässliche Ergänzung der schul- und klassenbezogenen Beurteilung im Interesse von Schülerinnen und Schülern, Eltern, Lehrpersonen und Schulen. Da ist der Aufwand kaum zu gross.

Literatur

  1. Wössmann, L. (2006). Bildungspolitische Lehren aus den internationalen Schülertests: Wettbewerb, Autonomie und externe Leistungsüberprüfung. Perspektiven der Wirtschaftspolitik 7, 417–444.

    Maier, U. (2010). Effekte von testbasiertem Rechenschaftsdruck auf Schülerleistungen: Ein Literaturüberblick zu quasi-experimentellen Ländervergleichsstudien. Journal for Educational Research Online, 2, S. 125–152.
  2. Maier, U. (2014). Computergestützte, formative Leistungsdiagnostik in Primar- und Sekundarschulen. Ein Forschungsüberblick zu Entwicklung, Implementation und Effekten. Unterrichtswissenschaften, 42, 69–86.
  3. Hattie, J. & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), S. 81–112.
  4. Carnoy, M. (2005). Have State Accountability and High-Stakes Tests Influenced Student Progression Rates in High School? Educational Measurement: Issues and Practice 24 (2005), H. 4, S. 19–31.
  5. Strobl, C. (2012). Das Rasch-Modell. Eine verständliche Einführung für Studium und Praxis. München: Rainer Hampp Verlag.
  6. Oelkers, J. & Reusser, K. (2008). Qualität entwickeln – Standards sichern – mit Differenz umgehen. Expertise zur Implementation nationaler Bildungsstandards. Berlin: Bundesministerium für Bildung und Forschung.
  7. Mc Elvany, N. & Rjosk, C. (2013). Wann kann Kompetenzdiagnostik negative Auswirkungen haben? Zeitschrift für Erziehungswissenschaft, 16, 65–70.
  8. Mc Elvany, N. & Rjosk, C. (2013). Wann kann Kompetenzdiagnostik negative Auswirkungen haben? Zeitschrift für Erziehungswissenschaft, 16, 65–70.
  9. Maturanoten und Studienerfolg. Eine Analyse des Zusammenhangs zwischen Maturanoten und der Basisprüfung an der ETH Zürich. Dezember 2008.
  10. EDK (2016). Faktenblatt. Generalsekretariat EDK vom 4.7.2016. Nationale Bildungsziele für die obligatorische Schule: in vier Fächern zu erreichende Grundkompetenzen.

    In den vier Kantonen des Bildungsraums Nordwestschweiz beispielsweise, die regelmässig flächendeckende Vergleichstests durchführen, wurden gesetzliche Massnahmen getroffen, die ein Ranking verbieten.
  11. Thiel, F., Cortina, K. S. & Pant, H. A. (2014). Steuerung im Bildungssystem im internationalen Vergleich. In R. Fatke & J. Oelkers (Hrsg.), Das Selbstverständnis der Erziehungswissenschaft: Geschichte und Gegenwart (Zeitschrift für Pädagogik, Beiheft 60) (S. 123–138). Weinheim: Beltz.
  12. Thiel, F., Cortina, K. S. & Pant, H. A. (2014). Steuerung im Bildungssystem im internationalen Vergleich. In R. Fatke & J. Oelkers (Hrsg.), Das Selbstverständnis der Erziehungswissenschaft: Geschichte und Gegenwart (Zeitschrift für Pädagogik, Beiheft 60) (S. 123–138). Weinheim: Beltz.
  13. Resnick, L. B. (1987), Education and Learning to think. Washington, D.C.: National Academic Press.
  14. Moser, U. (2009). Test. In S. Andresen, R. Casale, T. Gabriel, R. Horlacher, S. Larcher Klee & J. Oelkers (Hrsg.). Handwörterbuch Erziehungswissenschaften (S. 866–880). Weinheim und Basel: Beltz.
* Zur Person
Urs Moser ist Geschäftsleiter des Instituts für Bildungsevaluation, Assoziiertes Institut der Universität Zürich, sowie Titularprofessor für das Gebiet Pädagogik mit Schwerpunkt empirische Bildungsforschung. Seine Forschungsschwerpunkte umfassen Evaluationsforschung im Bildungsbereich, Methoden der Leistungsmessung, Schuleffektivitätsforschung und Schnittstellen des Bildungssystems.

Kontakt
Prof. Dr. Urs Moser
Titularprofessor
Institut für Bildungsevaluation
Assoziiertes Institut der Universität Zürich
Wilfriedstrasse 15
8032 Zürich


Tel. +41 (0)43 268 39 61
Fax +41 (0)43 268 39 67
Urs.Moser[at]ibe.uzh.ch
www.ibe.uzh.ch

 

 

Weitere Informationen

hidden placeholder

behoerden

Fusszeile