Evaluitis: Hochschulranking

Mein letzter Artikel sollte zeigen, wie schwer es ist, aus einer Statistik, die mehrere Institutionen betrifft und die in mehrere Bewertungskategorien zerfällt, eine stichhaltige Rangordnung der Institutionen zu gewinnen. Wenn das schon bei untadeligen statistischen Grundlagen wie der Kriminalstatistik gilt, wie viel ungewisser ist dann ein Ranking, wenn auch noch die Datenbasis wackelig ist.

Ein Beispiel für alltäglichen Statistikplunder ist das Hochschulranking, das vom Centrum für Hochschulentwicklung (CHE) der Bertelsmann-Stiftung in gewissen Abständen durchgeführt wird und das auflagenwirksam in den Zeitschriften des Bertelsmann-Verlags referiert wird.

Ich berichte. Wir hatten vor nicht zu langer Zeit den Fachbereich Elektrotechnik an der Fachhochschule Fulda ins Leben gerufen. Da erschien das CHE-Hochschulranking unter anderem mit dem Schwerpunkt Elektrotechnik. Wir kamen dabei sehr gut weg (Fuldaer Zeitung vom 27.1.2001). Wir waren Spitze, zumindest in Hessen. Einige Kollegen meinten, das an die große Glocke hängen zu sollen.

Massenweise wurden die einschlägigen Zeitschriften geordert, um die gute Nachricht möglichst flächendeckend unter das Volk zu bringen. Die Warnung, dass uns das noch schwer auf die Füße fallen könne, blieb im Freudentaumel ungehört.

Wir hatten unter anderem bei der technischen Ausstattung gut abgeschnitten und auch die Studenten fühlten sich gut betreut. Besonders ins Gewicht fiel die Tatsache, dass alle unsere Absolventen in der Regelstudienzeit von acht Semestern abgeschlossen hatten. Das machte unseren Fachbereich zu einem Leuchtturm in der Bildungslandschaft.

Nun ist es allerdings kein Wunder, wenn in einem frisch aufgebauten Fachbereich alle Computer in Ordnung sind. Und auch die  Betreuung funktioniert sehr gut, wenn die neu berufenen Professoren sich vor allem auf die ersten Studentenjahrgänge konzentrieren können.  Aber entscheidend ist, dass den Absolventen damals gar nichts anderes übrig blieb, als in der Regelstudienzeit fertig zu werden. Zur Zeit der Umfrage gab es den Fachbereich gerade einmal vier Jahre und die ersten Absolventen hatten nur die acht Semester des Regelstudiums zur Verfügung. Diejenigen, die den Abschluss damals nicht schafften, kamen in der Statistik nicht vor. Sie „verdarben“ dafür das Ergebnis der Folgejahre.

Auch in den Folgejahren und bis heute wird der Fachbereich Elektrotechnik der Hochschule Fulda überwiegend positiv bewertet. Doch er hat sich dem Durchschnitt etwas angenähert. Was beim Publikum hängen bleibt, ist – ungerechterweise – dieser anfängliche „Absturz“ im Ranking (Fuldaer Zeitung vom 15.4.2002).

Besonder schwer hat dieses Ranking den Fachbereich Wirtschaft in Fulda erwischt. Aber der ist wohl selber Schuld. Jahr für Jahr hatten die Professoren des Fachbereichs über die schlechte materielle und personelle Ausstattung gejammert. Kein Wunder war es dann, dass die Studenten ihrem eigenen Laden keine guten Noten gaben. Es folgte ein ziemlich großer Krach innerhalb der Hochschule, der dann unnötigerweise auch noch der Presse durchgereicht wurde. Grund für das Ganze waren nicht etwa schlechte Leistungen des Lehrpersonals sondern eine total verunglückte Öffentlichkeitsarbeit, zu der nun einmal auch das Hochschulranking gehört.

Soweit die Dinge, die mir ins Auge gefallen sind. Wenn man den Berichten aus anderen Hochschulen und den Veröffentlichungen in den zuständigen Verbandszeitschriften Glauben schenkt, ziehen sich die Datenerfassungsmängel durch das gesamte CHE-Hochschulranking.

Fazit: Die Hochschulrankings erzeugen Pseudowissen und Scheintransparenz. Im Grunde sind sie nicht besser als das Lesen im Kaffeesatz.

Zum Schluss noch etwas zum Grübeln.

Konsumforschung: Am 1. September 1999 berichtet die Fuldaer Zeitung über ein Konsum­for­schungsgutachten. Es wurde herausgefunden, dass etwa 50 Prozent der in Fulda befragten Passanten täglich und nur 25 Prozent wöchentlich in die Stadt kommen. Das wurde als ein gutes Zeichen für die Attraktivität Fuldas gewertet. Ich phantasiere nun ein bisschen: In einer anderen Stadt möge die Befragung ergeben haben, dass 40 Prozent der befragten Passanten täglich und 30 Prozent nur wöchentlich kommen. Wäre das ein Zeichen dafür, dass die „Konkurrenzstadt“ weniger attraktiv als Fulda ist? (Denkfallen: Klug irren will gelernt sein)

Veröffentlicht unter Bildungswesen, Prognosen, Schule und Hochschule, Statistik, Umfragen | Verschlagwortet mit , , | Schreib einen Kommentar

Evaluitis: Von der Statistik zum Ranking

Ohne Zweifel haben polizeiliche Kriminalstatistiken (PKS) ihren Nutzen. Fragwürdig wird die Sache erst, wenn Politik und Öffentlichkeitsarbeit ins Spiel kommen: Dann wird ausgewählt, verdichtet und grafisch herausgeputzt, bis die gewünschte Nachricht passend untermauert ist. Und das geht ganz ohne Fälschung.

Aus der polizeilichen Kriminalstatistik 2009

Der Manipulant weiß, dass sich das Publikum durch Rangfolgen leicht beeindrucken lässt. Das umfangreiche Zahlenwerk der PKS lässt sich beispielsweise zu einer Tabelle zusammenkochen. Wir erhalten eines der beliebten Rankings, hier einmal eine Sortierung der Bundesländer nach polizeilichem Aufklärungserfolg (BKA).

Solche Rankings befeuern die politische Diskussion. Sie genießen eine Wertschätzung, die ihnen genau genommen nicht zukommt. Es handelt sich meist um ziemlich sinnleere Zahlenspielereien. Ein Beispiel sind die heute so geschätzten Hochschulrankings. Aber darüber später, in einem eigenen Artikel. Hier will ich nur zeigen, wie man sich ein persönliches Ranking zusammenbasteln kann. Und dieses Ranking wird auch nicht sinnloser sein als das von interessierter Seite veröffentlichte.

Wir bleiben hier einmal bei den Kriminalstatistiken. Was bei den Kriminalitätsstatistiken funktioniert, geht auch mit beliebigen anderen Statistiken, soweit sie mehrere – womöglich gegeneinander konkurrierende – Institutionen betreffen und wenn die Bewertung in mehrere Kategorien zerfällt.

Aus Osthessen kommt diese Stellungnahme zur Kriminalstatistik 2010: „Bei einem deutlichen Straftatenrückgang von 4.4 Prozent … konnte das Polizeipräsidium Osthessen seine Rekordaufklärungsquote des Vorjahres von 63,4 Prozent noch einmal um 0,2 Prozentpunkte auf 63,6 Prozent steigern. Dies ist die beste Aufklärungsquote seit Bestehen des Polizeipräsidiums Osthessen, betont Polizeipräsident Alfons Georg Hoff anlässlich der Vorstellung der Polizeilichen Kriminalstatistik (PKS) 2010.“

Das Polizeipräsidium Nordhessen kommentiert ihre Kriminalstatistik 2010 folgendermaßen: „Neben dem kontinuierlichen Rückgang der erfassten Straftaten sinkt auch Jahr für Jahr die sogenannte Häufigkeitszahl… Gleichzeitig stieg gegenüber dem Vorjahr die Aufklärungsquote nochmals um 0,3 Prozentpunkte auf jetzt 58,2 Prozent.“ (Eckhard Sauer, Polizeipräsident)

Die Aufklärungsquoten des Jahres 2010 lassen sich der Kriminalstatistik entnehmen.

Aus der hessischen Kriminalstatistik 2010

Bei kreativer Auslegung der Statistik könnte die nordhessische Polizei im direkten Vergleich mit den osthessischen Kollegen besser aussehen. Denn: In die Aufklärungsquote gehen alle Straftaten unterschiedslos ein. Aber ist es wirklich angemessen, einen einfachen Diebstahl genauso zu werten wie einen Mord?

Hätten die Nordhessen beispielsweise jeden Mord oder Tötungsversuch 1000-fach, die sexuellen Straftaten und die Rohheitsdelikte je 100-fach und alle anderen einfach gezählt, käme für sie eine Aufklärungsquote von etwa 87 Prozent heraus, und die läge leicht über der entsprechenden Aufklärungsquote der Osthessen.

Das Beispiel mag konstruiert erscheinen. Aber es illustriert die alltägliche Praxis im Rankinggeschäft. Denn die Rangfolgen hängen ganz entscheidend von der Auswahl und Gewichtung der Einflussgrößen und Kategorien ab. Ein Musterbeispiel dafür ist die fragwürdige Auswahl und Gewichtung von Daten im Zukunftsatlas des Prognos-Instituts, der die deutschen Regionen in eine Rangordnung bezüglich ihrer Zukunftsfähigkeit bringt.

Dass die Schwierigkeiten mit Reihenfolgeproblemen grundsätzlicher Natur sind, hat der Marquis de Condorcet bereits 1758 publik gemacht (Wählerparadoxon, Condorcet-Effekt). Ian Stewart bringt in seinem Buch „Professor Stewarts mathematisches Kuriositätenkabinett“ von 2010 eine dazu passende Denksportaufgabe. Ich sags mal so: Sie werden von Ihrem Freund zu einem Würfelspiel eingeladen. Er lässt Ihnen den Vortritt und bietet Ihnen an, einen von drei Würfeln auszuwählen. Er will sich dann einen von den übrigen nehmen. Die Auswahl ist nicht trivial, denn die Augenzahlen sind etwas sonderbar: Einer der Würfel hat zwei Dreien, zwei Vieren und zwei Achten, der zweite hat zwei Einsen, zwei Fünfen und zwei Neunen, und der dritte zwei Zweien, zwei Sechsen und zwei Siebenen. Welcher der Würfel bietet Ihnen die besten Chancen, eine höhere Punktzahl zu erwürfeln als Ihr Freund? Klugerweise nehmen Sie an, dass Ihr Freund aus den verbleibenden Würfeln den für ihn günstigsten auswählt.

Veröffentlicht unter Statistik | Verschlagwortet mit , , | Schreib einen Kommentar

Guter Mond …

Das „Wissen“ von den übernatürlichen Kräften des Mondes ist, glaubt man der Illustrierten Stern (22/2005),  weit verbreitet: Bei Vollmond bluten Wunden stärker. Werden Wurzeln bei abnehmendem Mond gesammelt, sind sie heilkräftiger als zu anderen Zeiten. Wer bei Neumond fastet, beugt Krankheiten vor, weil dann die „Entgiftungsbereitschaft des Körpers“ am höchsten ist.

Anders steht es um das Tatsachenwissen vom Mond. In der Fuldaer Zeitung vom 8. März 2011 habe ich unter der Rubrik „Wetterbild im Februar 2011“ ein Photo mit dem Titel „Der Mond nimmt zu – und hält trotzdem sein Gewicht“ gefunden. Rechts sehen Sie einen Ausschnitt daraus.

Wie das Bild zustande gekommen ist, weiß ich nicht. Vielleicht handelt es sich um eine partielle Sonnenfinsternis. Jedenfalls sieht der Mond weder beim Zunehmen noch beim Abnehmen so aus.

Abgesehen von dem zu harten Übergang von hell zu dunkel scheinen hier die Sonnenstrahlen um den Mond „herumzugreifen“. Auch kann die Hell-dunkel-Linie kein Kreisbogen sein so wie hier. Welche Form hat dieser Dämmerungsbereich tatsächlich?

Das Bild ist von der Deutschen Presse-Agentur übernommen worden und sicherlich in vielen Tageszeitungen unbeanstandet erschienen. Aber hier habe ich noch einen Fuldaer Eigenbau: Wenige Tage später, am 21. März, erschien in der Tageszeitung ein Bild des aufgehenden Mondes, vor dem sich die Ebersburg als Schattenriss abzeichnete. Zu der Zeit „kam der Himmelskörper der Erde mit 356 580 Kilometern sehr nahe. Deshalb wirkte der Mond in dieser Nacht so groß“, so die Zeitungsmeldung.

Nun ja: Die Entfernung des Mondes weicht um höchstens ±7 % vom Mittelwert ab. Dementsprechend gering ist die Veränderung der Ausdehnung des Mondes am Nachthimmel. Der Unterschied dürfte mit bloßem Auge kaum auszumachen sein. Der großartige Eindruck geht hier wohl eher auf die bekannte Mondtäuschung und auf das Teleobjektiv zurück.

Um wieviele Prozent schrumpft der Durchmesser des Mondbildes eigentlich, wenn sich der Abstand des Mondes vom Betrachter um sieben Prozent vergrößert? Wie sieht es aus, wenn sich der Abstand um sieben Prozent verringert?

Veröffentlicht unter Naturwissenschaften | Verschlagwortet mit , | Ein Kommentar

Hoppla! Da stimmt doch etwas nicht.

Dieses Weblogbuch (Blog) greift sonderbare Nachrichten und allgegenwärtigen Statistikplunder auf und lädt zum Nachdenken darüber ein.

Die Idee zu diesem Weblogbuch kam mir, als ich über diese Meldung der Fuldaer Zeitung vom 9. März 2011 stolperte: „Messungen des Fraunhofer-Instituts für Molekularbiologie und Angewandte Ökologie haben ergeben, dass mit dem neuen Pflaster durchschnittlich rund 25 Prozent des Stickstoffdioxids umgewandelt werden können.“ Die Rede ist hier von einem Pflasterstein namens Airclean, einem neuen Produkt der Firma F. C. Nüdling. 

„25 Prozent“ Schadstoffreduzierung klingt gut. Aber was heißt das? 25 Prozent wovon?

Die Pressemeldung des Fraunhofer-Instituts ist hier etwas genauer: „Bei Messungen am bereits mit dem Pflasterstein AirClean belegten Gothaer Platz in Erfurt wurde in drei Metern Höhe eine durchschnittliche Abbaurate von 20 Prozent bezüglich NO2 und 38 Prozent bezüglich NO erreicht.“

Aber was bedeutet „Abbaurate“? Auf welche Zeitspanne bezieht sich diese Größe? Wer etwas über die Wirksamkeit des Steins erfahren will, muss wohl weiter nachforschen.

Veröffentlicht unter Nicht kategorisiert | Verschlagwortet mit , , , | Schreib einen Kommentar