Der Wirbel des KI-Hypes, ausgelöst von ChatGPT, zieht vorbei, ohne allzu großen Eindruck bei mir zu hinterlassen.
Ich bin ziemlich stark beeinflusst vom Denken des Josef Weizenbaum und von manch anderem kritischen Geist. (Auf meiner Seite Das System der Denkfallen sind unter den im Folgenden genannten Autorennamen die Quellen der Zitate zu finden.)
Steuern oder überwachen?
Mit dem Namen dieses Artikels „Die Ironie der Automatisierung“ zitiere ich Lisanne Bainbridge. Während meiner Industrietätigkeit bin ich auf sie aufmerksam geworden und habe Folgendes mitgenommen: Ein weitgehend automatisiertes System enthält dem Bediener die Gelegenheiten zum Einüben der im Ernstfall wichtigen Fertigkeiten vor. Der Gewinn, den die Automatisierung verspricht, wird durch das zusätzlich erforderliche Operator-Training teilweise wieder aufgefressen. Ein anderer Punkt, der unter Sicherheits- und Zuverlässigkeitsleuten eine Rolle spielt, ist die Langeweile. Nancy Leveson stellt folgenden Zusammenhang her: Wenn vom Operateur nur geringe Mitwirkung gefordert wird, kann das zu einer geringeren Wachsamkeit und zu einem übermäßigen Vertrauen in das automatisierte System führen. Mica R. Endsley stößt ins gleiche Horn, wenn sie konstatiert, dass das Situationsbewusstsein verloren gehen kann, wenn die Rolle des Bedieners auf passive Kontrollfunktionen reduziert wird. Felix von Cube sagt es so: Dadurch, dass der Unterforderte seine Aufmerksamkeit nicht oder nur zum geringen Teil für seine Arbeit einzusetzen braucht, richtet er sie auf andere Bereiche. So wird sie unter Umständen ganz von der Arbeit abgezogen, es kommt zu gefährlichen Situationen.
Kurz gesagt: Wer in einen Prozess aktiv eingebunden ist, der lernt, ihn zu beherrschen. Die Kehrseite: Der Mensch ist ein schlechter Kontrolleur. Computergenerierte Texte beispielsweise zwingen uns in die Rolle des Kontrolleurs. Das wird nicht gut gehen.
Was tun?
Unter dem Titel Ironie der Automatisierung widmet sich das Weizenbaum Institut diesem Problem, dessen Lösung oftmals in der Technologie selbst gesucht werde: Assistenzsysteme sollen den Menschen bei der Problemlösung anleiten. Dieser rein technischen Ansatz „Mehr desselben“ wird wohl zu Recht infrage gestellt. Demgegenüber wird in dem Projekt auf ein ganzheitliches Verständnis des Prozesses gesetzt:
Erste Befunde aus diesem Experiment zeigen, dass die Probanden, die über die Anleitung durch das Assistenzsystemen hinaus auch eine persönliche Einführung in den gesamten Arbeitsprozess erhielten, zwar zunächst mehr Fehler bei der Arbeitsausführung machten, in der Schlussphase aber eine geringere Fehlerzahl erreichten. Übertragen auf reale Beschäftigte, deutet diese darauf hin, dass holistisches Prozesswissen sogar im Bereich einfacher Maschinenbedingung durchaus einen Mehrwert für die Unternehmen hat. Das wäre ein klares Argument für Investitionen in Qualifizierung und Ausbildung und ein klarer Hinweis auf die Grenze von Assistenzsystemen.
Auch bei diesem Ansatz übernimmt der Mensch die Rolle des Kontrolleurs. Das Grundproblem der Automatisierung bleibt, möglicherweise in verringertem Maße, aber es bleibt.
Obwohl ich manchmal so klinge: Ein Maschinenstürmer bin ich nicht. Ich habe mitgeholfen, die Z1 das Konrad Zuse besser zu verstehen: So rechnen Zuse-Computer – und die heutigen auch.
Nachtrag (31.10.23): Im Rahmen eines Projekts mussten wir erfahren, dass noch mehr Automatisierung nicht viel gegen Fehler im automatisierten System ausrichten kann:
Es hat sich herausgestellt, dass diagnoseunterstützende Systeme – in Kraftwerksleitwarten beispielsweise – durch optische Reize das Einfrieren von hinderlichen Vor-Urteilen begünstigen können
Dass der Mensch ein schlechter Kontrolleur ist, sieht man am Korrekturlesen. Ich halte es für nahezu ausgeschlossen, dass man ein Buch machen kann, das keine formalen Fehler enthält. In meiner Problemsammlung Querbeet stelle ich die folgende Aufgabe mit realem Hintergrund:
Im Manuskript eines Buches fand der Herausgeber 50 formale Fehler (Schreibfehler und dergleichen). Unabhängig davon entdeckte der Autor beim Korrekturlesen 110 Fehler, darunter 22, die bereits der Herausgeber entdeckt hatte. Damit waren insgesamt also 110+50-22 = 138 Fehler bekannt. […] Wie viele Fehler [würden] nach der Berichtigung im Buch wohl noch verbleiben?
Unter der Unabhängigkeitsannahme komme ich auf 112 verbleibende Fehler. Das ist freilich nur eine sehr grobe Schätzung, aber sie warnt vor Überschätzung der eigenen Fähigkeiten zur Fehlerentdeckung.
Uns spielt, neben den oben bereits genannten Gründen, die Sinnsuche unseres Wahrnehmungsapparats einen Streich.
Die Ironie der Automatisierung ist gar keine, sie ist ein Wahrnehmungsproblem dessen, der den Menschen vor dem Bildschirm bzw. an Tastatur und Maus als Menschen wahrnimmt. Das war aber eigentlich noch nie modern in einer kaufmännisch geordneten Welt – da gibt es Menschen nämlich nur in Führungspositionen. Auf den anderen Positionen gibt es Kostenfaktoren. Automatisierung dient dazu, die Ausbildungskosten und damit den Lohn des jeweiligen Mitarbeiters zu drücken, wenn man ihn nicht ganz einsparen kann.
Konkrete Migrationserfahrungen als Dienstleister auf diesem Gebiet:
Migrationen werden eigentlich gemacht, und durch einen höheren Automatisierungsgrad Kosten zu sparen (in einigen Fällen allerdings auch, weil ein Vertrieb Systemleistungen verkauft hat, die nicht existieren, und sich darauf verlassen hat, dass die Migratoren in der Lage sind, sie zu implementieren – das klappt leider nur bei hinreichender technischer Qualifikation des Vertrieblers).
Es war schon beim alten System so, dass das System so weit automatisch war, dass der Prozess nur noch von einem bis wenigen verstanden wurde – nennen wir sie mal Key-User. Die sind diejenigen, die auch in den seltenen Fertigkeiten geübt sind, weil sie immer kommen müssen, wenn etwas schief läuft.
Sie sind bei der Migration auch die einzigen, die in der Lage sind, den Prozess so zu präzise beschreiben, dass die Migration gelingen kann, und im Idealfall sind sie hinterher überflüssig, weil überqualifiziert.
Eine gelungene Migration bei einer Firmenübernahme setzt eine ganze Abteilung frei, weil sie gleichzeitig zur Entbehrlichkeit der gesamten EDV der geschluckten Firma führt.
Die Beispiele aus dem Eingangstext sind typischerweise aus sicherheitsempfindlichen Systemen, in denen der Mensch vor der Anlage noch als Mensch gepflegt werden muss, weil er Eigenschaften besitzt, die noch nicht im System implementiert werden konnten – die stellen aber nur einen kleinen Anteil in der Automatisierung von Prozessen.
@ Frank Wohlgemuth
Sie schreiben:
Ich fürchte, so einfach ist es nicht. Die Komponente Mensch in den Mensch-Maschine-Systemen ist immer auch Entscheider. Manchmal sind die Entscheidungen wichtig, manchmal weniger. Mir scheint, dass die anspruchsvollen Systeme mehr werden. Ein Beispiel ist das selbstfahrende Auto. In Podiumsdiskussionen zum Thema stelle ich meist die Frage, wie das Auto zu programmieren sei, um folgender Dilemma-Situation gerecht zu werden: Ball rollt auf die Straße, ein Kind vermutlich hinterher, links eine Hauswand, auf dem Gehweg rechts ältere Leute mit dem Rollator. Von Philosophen habe ich nur allgemeines Gedöns gehört. Ein Ingenieur hingegen meinte trocken und ziemlich herzlos: „Spur halten.“ Bei einer Rückgabe der Kontrolle an den Fahrer haben wir das von Lisanne Bainbridge angesprochene Problem.
Um Ihr Beispiel aufzunehmen:
„Ball rollt auf die Straße, ein Kind vermutlich hinterher,..“
Das Kind kommt also mit einer gewissen Wahrscheinlichkeit, aber nicht sicher.
Wenn ihr Ingenieur noch dazu gesagt hätte, dass das Tempo nach den Möglichkeiten, die der nachfolgende Verkehr zulässt, vorsorglich bis auf Schritttempo zu reduzieren ist, um bei einem Auftauchen des Kindes in der Fahrbahn eine Vollbremsung einzuleiten, hätte er bereits alles im Algorithmus, was auch der Fahrlehrer empfiehlt. Das ist auch technisch machbar.
Was ist daran herzlos? Fehlt da eine Zielgröße wie die Summe der zu rettenden Lebensjahre?*** Sie stellen da ein Szenario vor, für das es, falls das Kind dem Ball folgt, keine optimale Lösung gibt. Auch jeder normale Mensch am Steuer, dem es nicht gelingt, einen Unfall nach dem oben skizzierten Muster zu vermeiden, wird danach zumindest eine Weile krank sein.
Unlösbare Probleme bleiben auch bei einer Automatisierung unlösbar – das hat in meinen Augen wenig mit Herzlosigkeit zu tun. Die würde ich erkennen, wenn wir ein automatisches System, das in der Summe zu schlechteren Ergebnissen führt als das menschliche, scharf schalteten.
Speziell bei Ihrem Beispiel vermute ich, dass eine technisch automatisierte Reaktion wegen der kürzeren Reaktionszeit in der Summe bessere Ergebnisse liefert als Menschen am Steuer, so grausam jeder misslungene Einzelfall auch sein mag.
*** Mit Ihrer Anreicherung der Situation durch die alten Leute fordern Sie implizit zu einer Bewertung der möglichen Opfer auf (s.o. meine Frage), die vielleicht für einen reagierenden Menschen möglich aber verfassungswidrig wäre und deshalb in einem System, das behördlich zugelassen werden muss, rechtlich nicht möglich wäre. Es ist für mich befremdlich, dass keiner der Diskutanten darauf hingewiesen hat. Ich gehe auch nicht davon aus, dass ein so reagierender Mensch vor Gericht freigesprochen werden könnte.
Und noch etwas ganz Alltägliches. Fern sehen, Radio oder Schallplatte hören: Früher gingen wir zum Gerät, schalteten es ein und korrigierten die Lautstärke anhand eines Drehknopfes. Fertig.
Heute liegen vor mir fünf Fernbedienungen. Sie haben zig Funktionen – mit Überschneidungen und undurchsichtig verkoppelt. Die meisten Funktionen braucht man zwar nicht, sie sorgen aber dafür, dass das Gesamtsystem undurchschaubar ist. Es dauert Minuten, bis man die Einschaltprozedur überstanden hat.
Dann gibt’s noch die Launen. Was bisher über eine der Fernbedienungen ging, funktioniert plötzlich nicht mehr. Damit beginnt die Suche nach einer besser geeigneten. Von den vielen Zugangscodes und Passwörtern will ich gar nicht erst anfangen. Glücklicherweise braucht man die meisten der damit verbundenen Funktionen nicht.
Früher war die Einweisung in die Bedienung eines Geräts eine Sache von Minuten. Heute braucht man einen mehrtägigen Kurs, ohne merkbaren Zugewinn an Genuss. Ironie.
Und dann der Desktop. Bei jeder neuen Softwareversion suche ich nach dem Knopf, mit dem ich die Komfortfunktionen, beispielsweise die automatische Wortergänzung, abstellen kann.
Wir verbringen immer mehr Zeit mit Bedien- und Hilfssystemen, die uns eigentlich Zeit sparen sollen. Ironie.
Natürlich kann man Bücher ohne formale Fehler schreiben. Es kommt darauf an, was man zu den formalen Fehlern zählt. Die Eliminierung von Rechtschreibfehlern ist ein gelöstes Problem.
Programmierer entwickeln heutzutage Tausende bis Millionen Zeilen von Code. Syntaxfehler führen bei kompillierten Sprachen dazu, dass das Programm nicht kompiliert. Auch hier zeigt sich, dass eine bestimmte Klasse von formalen Fehlern völlig ausgeschlossen wird, obwohl ein hoher Umfang von Text produziert wird.
Zweifellos ist der Computer dem Menschen in vielen Bereich weit überlegen. Schon Konrad Zuses Computer Z3 konnte 1941 schneller große Zahlen miteinander multiplizieren als der Mensch. Auch auf die Beseitigung von Rechtschreibfehlern kann man ihn sicherlich abrichten – oder hat es bereits getan. Aber das ist nicht mein Punkt. Das Beispiel Korrekturlesen zeigt, dass der Mensch kein guter Kontrolleur ist. Aber genau in dieser Funktion ist er in den Leitwarten von Kraftwerken oder beim automatisierten Fliegen oder Fahren gefragt. Die von mir zitierten Forscherinnen sind in diesen Bereichen tätig.
@ Frank Wohlgemuth 1. November 2023 um 15:04 Uhr
Volltreffer! Schauen wir uns an, was die Ethik-Kommission Automatisiertes und Vernetztes Fahren dazu sagt (Juni 2017). Die Kommission unter der Leitung von Udo Di Fabio stellt sich die Frage:
Sie gibt zu bedenken:
Eine solche paternalistische Lösung
Ein vollständiges autonomes System ist mit Artikel 1 des Grundgesetzes wohl kaum zu vereinbaren. Die Kommission:
Meine Aussage „Ein vollständiges autonomes System ist mit Artikel 1 des Grundgesetzes wohl kaum zu vereinbaren“ hat ernst zu nehmenden Widerspruch erfahren: Es gehe nicht um die Frage, ob das vollständige autonome System selbst mit dem Grundgesetz zu vereinbaren sei, sondern ob man seine Benutzung zwingend vorschreiben könne.
Im Falle des autonomen Fahrens entscheidet man sich, Entscheidungskompetenz abzugeben. Das ist der wesentliche Unterschied zum Zwang, beispielsweise einen Sicherheitsgurt anzulegen oder ohne Zwang in eine Achterbahn zu steigen. In beiden Fällen liefert man sich einem System aus , aber dann ist nichts mehr zu entscheiden. Wer sich einem selbstfahrenden Auto ausliefert, gibt Entscheidungskompetenz an eine Maschine ab.
Für die Ethik-Kommission scheint es keine große Rolle zu spielen, ob die Entscheidung zum autonomen System scheinbar freiwillig oder unter Druck passiert. (Der Kommissionsbericht spricht von „scheinbar freiwilligen Gestaltungen“) Von Bedeutung scheint für sie vor allem die Übertragung von Entscheidungskompetenz auf die Maschine zu sein: „Konsequent weitergedacht, wäre der Mensch in existentiellen Lebenssituationen nicht mehr selbst-, sondern vielmehr fremdbestimmt.“
So gesehen, kann meine Aussage stehen bleiben.
Was mir an dem Bericht der Kommission negativ aufgestoßen ist, ist, dass er sich zu sehr in den Grenzen von „Freie Fahrt für freie Bürger“ bewegt, als würde die Automatisierung nur den einsamen Autofahrer betreffen, der nur für sich und die außerhalb seines Fahrzeuges verantwortlich ist. Auch das unpassende, weil anscheinend von der Kommission selbst nicht vollständig verstandene Beispiel vom Autofahrer, der die Wahl zwischen Selbsttötung und dem Töten von Kindern hat, geht in diese Richtung.
Aber was ist mit einem Busfahrer, der hinter sich genauso viele Rentner sitzen hat, wie sich vor ihm Kinder auf der Straße befinden (Vorsicht – das mit den Rentnern war nur eine Ablenkung). Sollte auch dessen Freiheit zur existenziellen Entscheidung zum Suizid vor Eingriffen durch eine Automatik geschützt sein? Oder die Freiheit des Piloten des Germanwings-Flug 9525, der sein Flugzeug mit 149 weiteren Insassen gegen einen Berg geflogen hat?
In der Luftfahrt wurde die Diskussion zur Automatisierung des Fahrens insofern schon von der Realität überholt, als die großen Maschinen ohne die „Assistenzsysteme“ namens Autopilot nicht mehr wirklich steuerbar wären, weil sich wesentliche Komponenten auch in relativen Normalsituationen wie Landungen schon immer in er Nähe der Materialgrenzen befinden und deshalb der Toleranz einer händischen Steuerung nicht mehr regelmäßig ausgesetzt werden sollten.
Aber die Realität geht schon weiter:
„Manche Systeme, etwa die des Herstellers Airbus, haben sogar die Befugnis, Befehle des Piloten zu übersteuern, d. h. in Notsituationen selbst Entscheidungen gegen den Piloten zu treffen. Ob dies tatsächlich wünschenswert ist, bleibt fraglich, aber ein Computer reagiert jedenfalls schneller als ein Mensch. Andererseits machen sich Fachleute Sorgen darüber, dass Piloten zunehmend zum Beobachter degradiert werden und nur im Notfall eingreifen sollen, obwohl die Computertechnik heute noch nicht perfekt ist.“ (https://de.wikipedia.org/wiki/Autopilot#Moderne_Autopiloten )
Ich halte das nicht wirklich für eine Gefährdung der Freiheit, weder der des Piloten noch der seiner Passagiere.