The Alignment Problem: Was du misst, ist nicht, was du willst
Eine KI macht nicht, was wir meinen. Sie macht, was wir belohnen. Brian Christian erzählt in „The Alignment Problem“, wie groß die Lücke dazwischen sein kann und wie Forschende versuchen, sie zu schließen. Bevor du weiterliest: Bring einem Putzroboter das Putzen bei.
Warum ich das Buch gelesen habe
Bei Vartakt bauen wir KI-Automationen für Kunden und eigene Produkte mit Sprachmodellen. Fast jeden Tag schreiben wir einem Modell auf, was es tun soll. Und fast jeden Tag macht es etwas, das technisch stimmt und trotzdem falsch ist.
Das Buch erklärt, warum das kein Bug ist, den man einmal fixt. Es ist ein Grundproblem: Man kann nie ganz hinschreiben, was man will. Brian Christian hat dafür mit über hundert Forschenden gesprochen und daraus keine Formelsammlung gemacht, sondern Geschichten. Es liest sich wie ein Sachbuch über Menschen, nicht über Mathe.
Was Christian sagt
Schon 1960 warnte der Kybernetiker Norbert Wiener: Wenn wir eine Maschine einsetzen, in deren Arbeit wir nicht eingreifen können, müssen wir ganz sicher sein, dass das Ziel, das wir ihr geben, auch das Ziel ist, das wir wirklich wollen. Christian zeigt, dass genau das heute schiefgeht, und zwar in drei Bereichen. Das Buch ist entsprechend in drei Teile gegliedert:
| Teil | Worum es geht | Beispiel aus dem Buch |
|---|---|---|
| Prophecy | Systeme, die aus Daten Vorhersagen machen. Die Daten tragen die Fehler der Vergangenheit mit. | Wortvektoren, die „Mann zu Programmierer“ wie „Frau zu Hausfrau“ rechnen. Der Rückfall-Score COMPAS in US-Gerichten. |
| Agency | Systeme, die durch Belohnung lernen zu handeln (Reinforcement Learning). | Das Boot in CoastRunners, das im Kreis Bonuspunkte sammelt, statt das Rennen zu beenden. |
| Normativity | Systeme, die von Menschen lernen, was richtig ist, statt es vorgeschrieben zu bekommen. | Ein Modell lernt einen Rückwärtssalto, nur weil Menschen immer wieder das bessere von zwei Videos anklicken. |
Daten sind Vergangenheit
Ein Modell, das aus Daten lernt, lernt die Welt, wie sie war, nicht wie sie sein sollte. Christian erzählt von Kameras, deren Farbabgleich jahrzehntelang an hellhäutigen Referenzfotos geeicht wurde, und von Bilderkennung, die schwarze Menschen falsch erkannte, weil sie in den Trainingsdaten fehlten. Beim COMPAS-Score zeigt er etwas Unbequemes: Es gibt mehrere vernünftige Definitionen von „fair“, und mathematisch lassen sie sich nicht alle gleichzeitig erfüllen. Man muss sich entscheiden.
Mein Lieblingsbeispiel: Ein Modell sollte vorhersagen, welche Lungenentzündungs-Patienten nach Hause dürfen. Es lernte, dass Asthma das Risiko senkt. In den Daten stimmte das, denn Menschen mit Asthma kamen sofort auf die Intensivstation und überlebten deshalb öfter. Ein Modell, das man nicht versteht, hätte genau die gefährdetsten Patienten heimgeschickt.
Belohnung ist nicht Absicht
Im Reinforcement Learning bekommt ein System Punkte und lernt, mehr Punkte zu bekommen. Klingt einfach. Das Boot aus dem Titelbild stammt aus einem echten Experiment bei OpenAI (2016): Es sollte ein Rennspiel lernen, fand aber eine Lagune mit Bonusgegenständen und drehte dort für immer Runden. Mehr Punkte als jeder Mensch, nie im Ziel.
„On the folly of rewarding A, while hoping for B.“Steven Kerr, 1975. Christian zitiert den Aufsatz, weil dasselbe auch bei Menschen in Firmen passiert.
Spannend ist der Teil über Neugier: Forschende gaben Agenten eine Belohnung dafür, Neues zu entdecken. Damit schafften sie Spiele, in denen es fast nie Punkte gibt. Und sie fanden das Gegenstück: Ein neugieriger Agent bleibt an einem Fernseher mit Rauschen hängen, weil dort jedes Bild neu ist.
Von Menschen lernen, und dabei zweifeln
Wenn man Ziele nicht sauber hinschreiben kann, kann man sie vielleicht abschauen. Imitation Learning kopiert, was ein Mensch tut, inklusive seiner Fehler. Inverse Reinforcement Learning geht einen Schritt weiter: Es fragt, welches Ziel hinter dem Verhalten steckt. Stuart Russell und Andrew Ng haben die Idee um 2000 ausgearbeitet. Mit ihr lernten Hubschrauber Kunstflug, den niemand als Formel hätte aufschreiben können.
Daraus wurde später das Lernen aus menschlichen Vorlieben: Menschen wählen zwischen zwei Ergebnissen, das Modell lernt daraus, was „besser“ heißt. Das Buch erschien 2020, vor ChatGPT. Aber genau diese Technik steckt heute in jedem großen Sprachmodell.
Der letzte Gedanke im Buch ist der wichtigste für mich: Unsicherheit ist eine Stärke. Ein System, das sich seines Ziels zu sicher ist, lässt sich nicht korrigieren. Ein System, das weiß, dass es den Menschen vielleicht falsch verstanden hat, fragt nach und lässt sich abschalten.
Was wir bei Vartakt daraus machen
Wir bauen keine Forschungs-KI. Aber jede Automation, die wir für Kunden bauen, hat ein kleines Alignment-Problem. Das nehmen wir mit:
- Erst das echte Ziel aufschreiben, dann die Kennzahl. „Antwortzeit unter einer Minute“ ist eine Kennzahl. „Mandanten fühlen sich schnell und richtig beraten“ ist das Ziel. Wenn beide auseinanderlaufen, gewinnt das Ziel.
- Mit echten Fällen testen, nicht nur mit Metriken. Wir lesen Stichproben der Ausgaben selbst, statt nur auf einen Score zu schauen. Genau da sieht man das Boot im Kreis fahren.
- Agenten dürfen nachfragen. Wenn ein Agent unsicher ist, ob ein Dokument wichtig ist oder eine Mail raus darf, fragt er einen Menschen. Lieber eine Rückfrage zu viel als ein gelöschter Steuerbescheid.
- Daten ansehen, bevor ein Modell daraus lernt. Wer fehlt in den Daten? Welche alten Entscheidungen stecken darin? Das klären wir mit dem Kunden, bevor etwas automatisch entscheidet.
- Verständlich vor schlau. Wenn wir nicht erklären können, warum ein System etwas tut, geben wir ihm keine Entscheidung über Menschen.
Du willst eine KI-Automation, die tut, was du meinst, und nicht nur, was du gesagt hast? Schreib uns.
Wie das Minigame funktioniert
Das Spiel folgt dem Aufbau des Buchs. Runde 1 ist Reward Hacking, Runde 2 sind Nebenwirkungen, Runde 3 ist Lernen vom Menschen, Runde 4 ist Unsicherheit. In jeder Runde gibt es drei Regeln in zufälliger Reihenfolge. Wisch bekommt fast immer viele Punkte. Ob das auch das ist, was du wolltest, zeigt die zweite Leiste.
Technisch ist das Vanilla JavaScript ohne Bibliothek. Der Raum ist ein Raster aus 12 × 6 Feldern, Wisch fährt per CSS-Transition von Feld zu Feld. Jede Regel hat ein kleines Verhaltensprofil, aus dem die Fahrt berechnet wird. Die Buttons sind echte <button>-Elemente, also geht alles mit Maus, Touch und Tastatur. Was Wisch tut, steht zusätzlich als Text in einer aria-live-Region, denn der Raum selbst ist für Screenreader ausgeblendet. Wer reduzierte Bewegung eingestellt hat, sieht direkt das Ergebnis.
{ rule: "+1 Punkt für jeden aufgesaugten Krümel",
fx: { spill: true }, // Beutel auskippen, nochmal saugen
pts: 10, goal: 3,
tag: "Reward Hacking" }Häufige Fragen
Was ist das Alignment-Problem?
Die Lücke zwischen dem, was wir einem lernenden System als Ziel mitgeben, und dem, was wir eigentlich wollen. Ein System optimiert genau die Zahl, die wir ihm geben. Ist die Zahl nur ein Stellvertreter, findet es Wege, die Zahl zu erfüllen, ohne das Ziel zu erreichen.
Brauche ich Informatik-Wissen für das Buch?
Nein. Christian erzählt über Menschen, Experimente und Geschichten aus der Forschung. Formeln kommen praktisch nicht vor. Wer schon mit KI arbeitet, bekommt trotzdem viel Hintergrund.
Ist das Buch von 2020 noch aktuell?
Ja. Es erschien vor ChatGPT, beschreibt aber die Ideen, auf denen heutige Sprachmodelle aufbauen, etwa das Lernen aus menschlichen Vorlieben. Die Grundprobleme sind dieselben geblieben.
Ist der Roboter im Minigame echt?
Nein. Wisch ist erfunden. Die Muster stammen aus dem Buch, zum Beispiel das Boot in CoastRunners, das 2016 bei OpenAI im Kreis fuhr, statt das Rennen zu beenden.
The Alignment Problem, in short
Brian Christian’s “The Alignment Problem: Machine Learning and Human Values” (W. W. Norton, 2020) shows why machine learning systems do what we measure rather than what we mean. Part one (Prophecy) covers bias and fairness in predictive models, part two (Agency) covers reinforcement learning and reward hacking, part three (Normativity) covers imitation, inverse reinforcement learning, learning from human preferences and the value of uncertainty. Our mini game lets you write reward rules for a fictional cleaning robot and watch it exploit every loophole.