Wie funktionieren große Sprachmodelle (LLMs)?

Große Sprachmodelle – englisch Large Language Models (LLMs) – sind die Technik hinter modernen KI-Assistenten. Hier erfährst du, was in ihnen passiert, wenn du eine Frage stellst.

Das nächste Wort vorhersagen

Im Kern macht ein Sprachmodell etwas erstaunlich Einfaches: Es sagt voraus, welches Textstück als Nächstes kommt. Aus „Der Himmel ist …“ wird mit hoher Wahrscheinlichkeit „blau“. Wiederholt man das tausendfach, entstehen ganze Absätze.

Tokens statt Wörter

Modelle arbeiten nicht mit ganzen Wörtern, sondern mit Tokens – kleinen Textbausteinen. Ein langes Wort wie „Donaudampfschifffahrt“ besteht aus mehreren Tokens. Auch die Länge, die ein Modell auf einmal „im Kopf behalten“ kann, wird in Tokens gemessen (das sogenannte Kontextfenster).

Training in zwei Schritten

1. Vortraining: Das Modell liest riesige Textmengen und lernt dabei Grammatik, Fakten und Zusammenhänge.

2. Feinabstimmung: Danach wird es mit gezielten Beispielen und menschlichem Feedback trainiert, damit es hilfreich, ehrlich und sicher antwortet.

Warum KI manchmal Unsinn erzählt

Weil ein Sprachmodell Wahrscheinlichkeiten berechnet und kein Lexikon nachschlägt, kann es überzeugend klingende, aber falsche Aussagen machen. Man nennt das Halluzination. Deshalb gilt: Wichtige Fakten immer gegenprüfen.

Tipp: Bitte die KI, ihre Quellen zu nennen oder Unsicherheiten offen zu sagen – und prüfe kritische Angaben selbst.

Fazit

Sprachmodelle sind keine Magie, sondern sehr leistungsfähige Mustererkenner für Text. Wer das Prinzip versteht, nutzt sie gezielter und fällt seltener auf Fehler herein.