Ein LLM (Large Language Model) ist ein großes, auf riesigen Textmengen trainiertes Sprachmodell, das das jeweils nächste Token vorhersagt. Aus dieser einen Fähigkeit entsteht Textverstehen und -erzeugung.
Das einfache Grundprinzip
Im Kern tut ein LLM nur eines: Es schätzt, welches Token als Nächstes am wahrscheinlichsten folgt, hängt es an und wiederholt das. Dass daraus flüssige Antworten, Übersetzungen und Code entstehen, ist die überraschende Folge — trainiert auf genug Text wird Vorhersage zu scheinbarem Verstehen.
Wie es entsteht
Im Training liest das Modell gewaltige Textmengen und justiert dabei Milliarden Parameter. Danach wird es im Betrieb angewandt (Inferenz), ohne weiter zu lernen. Meist ist es ein Transformer-Decoder.
Stärken und Grenzen
LLMs sind erstaunlich vielseitig, aber sie 'wissen' nichts im menschlichen Sinn — sie erzeugen Plausibles, nicht garantiert Wahres (Halluzination). Aktuelles oder privates Wissen holt man über RAG hinzu.