Ein Large Language Model (LLM, deutsch: großes Sprachmodell) ist ein Sprachmodell mit sehr vielen Parametern, das seine Wahrscheinlichkeiten in einem rechenintensiven Training aus großen Textkorpora gelernt hat und sich durch seine Fähigkeit zur Textgenerierung auszeichnet.
Ein LLM ist ein computerlinguistisches Wahrscheinlichkeitsmodell: Es hat statistische Beziehungen zwischen Wörtern und Wortfolgen aus großen Textbeständen gelernt. LLMs gehören zum Deep Learning und zählen zur Generativen KI; technisch beruhen sie auf der Transformer-Architektur, meist als reiner Decoder.
Drei Phasen: Datenerfassung (Textkorpora im Umfang von Billionen Tokens), Training (Pretraining: das Modell lernt, das jeweils nächste Token vorherzusagen, und justiert dabei Milliarden Parameter) und Feinabstimmung (Instruction Tuning und RLHF machen aus dem Basismodell einen Assistenten). Im Betrieb (Inferenz) bleiben die Parameter unverändert.
Die Texterzeugung erfolgt Token für Token (Autoregression); dasselbe Modell übersetzt, fasst zusammen, beantwortet Fragen und schreibt Programmcode. Ein LLM verfügt jedoch über kein gesichertes Wissen — es erzeugt wahrscheinliche, nicht garantiert zutreffende Aussagen (Halluzination). Aktuelles oder internes Wissen wird zur Laufzeit ergänzt, üblicherweise über RAG. Bekannte LLM-Familien sind GPT (OpenAI), Claude (Anthropic), Gemini (Google) und Llama (Meta).
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
