Suche

Mini-PCs mit AMDs Strix-Halo-Chip versprechen Sprachmodelle mit hunderten Milliarden Parametern im Wohnzimmer. Nachgemessen auf der eigenen Box: was in den Speicher passt, welche Token-Raten realistisch sind und welcher Hardware-Haken im Playbook fehlt.

278 Euro im Monat für 20 GB Grafikspeicher, oder einmalig 1.785 Euro für 96 GB. Ich habe die beiden Modelle aus dem c't-Test des Hetzner GEX44 auf meinem eigenen Mini-PC nachgemessen — und ein drittes, …

Ollama, LM Studio und Amuse auf eigener Hardware: was Parameterzahl und Quantisierung bedeuten, wie das AMD AI Bundle die Installation unter Windows abnimmt — und wie derselbe Stack unter Linux eingerichtet wird.

*Coding mit KI* (Rheinwerk 2025) von Kofler, Öggl und Springer behandelt den Einsatz von Sprachmodellen in der Softwareentwicklung — solide für den Stand Ende 2024, aus heutiger Sicht in Teilen obsolet.

## Definition vLLM ist ein High-Performance-Inference-Server für LLMs, der Batch-Processing und Memory-Optionen (PagedAttention, KV-Cache-Verwaltung) nutzt, um Inference-Durchsatz um ein Vielfaches zu erhöhen und Speicherverbrauch zu senken. Praktiker ersetzen damit langsame, speicherhungrige Standard-Inference durch eine produktionsreife …

## Definition Ein Sprachmodell ist ein trainiertes neuronales Netzwerk, das die nächste Sequenz von Text-Token basierend auf vorangegangenen Tokens vorhersagt – die Grundlage für ChatGPT, Claude, Llama und andere generative KI-Systeme. Das Trade-off: je größer …

## Definition Training ist der Prozess, bei dem ein neuronales Netz durch iterative Anpassung seiner Gewichte auf Basis von Trainingsdaten lernt, Eingabe-Ausgabe-Muster vorherzusagen. Im modernen KI-Kontext (LLMs, Diffusion-Modelle) bedeutet dies: Millarden von Token oder Bildern …

## Definition Inference ist die Durchführung von Vorhersagen mit einem trainierten Modell auf neuen Daten — das typische "Produktions"-Szenario, bei dem ein LLM oder Diffusion-Modell praktisch arbeitet. Im Gegensatz zum Training (wo Gewichte angepasst werden) …

## Definition Modellgewichte sind die trainierten numerischen Parameter (Floating-Point-Werte oder Integers nach Quantisierung) eines neuronalen Netzes, die in einer Transformation y = W·x + b die Feature-Mappings definieren. Sie bestimmen fast vollständig, wie ein Modell …

## Definition Quantisierung reduziert die numerische Präzision der [[Modellgewichte]] — meist von 32-Bit-Fließkommazahl (FP32) auf 8-Bit- (INT8) oder 4-Bit-Ganzzahl (INT4). Speicherverbrauch und [[Inference]]-Latenz sinken um den Faktor 4 bis 8, der Qualitätsverlust bleibt bei richtiger …

## Überblick Guides und Dokumentationen zum Setup lokaler LLM-Inferenz auf eigener Hardware. Fokus auf Self-Hosted-Szenarien, Hardware-Kombinationen und praktische Konfiguration mit gängigen Frameworks. ## Frameworks und Tools - **[OpenWebUI](/wiki/tutorial/openwebui/)**: Web-Interface für lokale Modelle, oft in Kombination …

Claude Code ist Anthropics AI-gestütztes Coding- und Automatisierungs-Tool. Diese Seite sammelt praktische Tutorials, Setups und Entscheidungshilfen für konkrete Anwendungsfälle – von lokalen Homelab-Setups bis zu Browser-Automatisierung und Knowledge-Management. ## Lokale Infrastruktur & Hardware-Setup ### DIY-Homeserver …

## Übersicht Open-Source AI Frameworks sind die technologische Grundlage für KI-Entwicklung außerhalb proprietärer Plattformen. Sie decken ein breites Spektrum ab: von Sprachmodellen über Audio-Processing, Robotik-Plattformen bis zu Simulationsumgebungen und spezialisierte NLP-Libraries. ## Audio-Processing & Speech-to-Text …

## Überblick Agent-Orchestrierung beschreibt die Koordination und Steuerung mehrerer KI-Agenten oder einzelner Agenten mit komplexen Task-Workflows. Sie umfasst die Verwaltung von Prompts, Tool-Integration, Workflow-Logic und Evaluierungskriterien – typischerweise für [Foundation Models](/wiki/model/foundation-models/). ## Automatische Optimierung Manuelle …