Suche

Golem hat seine Leser gefragt, was nach dem Platzen der KI-Blase kommt. Fast niemand nennt ein Kriterium, an dem er sein eigenes Urteil später messen könnte. Vier davon, mit Datum und Preisschild — und die …

Ein Erklärvideo bestreitet die verbreitete Gleichsetzung von RAG mit einer Vektordatenbank. Der Abgleich mit den Primärquellen von Anthropic und Andrej Karpathy bestätigt die Zahlen und zeigt, welche praktisch wichtigste Technik dabei nur angedeutet wird.

Mini-PCs mit AMDs Strix-Halo-Chip versprechen Sprachmodelle mit hunderten Milliarden Parametern im Wohnzimmer. Nachgemessen auf der eigenen Box: was in den Speicher passt, welche Token-Raten realistisch sind und welcher Hardware-Haken im Playbook fehlt.

278 Euro im Monat für 20 GB Grafikspeicher, oder einmalig ein Mini-PC mit 96 GB. Die beiden Modelle aus dem c't-Test des Hetzner GEX44 nachgemessen — und ein drittes, das auf dem Mietserver gar nicht …

c't 3003 betreibt den Hermes-Agenten komplett lokal mit Qwen 3.6 27B. Mein Pi-Agent schickt seine Prompts weiter in die Cloud — was ein Log mit 37.588 Token darüber verrät, welche Zahl bei Agenten wirklich zählt.

Drei chinesische Open-Weights-Flaggschiffe vergleichen sich nicht mehr mit anderen freien Modellen, sondern mit der US-Spitze — zum Bruchteil des Preises. Ein YouTube-Praxistest und die Einordnung, was davon stimmt.

Ollama, LM Studio und Amuse auf eigener Hardware: was Parameterzahl und Quantisierung bedeuten, wie das AMD AI Bundle die Installation unter Windows abnimmt — und wie derselbe Stack unter Linux eingerichtet wird.

Drei Geräte teilen sich den Markt der Unified-Memory-Workstations: HP Z2 Mini G1a (Ryzen AI Max+), Asus Ascent GX10 (Nvidia DGX Spark) und Apple Mac Studio M4 Max. Alle mit 128 GByte Unified Memory ab ~3.000 …

## Überblick Lokale KI-Inferenz auf eigener Hardware wird zunehmend praktikabel und wirtschaftlich. Für Entwickler:innen bietet sich ein vielfältiges Spektrum: von Consumer-Laptops mit Apple Silicon über DIY-Homelab-Server bis zu spezialisierter Enterprise-Hardware. Die Kostenrechnung gegen Cloud-APIs wird …

## Überblick Edge Deployment bezeichnet die Ausführung von KI-Modellen direkt auf Grenzgeräten (edge devices) – Robotern, IoT-Hardware, eingebetteten Systemen – statt auf zentralen Servern. Ziele sind Latenzreduktion, Datenschutz durch lokale Verarbeitung, Offline-Betrieb und reduzierte Netzwerkabhängigkeit. …