Suche

278 Euro im Monat für 20 GB Grafikspeicher, oder einmalig 1.785 Euro für 96 GB. Ich habe die beiden Modelle aus dem c't-Test des Hetzner GEX44 auf meinem eigenen Mini-PC nachgemessen — und ein drittes, …

c't 3003 betreibt den Hermes-Agenten komplett lokal mit Qwen 3.6 27B. Mein Pi-Agent schickt seine Prompts weiter in die Cloud — was ein Log mit 37.588 Token darüber verrät, welche Zahl bei Agenten wirklich zählt.

## Überblick Guides und Dokumentationen zum Setup lokaler LLM-Inferenz auf eigener Hardware. Fokus auf Self-Hosted-Szenarien, Hardware-Kombinationen und praktische Konfiguration mit gängigen Frameworks. ## Frameworks und Tools - **[OpenWebUI](/wiki/tutorial/openwebui/)**: Web-Interface für lokale Modelle, oft in Kombination …

## Überblick Lokale KI-Inferenz auf eigener Hardware wird zunehmend praktikabel und wirtschaftlich. Für Entwickler:innen bietet sich ein vielfältiges Spektrum: von Consumer-Laptops mit Apple Silicon über DIY-Homelab-Server bis zu spezialisierter Enterprise-Hardware. Die Kostenrechnung gegen Cloud-APIs wird …

## Überblick Autonome Agenten und Agentic AI beschreiben Systeme, die eigenständig Ziele verfolgen, Aufgaben planen und zielgerichtet handeln – typischerweise auf Basis von [Large Language Models](/wiki/llm-foundation/). Im Open-Source-Ökosystem entstehen spezialisierte Modelle, Frameworks und Werkzeuge für …

## Überblick Developer-Tools im KI-Kontext umfassen Code-Assistenten, APIs, lokale Modelle und Best-Practices beim Prompt Engineering. Der Markt verschiebt sich zunehmend zu agentic workflows, On-Device-Verarbeitung für bessere Latenz und Datenschutz, sowie zu Headless-Architekturen, die APIs über …

## Überblick Edge Deployment bezeichnet die Ausführung von KI-Modellen direkt auf Grenzgeräten (edge devices) – Robotern, IoT-Hardware, eingebetteten Systemen – statt auf zentralen Servern. Ziele sind Latenzreduktion, Datenschutz durch lokale Verarbeitung, Offline-Betrieb und reduzierte Netzwerkabhängigkeit. …

Benchmark-Fokus auf Coding-Performance und Effizienzmetriken – wie schnell und ressourcenschonend Sprachmodelle Programmieraufgaben lösen. ## Efficiency-Sprünge bei Coding-Modellen Die Coding-Landschaft verschiebt sich stark in Richtung Effizienz: Kleinere Modelle erzielen inzwischen die Performance grösserer Vorgänger, während Inferenzkosten …