Mit dem neuen llm-chat-completions-server können Nutzer ihre lokal installierten Language Models über eine OpenAI Chat Completions-kompatible REST-API ansteuern. Das Tool baut auf der neuen Content-addressable-Log-Architektur des LLM-Frameworks auf und dedupliziert längere Gesprächsverläufe intelligent durch Message-Hashing. Der Server läuft lokal auf einem konfigurierbaren Port und exponiert alle verfügbaren Modelle einheitlich – eine praktische Bridge zwischen lokalen Open-Source-Modellen und dem verbreiteten OpenAI-Standard.
