Eine neue Technik reduziert die Inferenzkosten von Small Language Models (SLMs) durch Vokabular-Spezialisierung um bis zu 77% – ein bedeutender Effizienzgewinn für praktische Produktionsanwendungen. Statt ein universelles Vokabular zu nutzen, werden die Token-Sets für konkrete Use-Cases optimiert, was zu schnelleren und günstigeren Inference-Läufen führt. Das ist relevant für Edge-Computing und Enterprise-Deployments, wo Kosteneffizienz kritisch ist. Die Erkenntnisse deuten darauf hin, dass angepasste SLMs eine vielversprechende Alternative zu größeren Frontier-Modellen für spezialisierte Aufgaben darstellen können.
