Knowledge Distillation – das Verfahren, Wissen von großen Modellen auf kleinere zu übertragen – ist theoretisch wertvoll, scheitert aber oft an den Kosten im großen Maßstab. Neue Arbeiten adressieren diese Effizienz-Probleme und machen die Methode praktisch für breitere Anwendung. Das ist relevant, weil kleinere, günstigere Modelle den Einsatz von KI in der Praxis transformieren könnten – für Unternehmen, Edge-Geräte und ressourcenbegrenzte Szenarien.
