Mixture of Experts (MoE) ist eine Architektur, bei der pro Anfrage nur ein Teil des Modells ('Experten') aktiv wird, statt des ganzen.
Statt für jedes Token das gesamte Modell zu durchlaufen, gibt es viele spezialisierte Teilnetze ('Experten'). Ein kleiner 'Router' wählt pro Token einige wenige aus, die rechnen — der Rest bleibt untätig und damit günstig.
Man bekommt die Fähigkeit eines sehr großen Modells (viele Parameter insgesamt), zahlt aber pro Token nur für die aktiven Experten. Das senkt die Rechenkosten je Anfrage deutlich.
MoE-Modelle sind komplexer zu trainieren und zu betreiben, und sie brauchen trotzdem viel Speicher, weil alle Experten vorgehalten werden müssen — auch wenn pro Token nur wenige rechnen.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
