Unter Sparsity versteht man den Umstand, dass ein großer Teil der Werte in einer Matrix null ist. Rechenwerke können solche Nullen überspringen und die Multiplikation dadurch beschleunigen.
Eine Matrix heißt dünn besetzt, wenn die meisten ihrer Einträge null sind. Multiplikationen mit null ergeben immer null und tragen zum Ergebnis nichts bei — wer sie erkennt, kann sie auslassen und Rechenzeit sparen. Das Gegenstück ist die dicht besetzte Matrix, bei der jeder Eintrag gerechnet werden muss.
Neuronale Netze enthalten von Haus aus viele sehr kleine Parameter, die man auf null setzen kann, ohne das Ergebnis nennenswert zu verändern (Pruning, deutsch Beschneiden). Damit die Hardware davon profitiert, muss das Muster der Nullen allerdings regelmäßig sein: Nvidia-Beschleuniger ab der Ampere-Generation verarbeiten ein Muster, bei dem in jeder Vierergruppe von Gewichten genau zwei null sind, mit doppeltem Durchsatz.
Weil dieser Faktor zwei nur unter idealen Bedingungen erreicht wird, ist er eine häufige Quelle geschönter FLOPS-Angaben. Datenblätter nennen die Zahl mit Sparsity oft an prominenter Stelle und die Zahl ohne Sparsity in der Fußnote. Für den Vergleich zweier Systeme sind nur Werte brauchbar, die für dasselbe Zahlenformat und dieselbe Annahme über Sparsity gelten.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
