FLOPS (Floating Point Operations Per Second) bezeichnet die Anzahl der Gleitkommaoperationen, die ein Rechensystem pro Sekunde ausführt. Es ist die gebräuchliche Maßeinheit für Rechenleistung im wissenschaftlichen Rechnen und in der KI.
Eine Gleitkommaoperation ist eine einzelne Rechnung mit einer Kommazahl, etwa eine Addition oder Multiplikation. Da neuronale Netze im Kern aus Matrixmultiplikationen bestehen, also aus sehr vielen solcher Rechnungen, eignet sich das Maß für den Vergleich von KI-Hardware. Die Einheit wird mit den üblichen Vorsätzen skaliert: ein TeraFLOPS ist eine Billion Operationen pro Sekunde, ein PetaFLOPS eine Billiarde, ein ExaFLOPS eine Trillion.
Eine FLOPS-Angabe ist ohne die zugehörige Rechengenauigkeit nicht interpretierbar. Rechenwerke verarbeiten pro Takt mehr Werte, wenn diese in einem kompakteren Format vorliegen: Ein Beschleuniger, der zwei Werte im 64-Bit-Format (FP64) schafft, kann im selben Takt deutlich mehr Werte im 8- oder 4-Bit-Format verarbeiten. Dieselbe Hardware trägt deshalb je nach genanntem Format sehr unterschiedliche FLOPS-Zahlen (siehe Quantisierung). Kommt zusätzlich Sparsity ins Spiel, verdoppelt sich der genannte Wert bei manchen Beschleunigern noch einmal.
Zu unterscheiden ist die theoretische Spitzenleistung — Taktrate mal Rechenwerke, eine reine Multiplikation aus dem Datenblatt — von der Leistung, die ein Benchmark tatsächlich misst. Der gemessene Wert liegt regelmäßig darunter, weil Speicherzugriffe und Datentransport bremsen. Wie weit er darunter liegt, hängt von Architektur und Aufgabe ab und lässt sich nicht als feste Faustregel angeben.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
