OpenAI hat nach Bericht von The Information die Inferenzkosten seiner Modelle um mehr als die Hälfte gesenkt – eine bedeutende Optimierung, die auch bei ChatGPT für Gast-Nutzer wirksam wird. Die technischen Verbesserungen führten dazu, dass der GPU-Bedarf für ChatGPT zeitweise auf wenige Hundert Nvidia-GPUs sank, statt in den Tausenden. Dies ist wirtschaftlich hochrelevant, da Inferenzkosten bisher ein großer Kostenfaktor für KI-Betreiber sind. Die Reduktion ermöglicht es OpenAI, rentabler zu operieren und gleichzeitig mehr Nutzer mit besserer Verfügbarkeit zu versorgen.
