SWEbench war lange das Maßstab-Testverfahren, um Coding-Modelle und KI-Agenten bei Software-Engineering-Aufgaben zu bewerten. Die Aussage „SWEbench is done" deutet an, dass das Benchmark entweder seine Aussagekraft verloren hat oder von moderneren Verfahren abgelöst wurde. Dies hat Relevanz für die KI-Community, die solche Benchmarks zur Modell-Evaluierung nutzt. Der Post selbst bietet aber keine Substanz-Details – weder zum Grund noch zu Alternativen. Wer Matthew Berman folgt, wird zur Community geleitet statt informiert.
