Beam Search ist eine Decoding-Strategie, die mehrere Fortsetzungen parallel verfolgt (die 'Beams') und am Ende die insgesamt wahrscheinlichste Sequenz wählt.
Die Idee
Greedy entscheidet bei jedem Token endgültig und kann so die insgesamt beste Formulierung verpassen. Beam Search hält stattdessen die k aussichtsreichsten Teilsätze gleichzeitig im Rennen, setzt jeden fort und behält erneut die besten k — bis am Ende die beste Gesamtsequenz feststeht.
Kosten und Nutzen
Mehr Beams (größeres k) finden tendenziell flüssigere Ergebnisse, kosten aber entsprechend mehr Rechenzeit.
Wo man es nutzt
Beam Search war lange Standard bei Übersetzung und Zusammenfassung, wo es eine 'richtige' Zielsequenz gibt. Bei kreativen, offenen Texten nutzt man heute eher Sampling, weil Beam Search dort zu glatt und vorhersehbar wirken kann.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
