Multimodal nennt man ein Modell, das mehrere Eingabearten verarbeitet — neben Text etwa Bilder, Audio oder Video.
Ein multimodales Modell kann etwa ein Bild beschreiben, Fragen zu einem Foto beantworten, aus Text ein Bild erzeugen oder gesprochene Sprache verstehen. Die verschiedenen Eingaben werden in eine gemeinsame Darstellung übersetzt, mit der das Modell rechnet.
Die Welt ist nicht nur Text. Multimodale Modelle öffnen Anwendungen von der Dokumentanalyse mit Screenshots bis zur Bildbeschreibung für Sehbehinderte — und sind ein Schritt hin zu Assistenten, die ihre Umgebung umfassender erfassen.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
