Ein Feature (deutsch Merkmal) ist eine einzelne messbare Eigenschaft der Eingabedaten, aus der ein Modell lernt — etwa Größe, Farbe oder Wortzahl. Das gezielte Auswählen und Konstruieren guter Features heißt Feature Engineering.
Ein Modell verarbeitet keine Rohwirklichkeit, sondern Zahlen. Features sind die einzelnen Eigenschaften, mit denen ein Datenpunkt beschrieben wird: bei einer Wohnung etwa Fläche, Zimmerzahl und Baujahr. Die Wahl der Features bestimmt maßgeblich, wie gut ein Modell lernen kann.
Lange war das Konstruieren aussagekräftiger Features aus den Rohdaten — das Feature Engineering — die zentrale, handwerkliche Aufgabe im maschinellen Lernen. Dazu gehört, Werte zu kombinieren, zu normieren oder unwichtige wegzulassen, damit die für die Aufgabe wesentliche Information klar hervortritt.
Deep Learning verschob diese Aufgabe: Tiefe neuronale Netze lernen brauchbare Features selbst aus den Rohdaten, statt sie von Hand vorgegeben zu bekommen. Die gelernten Merkmalsdarstellungen eines Sprachmodells sind die Embeddings — Features, die das Modell im Training selbst gebildet hat.