Die Dissertation meines Bachelor-Absolventen struggle ein Forschungsprojekt zur Verarbeitung natürlicher Sprache (NLP). Der Schwerpunkt lag auf der mehrsprachigen Textgenerierung in unterrepräsentierten Sprachen. Da vorhandene Metriken bei der Auswertung der Ergebnisse von Modellen, die auf dem von mir verwendeten Datensatz trainiert wurden, sehr schlecht abschnitten, musste ich eine erlernte Regressionsmetrik trainieren.

Regression wäre für viele Textaufgaben nützlich, wie zum Beispiel:

• Stimmungsanalyse: Sagen Sie die Stärke einer positiven oder negativen Stimmung vorher, anstatt eine einfache binäre Klassifizierung vorzunehmen.
• Einschätzung der Schreibqualität: Sagen Sie voraus, wie hoch die Qualität eines Textes ist.

Für meinen Anwendungsfall benötigte ich das Modell, um zu bewerten, wie intestine die Vorhersage eines anderen Modells für eine bestimmte Aufgabe struggle. Die Zeilen meines Datensatzes bestanden aus der Texteingabe und einer Beschriftung, 0 (schlechte Vorhersage) oder 1 (gute Vorhersage).

• Eingang: Textual content
• Etikett: 0 oder 1
• Die Aufgabe: Sagen Sie eine numerische Wahrscheinlichkeit zwischen 0 und 1 voraus

Für Erzeugungsaufgaben werden jedoch meist transformatorbasierte Modelle eingesetzt. Warum sollten Sie einen vorab trainierten LM verwenden für…