Ereignis
Generatives Vortraining für Sprachmodelle
2018 stellten Forschende von OpenAI einen Ansatz vor, der die Transformer-Architektur mit generativem Vortraining auf nicht mit Aufgabenlabels versehenen Texten und anschließender Feinabstimmung für konkrete Sprachaufgaben verband. OpenAI bezeichnete den Ansatz 2019 rückblickend als GPT. Originalarbeit und Einordnung
Die Forschenden meldeten für neun von zwölf untersuchten Aufgaben Verbesserungen gegenüber dem damaligen Stand; das sind Ergebnisse bestimmter Tests, kein Nachweis allgemeinen Sprachverständnisses. OpenAI wies zugleich auf brüchige Verallgemeinerung hin. Quellen GPT-2 folgte 2019.
Belege
- Originalarbeit und OpenAI-Beiträge: Verfahren, Ergebnisse und spätere Bezeichnung.
Offen
Trainingsdaten und Vergleich zu gleichzeitigem BERT anhand weiterer Quellen vertiefen. / Examine training data and comparison with contemporary BERT using additional sources.