moinsen / SoftwaregeschichteEN ↗
← 2018

Ereignis

Generatives Vortraining für Sprachmodelle

Einordnung und Recherchestand
  • Kennung: 2018-generatives-vortraining
  • Zeitraum: 11. Juni 2018
  • Datumsgenauigkeit: Tag / day
  • Art: Forschung / research
  • Kategorien: Sprachen und Techniken, Prägende Akteure, Ereignisse
  • Akteure und Rollen: Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever: Forschung; OpenAI: Veröffentlichung
  • Region: international

2018 stellten Forschende von OpenAI einen Ansatz vor, der die Transformer-Architektur mit generativem Vortraining auf nicht mit Aufgabenlabels versehenen Texten und anschließender Feinabstimmung für konkrete Sprachaufgaben verband. OpenAI bezeichnete den Ansatz 2019 rückblickend als GPT. Originalarbeit und Einordnung

Die Forschenden meldeten für neun von zwölf untersuchten Aufgaben Verbesserungen gegenüber dem damaligen Stand; das sind Ergebnisse bestimmter Tests, kein Nachweis allgemeinen Sprachverständnisses. OpenAI wies zugleich auf brüchige Verallgemeinerung hin. Quellen GPT-2 folgte 2019.

Belege

Offen

Trainingsdaten und Vergleich zu gleichzeitigem BERT anhand weiterer Quellen vertiefen. / Examine training data and comparison with contemporary BERT using additional sources.