moinsen / SoftwaregeschichteEN ↗
← 2018

Ereignis

BERT untersucht Sprachkontext

Einordnung und Recherchestand
  • Kennung: 2018-bert
  • Zeitraum: Oktober–November 2018
  • Datumsgenauigkeit: Monat / month
  • Art: Forschung und Softwarefreigabe / research and software release
  • Kategorien: Sprachen und Techniken, Ereignisse
  • Akteure und Rollen: Jacob Devlin, Ming-Wei Chang, Kenton Lee und Kristina Toutanova: Forschung; Google: Forschungsorganisation
  • Region: International

Ein Forschungsteam stellte 2018 BERT vor, ein vortrainiertes Modell auf Basis der Transformer-Architektur für Aufgaben des Sprachverstehens. Es berücksichtigt bei der Darstellung von Wörtern Kontext auf beiden Seiten. Beim Vortraining sagte das Modell unter anderem verdeckte Textteile aus dem umgebenden Kontext voraus; anschließend ließ es sich für konkrete Aufgaben weitertrainieren. Google kündigte im November die Freigabe von Code und vortrainierten Modellen an. Quelle

Die zunächst im November 2018 freigegebenen Modelle waren laut Google englischsprachig. Im Oktober 2019 beschrieb das Unternehmen eine separate Anwendung von BERT-Modellen in seiner Suchmaschine: Für die Rangfolge erwartete es Verbesserungen beim Verständnis von etwa jeder zehnten englischsprachigen Suchanfrage in den USA. Das ist eine damalige Anbieterangabe und keine weltweite Erfolgsquote. Forschungsfreigabe und Such-Ankündigung

Belege

Offen

Unabhängige Untersuchungen zur tatsächlichen Wirkung auf Suchergebnisse und zu weiteren Sprachen prüfen. / Investigate independent evidence about actual effects on search results and additional languages.