Ereignis
Der Transformer für maschinelle Übersetzung
Die 2017 veröffentlichte Forschungsarbeit Attention Is All You Need stellte die Transformer-Architektur vor. Die Autoren untersuchten die auf Attention statt Rekurrenz und Faltung beruhende Architektur an Aufgaben der maschinellen Übersetzung. Forschungsarbeit Quelle
Die Arbeit nennt acht Personen und kennzeichnet ihre Beiträge als gleichwertig. Ein späteres Beispiel für eine darauf aufbauende Entwicklung ist BERT von 2018. Autorenschaft
Vereinfacht betrachtet kann Self-Attention Beziehungen zwischen verschiedenen Teilen eines Satzes gewichten. Beim ursprünglichen Übersetzungsmodell verarbeitet ein Encoder die Eingabe; ein Decoder erzeugt daraus die Übersetzung schrittweise. Die Konferenzfassung meldete 28,4 BLEU für Englisch–Deutsch auf dem WMT-2014-Test. Das ist eine automatische Kennzahl für diesen Test, keine Prozentzahl für allgemeines Sprachverständnis. Versuch und Erklärung
Bei Englisch–Französisch nennt die Konferenzfassung 41,0 BLEU. In der späteren arXiv-Fassung v7 stehen 41,8 in Zusammenfassung und Tabelle, aber weiterhin 41,0 im Ergebnisteil. Der Grund und der zutreffende Wert sind nicht geklärt. Fassungsvergleich
Eine weitere Abweichung steht auf der NeurIPS-Metadatenseite: Ihr HTML-Abstract nennt 41,1 für Englisch–Französisch und 27,5 für Englisch–Deutsch, während das verlinkte Konferenz-PDF 41,0 beziehungsweise 28,4 nennt. Der arXiv-Abstract änderte sich zwischen v4 im Juni und v5 im Dezember 2017 von 41,0 auf 41,8. Die Ursachen dieser Abweichungen sind nicht belegt. Originalfassungen
Die Konferenzfassung vergleicht 41,0 für das große Transformer-Einzelmodell mit 41,29 für ein ConvS2S-Ensemble in derselben Tabelle. Ihr Ergebnisteil beansprucht den Vorsprung deshalb gegenüber früheren Einzelmodellen. In der späteren arXiv-Tabelle steht für Transformer 41,8; bei einem Vergleich muss die Fassung genannt werden. Originaltabellen
Belege
Übersetzungsversuche und Fassungsunterschied: Konferenzfassung, arXiv und Erklärung eines Mitautors.
Originalarbeit und Autorenschaft: Namen, gleichwertige Beiträge und Versuchsrahmen.
Quellenhinweis: Autorenliste, NIPS 2017 und Abstract.
Offen
Ursache und zutreffenden Englisch–Französisch-Wert unabhängig klären; arXiv v7 ist auch intern uneinheitlich. / Independently resolve the cause and correct English-to-French value; arXiv v7 is internally inconsistent.