moinsen / SoftwaregeschichteEN ↗
← Zur Zeitreise

Thema

Sprachmodelle und die Frage nach offener KI

2017 stellte ein Forschungsteam die Transformer-Architektur für Aufgaben der maschinellen Übersetzung vor. 2018 nutzte BERT Transformer für Sprachverstehen und bezog Kontext von beiden Seiten ein. Es handelt sich um unterschiedliche Forschungsarbeiten und Aufgaben.

Mit GPT-3 untersuchten Forschende 2020 unter anderem, wie ein Sprachmodell Aufgaben mit wenigen Beispielen im Eingabetext bearbeitet. ChatGPT kam 2022 als dialogorientierte Forschungsvorschau hinzu. Der 2023 veröffentlichte Bericht zu GPT-4 beschrieb Text und Bilder als mögliche Eingaben, aber auch unzuverlässige Ergebnisse. Forschungsberichte und der tatsächliche Zugang zu einzelnen Produktfunktionen sind getrennt zu betrachten.

Ebenfalls 2023 veröffentlichte Meta Llama 2 mit verfügbaren Modellgewichten unter einer eigenen Lizenz. Die Open Source Initiative widersprach Metas Bezeichnung als Open Source und verwies auf Lizenzbeschränkungen. An diesem Beispiel zeigt sich: Ein Modell nutzen zu können, beantwortet noch nicht jede Frage nach Daten, Weitergabe und erlaubten Einsatzzwecken.