Der Vortrag behandelt den GitHub Copilot von OpenAI. Aufbauend auf einem Encoder-Decoder Modell wird durch den GPT-3 Transformer ein Werkzeug für die Sprachverarbeitung implementiert. Dabei erstellt der GPT-3 Transformer mithilfe eines Aufmerksamkeitsmechanismus natürlichsprachliche Texte, die von denen eines Menschen kaum zu unterscheiden sind. Zusammen mit dem Model Codex, das von Guthub und OpenAI gebaut ist, ergeben sich dadurch zahlreiche Möglichkeiten, zu einer natürlichsprachlichen Eingabe des Entwicklers passenden Programmiersnippets vorzuschlagen. GitHub Copilot ist jedoch mehr als die automatische Vervollständigung erkannter Sprachmuster. Es verwendet den bereitgestellten Kontext, um einen passenden Code zu synthetisieren.