從推出至今,Transformer 已成為眾多模型的核心模組,例如大家熟悉的BERT、T5 等都有Transformer 的身影。
就連近段時間爆火的ChatGPT 也依賴Transformer,後者早已被Google申請了專利。
此外OpenAI 發布的系列模型GPT(Generative Pre-trained Transformer),名字中帶有Transformer,可見Transformer 是GPT 系列模型的核心。
同時,最近OpenAI 聯合創始人Ilya Stutskever 在談到Transformer 時表示,
當Transformer 剛發布之初,實際上是論文放出來的第二天,他們就迫不及待將以前的研究切換到Transformer ,後續才有了GPT。可見Transformer 的重要性不言而喻。
連結:https:// patents.google.com/patent/US10452