Google已經獲得Transformer專利

從推出至今，Transformer 已成為眾多模型的核心模組，例如大家熟悉的BERT、T5 等都有Transformer 的身影。

就連近段時間爆火的ChatGPT 也依賴Transformer，後者早已被Google申請了專利。

此外OpenAI 發布的系列模型GPT（Generative Pre-trained Transformer），名字中帶有Transformer，可見Transformer 是GPT 系列模型的核心。

同時，最近OpenAI 聯合創始人Ilya Stutskever 在談到Transformer 時表示，

當Transformer 剛發布之初，實際上是論文放出來的第二天，他們就迫不及待將以前的研究切換到Transformer ，後續才有了GPT。可見Transformer 的重要性不言而喻。

連結：https:// patents.google.com/patent/US10452