【美國牛棚】ChatGPT引發市場熱潮，AI再度火熱？

OpenAI發佈免費機器人對話模型ChatGPT(GPT-3.5系列)，模型中首次採用RLHF(從人類反饋中強化學習)方式。模型目前處於測試階段，面世一週便已有超過一百萬用户使用。

與此前的模型相比，ChatGPT亮點主要包括：(1)全面免費開放，OpenAI所有用户只需輸入文字，就可免費完成各種事情(如算數學、debug、寫信、生活問題解答等)；(2)新增Code理解和生成能力，彰顯技術實力的同時也加深了應用場景；(3)加入道德原則。RLHF訓練方式使ChatGPT能夠識別惡意訊息，識別後拒絕給出有效回答；(4)支援連續對話。ChatGPT具有記憶能力，提高了模型的交互體驗。參考部份實際體驗，ChatGPT對大部分問題的回答都較為合理，對於寫信、寫短文等需要創作的要求也可以給出較為豐富流暢的文筆；總體上，ChatGPT對話效果令人滿意，新鮮感與實用價值使其快速走紅。

通過梳理前幾代模型，新技術RLHF訓練方式的引用或是關鍵：

(1)從GPT到GPT3：主要來自算力增加(燒錢)。GPT、GPT-2和GPT-3在算法模型並沒有太大改變，但參數量從1.17億增加到1750億，預訓練數據量從5GB增加到45TB，其中GPT-3訓練一次的費用是460萬美元，總訓練成本達1200萬美元。雖然訓練數據量和算力大幅增加使GPT3有顯著提升，但高額投入也使其只能加快商業變現。

(2)變化出現在22年推出的GPT3.5，技術迭代成提升來源：Instruct GPT(1月發佈)模型中增加了人類對模型輸出結果的演示，並在對結果進行排序的基礎上訓練，加上指令調整的幫助，雖然其只有13億個參數，但回答準確率、道德表現卻好於GPT-3。ChatGPT則加入了RLHF訓練方式(相關論文22年3月發表)，根據ChatGPT，其每次對話平均費用在0.01-0.2美元，模型效果比Instruct GPT又提升一個臺階。新技術發展和應用將是AIGC工具出現革命性迭代更為重要的驅動。

瑞銀認為，市場最關心的三大宏觀經濟因素——通脹、利率和經濟增長——將有望在2023年迎來拐點。

不過，ChatGPT也有一些不足。據官網顯示，ChatGPT目前存在着一些侷限性，包括：有時會給出看上去正確但荒謬的答案、微調提問的方式會得到完全不同的答案、有時會反覆使用某些句子等等。在實際體驗中也能感受到，這些問題來自訓練過程和數據集的侷限性。ChatGPT本次免費開放能夠進一步強化訓練，從而完善模型品質。2022年以來AIGC(AI-generated content)應用多點開花，ChatGPT是又一個起點，隨着深度學習模型不斷完善、開源模式的推動、大模型探索商業化的可能，AIGC有望加速發展。

ChatGPT更具有將AI能力與工作流程相結合的潛力，這種集中式的訓練對GPU、儲存、機房、供電等基礎設施均有巨大需求。人工智慧是一個龐大的市場機會，根據Zion Market發布的報告顯示，預計到2028年，該行業產值將從2022年的597億美元增加到4224億美元；從下游相關受益應用來看，包括但不限於代碼機器人、小説衍生器、對話類搜索引擎、語音工作助手、虛擬對話等。從上游增加需求來看，包括算力、數據標籤、自然語言處理（NLP)等。

微軟(MSFT US) 微軟與人工智慧研究室OpenAI合作構建一台新的超級電腦，可以為其他組織和開發人員生成大型AI模型以及相關架構。

谷歌(GOOG US) Alphabet幾乎在所有業務線中都使用了AI和自動化，例如廣告訂價、內容推廣和Gmail垃圾郵件篩檢程式等。

亞馬遜(AMZN US) 人工智慧存在於亞馬遜業務的方方面面，例如有針對性的廣告、電子商務搜索演算法和AWS等，許多家庭已經安裝了亞馬遜的虛擬助手Alexa。

直覺外科(ISRG US) 直覺外科銷售用於微創手術的da Vinc手術系統，該系統使用先進的機器人技術和電腦視覺化技術。