Pre-training as we know it will unquestionably end.
Compute is growing: Better hardware/Better algorithms/Large clusters
Data is not growing: We have but one internet/The fossil fuel of AI
Ilya Sutskever
Scaling 模式的極限? 與 AI 發展新方向
Ilya Sutskever，前 OpenAI 首席科學家，在去年底的一次演說中提到，當前 AI 模型的預訓練模式——以數據與參數規模不斷擴大的 Scaling 模式——即將接近尾聲。雖然算力仍在快速增長，但資料如同石油化石燃料，已經接近枯竭。這番言論引發了市場的巨大討論，許多人擔心 AI 的發展是否已經到了盡頭。
回顧 OpenAI 的發展歷程，從 2018 年推出 GPT-1（1.17 億參數），到 2019 年的 GPT-2（15 億參數）、2020 年的 GPT-3（175 億參數），再到 2023 年的 GPT-4（推測達 1.7 兆參數），一路採用了透過增加參數與數據規模來提升性能的路徑。然而，這種模式如今似乎已到極限。自 GPT-4 後，至今未見 GPT-5 或 Orion 推出，反映出 Scaling 模式的瓶頸逐漸顯現。
相對於以往的增長模式，OpenAI 在 2024 年推出了 Test Time Compute 的 O 系列推理模型，這類模型就像是《快思慢想》（Thinking, Fast and Slow）中的系統二，能夠進行更慢、更深度的推理，解決更複雜的生活問題，而原先的 LLM 是屬於系統一可以快速、直覺回答問題。去年底 Google 推出 Gemini 2.0 Flash Thinking 一樣是朝這個方向，Anthropic 也會在今年推出他的 reasoning model，這表明，未來的 AI 發展可能會更多地依賴於其他方向的創新方法，而不是單純追求模型的規模擴張。未來 AI 發展的三大方向
Ilya Sutskever 在演說中也提到，AI 的未來發展將聚焦以下三個方向：
- Agent（智能代理）
AI 模型將進一步發展自主性，能夠代替人類執行任務，從輔助工具升級為任務代理。 - Synthetic Data（合成數據）
利用生成數據來彌補真實數據的不足。 - Inference Time Compute（推理階段計算）
AI 模型在推理階段將進行動態調整，結合提出各種方案判斷與自我驗證等思考路徑，以提升模型表現。
因此，在探討 AI 的發展與投資方向時，我們不需要過於擔憂網路上的文字資料即將耗盡的問題。半導體分析公司 Semi Analysis 創辦人 Dylan Patel 在 BG2 Podcast 的訪談中提到，許多影片資料目前尚未被用於訓練，而 Synthetic Data（合成數據）的發展才剛起步。合成數據需要透過模型運算生成，以模型訓練模型，而 reasoning model（推理模型）的 inference time compute（推理階段計算）仍然依賴大量算力支持。
微軟在幾天前也宣布，將在 2025 財務會計年度持續投入 800 億美元建設資料中心，各大科技巨頭在 AI 資料中心的建設競賽中依然激烈，相關基礎設施需求仍有持續的成長空間。
AI 基礎建設、模型與應用的投資機會
對於 AI 的投資機會，我們可以從三個層次進行分析發掘：基礎建設、模型層級與應用層級。
1. 基礎建設：AI 技術的支柱
上一次回顧去年2024年度漲幅發現 AI 基礎建設相關公司得到不錯的報酬， AI 大量應用帶動了從晶片設計、晶圓製造封測、半導體設備、半導體材料、HBM 記憶體、網通、資料中心基礎設備（如散熱冷卻、電源、機櫃），甚至是資料中心土地、水電、能源公司。還有軟體方面的基礎建設，雲端資料中心/資料數據平台建立/資料整合分析/資安/模型訓練服務等全面需求，2025年應該都還能持續成長。
2. 模型層級：技術創新的核心
中間模型層級，OpenAI（GPT 系列）、 Anthropic (Claude) 、Google (Gemini)、Meta (Llama)、xAI (Grok)、Amazon (Nova)、法國公司 Mistral、中國 DeepSeek 等企業的模型技術競爭日益激烈。對於一般投資者，實際投資層面，如果想直接投資參與大模型 AGI 競爭，目前最容易還是投資其母公司（Microsoft、Alphabet、Meta、Amazon）。
3. 應用層級：市場價值的放大器
AI Agent 是未來 AI 的主要應用方向之一。在軟體工程方面，像是 Github copilot/Cursor 輔助 coding 工具，到像 Cognition AI 的 Devin 公司目標是想直接取代軟體工程師幫我們完成專案任務。去年，Anthropic 的 "Computer Use" 和 Google Chrome 的 "Browser Use" 功能，可以看作是 AI Agent 發展的初步嘗試。雖然目前這些功能主要透過圖形化界面（GUI）實現自動化，但這應該只是階段性過渡。畢竟，GUI 是為人類使用而設計，而程式之間的自動化操作未來仍會更多地依賴 API 的串接方式，這樣不僅更加簡單快速，也更具可靠性。特斯拉的 FSD 正是展示出 AI Agent 在實際生活應用中的案例，它通過取代人類駕駛，不僅能解放開車通勤時間，還能提供更高的行車安全性。
AI 應用層的新創公司多數仍集中在一級市場，一般投資者難以像風險投資（VC）那樣分散投資於多家公司，並期待其中一兩家能帶來超額回報。不過在次級市場中，我們仍可以尋找潛力公司進行分散投資，但其實大多數情況下，投資科技巨頭仍是參與 AI 浪潮的主要途徑，因為 AI 新創公司要生存下去真的不容易。
以 Adept 為例，其創辦人 David Luan 是 OpenAI 的創始成員之一。他與團隊開發的 ACT-1 模型，旨在讓 AI 與各類軟體和應用程式無縫協作，幫助用戶完成所有工作，這正是實現 AI Agent 的願景。然而，AI 新創公司不僅需要探索應用場景，還需自行研發大型模型，這對資金需求極為龐大。去年 6 月，Adept 已被亞馬遜以收購式聘僱的方式吸納其核心人才。
類似的收購案例還包括亞馬遜對 Covariant（專注於電商倉庫和配送中心的機器人自動化公司）的收購。Google 也通過收購式聘僱將 Character AI 的核心人才整合至其 Gemini AI 項目。微軟則延攬了 Inflection AI 的重要人才，進一步加強自身在 AI 領域的競爭力。
此外，AI 新創公司 Perplexity 專注於 AI Search 應用，其基礎模型支持多種選擇（如 Claude 3.5 Sonnet/Haiku、ChatGPT 4o/o1 和 xAI Grok2等），但同樣面臨來自大模型公司（如 GPT Search）以及傳統 Google Search 在轉型過程中的激烈競爭。
科技巨頭 Magnificent 7 的 AI 布局分析
在分析 AI 的投資機會時，可以從基礎建設、模型開發和應用層三個方向尋找相關公司。而 AI 的發展依賴於三大關鍵因素：數據、演算法（可視為人才）、以及算力（如自有資料中心）。大型科技巨頭通常在這三個層級均有布局，並涵蓋基礎設施、模型研發和應用層面的多重領域，只是可能各自深度不一樣，應用方式不同，算是投資 AI 的穩健選擇。
Three key pillars of AI: Data, Algorithms, and Compute
- Tesla
Tesla 擁有龐大的行車影像數據，同時自建大型 AI 資料中心，並匯聚了頂尖的 AI 人才，其技術應用於 FSD、Robotaxi 以及人形機器人等領域。未來在車隊無載客需求時，這些車輛還可用於分布式推論運算，進一步提升資源利用效率。在能源業務方面，Tesla 開發的 Autobidder AI 系統，可根據電價波動自動調度電力的買賣，幫助企業和能源供應商實現收益最大化。此外，X 平台的大量社群數據與 xAI 的人才交流，未來的模型整合也將間接幫助特斯拉的技術與業務發展。 - Meta (Facebook)
Meta 也自建大規模資料中心，並研發自家大型模型（Llama），且採取大量開源的策略，推動 AI 技術進一步優化其推薦算法和廣告業務。此外，Meta 正積極開發智慧眼鏡等硬體設備，這些產品有望成為未來 AI 應用的最佳場景之一。從基礎設施到模型研發，再到多樣化的應用，Meta 的 AI 佈局全面且多層次。 - Nvidia
傳統上被視為 GPU 供應商，但近年做的事情其實橫跨「GPU / DPU / CPU / ASIC、AI框架、 Omniverse、機器人平台、車用自駕系統、Quantum AI等應用」。它已不只是一家「晶片硬體公司」，而逐漸轉型成「全方位 AI 解決方案供應商」，從上到下跟各特定領域合作各種應用。 - Amazon
以 AWS 為核心的雲端算力，除了Nvidia，也提供自研的 Trainium 訓練晶片，大幅降低運算成本。同時，Amazon 投資於 Anthropic 並計劃建設 Ultracluster，以助力實現 AGI（通用人工智慧）。此外，公司內部還擁有 Titan 和 Nova 等模型，進一步提升其 AI 能力。在應用層面，Amazon 的 AI 技術廣泛應用於電商零售、無人商店、廣告業務和物流領域，包括無人機配送（drone delivery）和倉儲機器人等創新場景。可以說，Amazon 在基礎設施與應用層的布局上展現了極高的全面性與競爭力。 - Alphabet (Google)
Google 自建了 TPU（ASIC）資料中心，並擁有 DeepMind 和 Brain 團隊，構建了從基礎設施到應用的完整 AI 生態系統。其 Google Cloud Platform（GCP）在提供 AI 資料中心租用服務方面實現了穩定的獲利。有持續創新的 Gemini 大模型，AI Overview在 Google Search 的整合，Gemini 應用於 Google 服務（如 Workspace 和其他 Google services）的各項功能中。但在創新方面，Google 面臨兩難局面（dilemma）：一方面需要快速推進 AI 技術；另一方面又擔心過快的變革可能對其目前最主要的收入來源——Google Search 業務造成衝擊。 - Microsoft
微軟在 AGI（通用人工智慧）競賽中大力投資 OpenAI，並在大規模投資 AI 資料中心建設，相信未來會有許多 AI創新應用都會需要 Azure 的 AI 資料中心幫忙，並且把 AI 功能整合在 Office 365、GitHub Copilot、Windows 11 中做應用，也有自己研發小模型 Phi-3 布局給 AI PC 或其他終端裝置中使用。 - Apple
相較其他科技巨頭，Apple 沒有大幅增加資本支出，Apple 在面對未來 AI 的策略上更注重與第三方合作，例如與 OpenAI 合作將 Chatgpt 整合進 Apple intelligence、與 Broadcom 協作 Baltra ASIC，部分租用 AWS Trainium2 與GCP TPU 訓練自己的模型，但缺乏自有的大規模 AI 生態系統。
結論：長期投資 AI 的未來
AI 的發展雖然看似面臨 Scaling 模式的瓶頸，但在 Agent、Synthetic Data 和 Inference Time Compute 等創新方向上仍充滿潛力。無論是基礎建設、模型還是應用層面，科技巨頭們都展現出全面布局的能力。未來，投資者應根據自身風險偏好，結合市場的長期趨勢，選擇適合的投資標的，從而更好地參與這場技術革命。對於普通投資者而言，持續買進，長期持有科技巨頭的股票，參與 AI 浪潮的增長，是值得考慮的投資策略。當然，投資大盤指數可能更加穩健也更分散風險，也能尋找看看科技巨頭以外的投資機會，但需謹慎評估資金分配，關注投資標的長期發展和個人資金風險，以實現長期穩健的投資收益。
