強化式微調模型對美股軟體與硬體股的機會在哪裡？
前言：
從12/5 Open Ai將一連12天推出新模型(o1)正式版的demo 線上會議, 今天已經是第二天, 我們從這兩天陸續發現本次AI大語言模型比之前的模型有大幅的進步, 尤其在強化式微調方面, 將AI Agent第二階段又邁進一大步（推理能力）, 預期強化式微調對2025年美股科技股投資將有投資指導意義存在, 今天我們針對o1 正式版的強化式微調對2025年美股投資佈局有何影響以及潛在機會做出分析與建議.
Open AI 12 Days Demo Meeting 影片出處：
第一天影片：o1 正式版正式上線.（還有o1 pro ）
https://www.youtube.com/watch?v=iBfQTnA2n2s&ab_channel=OpenAI
第二天影片： 強調本次最新的模型與之前不同是用：強化式微調
https://www.youtube.com/watch?v=yCIYS9fx56U&ab_channel=OpenAI
大家期待的Sora影片製作在本篇文章完成前尚未推出, 但預計本次12 Days Demo Meeting有機會推出：（現在已經有類似推出可能預告性影片）
https://www.youtube.com/watch?v=c_kKKRQ5gYw&ab_channel=OpenAI
結論：
- O1 模型的推出強調『強化式』微調的功能, 已經逐漸接近第二階段AI Agent應用.
- O1模型的推出對美股企業的影響最重要為: 拉近中小企業與過去大企業的優勢距離, 並創造部分中小企業因AI優化的業績將大幅成長.（2025年）
- 對於軟體與硬體子產業在2025年有潛在的投資機會, 這些機會已經逐漸在本季財報顯現, 未來2025年上半年將加速成長.
- 看好的產業包括金融工程（金融）, 基因, 藥品（生物醫學）與數位行銷等
- 對於數據優勢如PLTR等其他公司仍將是大贏家(但PLTR目前估值過高）
前言：
本次影片的重點與亮點：
- 推出「增強式微調 Reinforcement Fine-Tuning（RFT）」技術，用戶可以基於自定義數據集訓練專業模型。（下面會提到跟一般的微調（監督式微調）有何不同）
- RFT 與增強學習演算法結合，將提升模型在特定任務中的專業能力。
- 與監督式微調相比，RFT 可以讓模型學習新的推理方式。
- 增強式微調只需幾十個範例就可以讓模型學習新的推理方法。
- 目前開放給大學、研究者和企業進行測試，明年公開推出。
- Open AI表示這模型將適用領域包括法律、金融、工程、保險等。
- RFT 為首次在模型客製化平台中支持，適用於科學研究等領域。
OpenAI 01模型與增強化(增強）式微調技術的突破性應用
OpenAI 正式推出了 01 模型正式版，模型的一大特點是『思考後回應』(deliberative reasoning)，提升生成式AI回應質量與邏輯性。
從o1 preview版到正式版, OpenAI 推出一項革命性的技術—增強式微調（Reinforcement Fine-Tuning, RFT），可以讓使用者能根據『自定義數據集』進行專業模型的訓練。與傳統監督式微調相比，RFT 融合了增強學習演算法，不僅使模型模仿輸入，還能學習全新的推理方式，大幅提升模型在特定任務中的應用。
RFT 技術的核心優勢在於其高效性與泛用性，僅需數十個範例即可讓模型學習新的推理方法，顯著縮短訓練時間。
本次Open AI 與Thomson Reuters合作支持罕見疾病研究的醫學應用：在罕見疾病研究中，全球約有 3 億人受其影響，患者常需數月至數年才能確診。利用 01 模型的推理能力和增強微調技術，研究團隊能有效結合醫學專業知識與系統性數據推理，提取症狀、病徵與致病基因之間的關聯，顯著縮短診斷週期。隨著 RFT 技術的普及，這項技術應用於生物化學、AI 安全、法律和醫療保健等多個領域。
強化（增強）式微調與標準微調（監督式微調）的差異：
o1模型對於『數據需求』的影響：
數據需求的本質差異：
標準微調（Standard Fine-Tuning）：
- 需要高質量的標註數據，且數據類型與目標任務直接相關（例如，情感分析需要標註情感的句子）。
- 通常需要一定規模（數千到數十萬）的標註數據，確保模型能學習足夠的任務特徵。
- 數據質量對模型效果至關重要，低質量數據可能導致模型過擬合或表現不穩定。
強化式微調（Reinforcement Fine-Tuning）：
- 不需要傳統標註數據，而是依賴反饋數據（例如，得分函數或人類偏好）。
- 數據來源：反饋可以來自以下幾種方式：
- 需要專業人員對模型輸出進行評分（例如，GPT微調的RLHF使用人類標記輸出的偏好）。
- 通過業務邏輯、模擬環境或規則生成的得分。
- 數據數量：需求數據量相對較少，因為增強學習聚焦於「策略改進」而非「特徵學習」。
對於AI產業影響與未來前景
標準微調多用於需要高質量標註數據的場景，如醫療健康的影像分析、基因數據分析，以及法律與金融中的合同風險檢測與詐欺檢測等，這些應用依賴數據標註的自動化來提升競爭力。
強化微調則適用於依賴反饋信號的策略性任務，如生成式AI中的文本與圖像生成，自動駕駛的路徑規劃，以及遊戲AI的策略學習與虛擬助理優化，推動了相關領域的技術創新和商業化進程。
2025年科技股投資需要關注的大趨勢：
關於軟體：數據需求高且導向更具專業性且細膩性
- 關於硬體：計算資源需求的提升與數據處理與存儲需求等四大細分子產業看好
第一部分：強化式微調技術對軟體公司的需求
- 依賴標註數據的行業（受益於Standard Fine-Tuning）：
- 醫療健康（Medical Health）：
- 法律與金融（Legal and Finance）：
- 零售與電子商務（Retail and E-commerce）：
2. 依賴反饋數據的行業（受益於Reinforcement Fine-Tuning）：
- 生成式AI（Generative AI）：語言模型與多模態生成技術的進步將大幅改變內容創作、設計、教育等行業。（
- 自動駕駛與機器人（Autonomous Driving & Robotics）：技術突破可能促進自動駕駛和智能機器人進一步商業化。（有利TSLA和ISRG等相關）
- 遊戲AI與虛擬助手（Gaming AI & Virtual Assistants）：遊戲AI技術創新和虛擬助手的個性化將為相關公司帶來增長。（有利AAPL和META）
