【AI 框架 03】AI模型驗證的迷思與侷限:「為什麼有效」?

更新 發佈閱讀 3 分鐘
vocus|新世代的創作平台

前言

上一篇,我們談到了 M = i × e 這個公式的誕生。

那之後,我沒有停留在公式上太久。我想驗證它。


實作出來了

實驗的早期並不順利。

當時使用的是一個只有 3B 參數的小型模型。對於小模型來說,這本來就是一場勝算不高的實驗——它的底子薄,容錯空間小,稍微偏一點輸出就崩了。果然,早期的回答經常答非所問,輸出混亂,有時候甚至讓人不確定它到底有沒有在理解問題。

我能做的就是把那些回答丟給 AI,問它哪裡出了問題,然後根據指引修正框架設計。

就這樣一版一版地疊。每一版都在上一版的問題上做修正,沒有跳躍,也沒有捷徑。

慢慢地,回答變得有條理了。幾乎每個問題都能答在點上。訓練資料不多,前前後後大概就兩三千筆,但結果比預期好。讓我有點意外的是,這個量級的資料,居然能讓一個小模型的行為產生這麼明顯的位移。


兩個問題

結果有效,但我反而開始困惑。

第一個問題是方法論的:每次看到問題、根據指引修正——這樣的過程,還算是真正的驗證嗎?我們設計了 200 道測試題,題目和訓練資料完全沒有重疊,都是模型從來沒見過的問題。但問題在於,修正的方向本身是 AI 給的。這讓整件事的邊界變得模糊:到底是框架在引導 AI,還是 AI 在引導框架?

這個問題我沒辦法乾淨地回答。

第二個問題更深,也更難甩掉:它的確變好了,但我說不清楚為什麼。

不是「大概是因為訓練資料品質好」那種說不清楚,而是更根本的——這個改善,究竟發生在哪一層?是框架設計本身在起作用,還是 LoRA 微調的參數更新剛好碰對了某個方向,還是兩件事湊在一起才有的結果?這三種解釋,我都無法排除,也無法確認。

這兩個問題方向相反,卻同時壓著我。


停在這裡

在某個時間點,我決定不再往裡面投入了。

不是放棄,是判斷投入產出比。那個「為什麼有效」的問題,想要回答它,需要的資源、算力、對照組設計,都遠超過我當時能調動的範圍。即便繼續做,頂多是多幾筆數據,問題的核心仍然會懸在那裡。死死纏著,不划算。

更現實的是:這個問題或許根本不在這個層次能被解答。

但問題本身沒有消失。它只是換了一個位置。


結論

我理解 AI 的本質是機率預測系統。LoRA 實驗告訴我行為可以被塑造,但塑造的過程仍然是黑盒子——還是在調機率分佈,只是調得比較準。

我想的是另一件事:即便 AI 的輸出來自機率,能不能讓它在機率之外,透過純數學運算自己算出判斷?

不是猜出來的,是算出來的。

這個念頭,把我帶向了更底層的方向。下一篇,我們再來談這件事。

留言
avatar-img
Joe 的隨手筆記
2會員
12內容數
用自己的方式,探討自己觀察到的事物。
你可能也想看
Thumbnail
當時間變少之後,看戲反而變得更加重要——這是在成為母親之後,我第一次誠實地面對這一件事:我沒有那麼多的晚上,可以任性地留給自己了。看戲不再只是「今天有沒有空」,而是牽動整個週末的結構,誰應該照顧孩子,我該在什麼時間回到家,隔天還有沒有精神帶小孩⋯⋯於是,我不得不學會一件以前並不擅長的事:挑選。
Thumbnail
當時間變少之後,看戲反而變得更加重要——這是在成為母親之後,我第一次誠實地面對這一件事:我沒有那麼多的晚上,可以任性地留給自己了。看戲不再只是「今天有沒有空」,而是牽動整個週末的結構,誰應該照顧孩子,我該在什麼時間回到家,隔天還有沒有精神帶小孩⋯⋯於是,我不得不學會一件以前並不擅長的事:挑選。
Thumbnail
當代名導基里爾.賽勒布倫尼科夫身兼電影、劇場與歌劇導演,其作品流動著強烈的反叛與詩意。在俄烏戰爭爆發後,他持續以創作回應專制體制的壓迫。《傳奇:帕拉贊諾夫的十段殘篇》致敬蘇聯電影大師帕拉贊諾夫。本文作者透過媒介本質的分析,解構賽勒布倫尼科夫如何利用影劇雙棲的特質,在荒謬世道中尋找藝術的「生存之道」。
Thumbnail
當代名導基里爾.賽勒布倫尼科夫身兼電影、劇場與歌劇導演,其作品流動著強烈的反叛與詩意。在俄烏戰爭爆發後,他持續以創作回應專制體制的壓迫。《傳奇:帕拉贊諾夫的十段殘篇》致敬蘇聯電影大師帕拉贊諾夫。本文作者透過媒介本質的分析,解構賽勒布倫尼科夫如何利用影劇雙棲的特質,在荒謬世道中尋找藝術的「生存之道」。
Thumbnail
許多使用者發現 AI 內容生成效果不如預期,本文深入剖析常見的 AI 提示詞問題,並提供十個錯誤示範與修正版的對比,強調「替特定讀者設計」與「釐清 AI 角色」是提升生成品質的核心觀念。
Thumbnail
許多使用者發現 AI 內容生成效果不如預期,本文深入剖析常見的 AI 提示詞問題,並提供十個錯誤示範與修正版的對比,強調「替特定讀者設計」與「釐清 AI 角色」是提升生成品質的核心觀念。
Thumbnail
本指南提供100個AI驅動的指令,涵蓋SEO關鍵詞研究、內容生成、數據分析、多平臺適配及用戶意圖解析,旨在協助營銷人員、內容創作者與SEO專家提升工作效率與成效。指令分為五大類別,並附帶實際應用範例及工具建議,
Thumbnail
本指南提供100個AI驅動的指令,涵蓋SEO關鍵詞研究、內容生成、數據分析、多平臺適配及用戶意圖解析,旨在協助營銷人員、內容創作者與SEO專家提升工作效率與成效。指令分為五大類別,並附帶實際應用範例及工具建議,
Thumbnail
5 月,方格創作島正式開島。這是一趟 28 天的創作旅程。活動期間,每週都會有新的任務地圖與陪跑計畫,從最簡單的帳號使用、沙龍建立,到帶著你從一句話、一張照片開始,一步一步找到屬於自己的創作節奏。不需要長篇大論,不需要完美的文筆,只需要帶上你今天的日常,就可以出發。征服創作島,抱回靈感與大獎!
Thumbnail
5 月,方格創作島正式開島。這是一趟 28 天的創作旅程。活動期間,每週都會有新的任務地圖與陪跑計畫,從最簡單的帳號使用、沙龍建立,到帶著你從一句話、一張照片開始,一步一步找到屬於自己的創作節奏。不需要長篇大論,不需要完美的文筆,只需要帶上你今天的日常,就可以出發。征服創作島,抱回靈感與大獎!
Thumbnail
見諸參與鄧伯宸口述,鄧湘庭於〈那個大霧的時代〉記述父親回憶,鄧伯宸因故遭受牽連,而案件核心的三人,在鄧伯宸記憶裡:「成立了成大共產黨,他們製作了五星徽章,印刷共產黨宣言——刻鋼板的——他們收集中共空飄的傳單,以及中國共產黨中央委員會有關文化大革命決議文的英文打字稿,另外還有手槍子彈十發。」
Thumbnail
見諸參與鄧伯宸口述,鄧湘庭於〈那個大霧的時代〉記述父親回憶,鄧伯宸因故遭受牽連,而案件核心的三人,在鄧伯宸記憶裡:「成立了成大共產黨,他們製作了五星徽章,印刷共產黨宣言——刻鋼板的——他們收集中共空飄的傳單,以及中國共產黨中央委員會有關文化大革命決議文的英文打字稿,另外還有手槍子彈十發。」
Thumbnail
本文是軟式生活2026 年 SEO 完整指南:掌握 SEO、AEO、GEO 三大策略。Google AI Overviews 出現在 50% 搜尋結果,學習 E-E-A-T 信號、FAQ Schema 實施教學,讓 AI 引用你的內容,包含數據增加 22% 可見性,跨平台策略提升 2.8 倍引用率。
Thumbnail
本文是軟式生活2026 年 SEO 完整指南:掌握 SEO、AEO、GEO 三大策略。Google AI Overviews 出現在 50% 搜尋結果,學習 E-E-A-T 信號、FAQ Schema 實施教學,讓 AI 引用你的內容,包含數據增加 22% 可見性,跨平台策略提升 2.8 倍引用率。
Thumbnail
內容不是產出,而是長期滾動的數位資產 「為什麼我這麼努力,存款還是只有五位數?」 這是林先生連續第三年在年終檢視財務狀況時,內心最大的疑問。身為台北某科技公司的資深專員,月薪5萬5,看似不差,但扣掉房租1萬8、生活費、孝親費,每個月能存下來的不到1萬5。按照這個速度,光是頭期款就要存10年。
Thumbnail
內容不是產出,而是長期滾動的數位資產 「為什麼我這麼努力,存款還是只有五位數?」 這是林先生連續第三年在年終檢視財務狀況時,內心最大的疑問。身為台北某科技公司的資深專員,月薪5萬5,看似不差,但扣掉房租1萬8、生活費、孝親費,每個月能存下來的不到1萬5。按照這個速度,光是頭期款就要存10年。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News