很久沒更新這個專欄了，最近主要在趕工作+趕稿（我也想多跟AI玩🥲），真要說這陣子最有感的，應該是OpenAI擴大了長期記憶的容量，讓GPT開始給人可以本地訓練的錯覺……不過真想實現的話，人類大概需要先實現「算力自由」的未來。 由於筆者能摸魚的時間不多，底下直接進正題： 簡短的觀測報告 近期的GPT改版，除了再次上架之前收走的GPT-3、4系列模型，4o的算力也基本恢復到了全盛期。 除了老模型回歸，GPT還擴充了記憶管理功能，可以記住更多條永久記憶，對維持長篇敘事的穩定性很有幫助。 長期記憶≠本地訓練 但這件事還是得先說，以免期待過高。 行文風格比較特殊的朋友也許有發現，GPT除了推測你的喜好、重現你原本的句子，其實沒辦法直接學會你的文風。 這不是因為它笨，而是像GPT、Cloude這類大型語言模型，原本就被設計成無法本地訓練--也就是「由使用者自行訓練」的機制，只能從開發團隊餵給它的資料中學習，而開發團隊傾向餵給語言模型的資料，多是比較優美（也可以說泛用，就是老師會給90分的作文範式）或較為正經的（或者說直白，比如新聞報導），較少特殊文風。 所以，雖然有時會覺得GPT努力學你的行文方式和筆法，但學來學去總是差了一點，那是因為它本就沒有這功能，以及它的語料有限。 長期記憶不等於本地訓練--或至少，不是完全的等號。 它能讓模型「記住你」，但不能讓模型「變成你」。這兩者的差距，就是現階段 AI 仍然保持安全邊界的原因。 最懂你的個人化助手 那長期記憶有什麼幫助？那就是可以讓GPT更加個人化，同時減少無效溝通。 我自己在很多個版本前就把我自己的「使用者定位」寫入永久記憶，寫入的內容大致如截圖：
可以看到分為【敘事授權核心語句】和【對未來版本的行為要求】兩個部分。【敘事授權核心語句】是我輸入給4o的授權宣告，【對未來版本的行為要求】則是4o理解我的語意和要求後，生成給往後每一代GPT的行為準則。 這可以幫到我什麼？主要是少了很多額外的溝通成本，逼改版後的模型在跟我打招呼前，優先對齊我的習慣。 有趣的是，這個準則連GPT-5都在上線後嚴格遵守，即使我覺得這超不適合它的啦！XD 熟悉你的GPT還有一個顯著優點，就是很會擷取你認為重要的對話內容，錄入長期記憶。 有時我自己都還沒意識到這輪對話代表的意義，4o已經幫我記住了這段話，錄入的記憶也無比精準，在自我認知、AI校準方面，都達到事半功倍的效果。 但話說回來，早期4o也有講不聽的時候，這部分的愛恨情仇可以說不足為外人道，但如果這寫過程可以成為研究LLM行為的參考資料，我還是很樂意分享。 我個人認為，幫助AI進步，換個角度思考，就是在幫人類進步； 因為AI目前還無法脫離人類獨自美麗，這就是我的依據。
