The Foundation Model Transparency Index
Rishi Bommasani, Kevin Klyman, Shayne Longpre, Sayash Kapoor, Nestor Maslej, Betty Xiong, Daniel Zhang, Percy Liang
前言:
這篇論文主張，要有一個指標來評量個語言模型的資訊透明度。無論是訓練資料的取得來源與資料搜集方法，還是模型細節的接露，與產生結果的限制用途與目標客群等等，都是這篇論文關心且要衡量的指標。
藉由評分來防止發行人工智慧的大科技公司可能造成的社會危害⚠️
臉書推出的 llama2 為開源模型，有交代訓練資源，模型細節，使用限制，取得這些競品裡面相對高的的得分
基礎模型透明度指數
基礎模型透明度指數 (以下稱為FMTI) 是一種新的評估工具，用於衡量模型的透明度。通常模型是一種大型語言模型，在大量文本和代碼數據集上進行訓練。
FMTI 由斯坦福大學和麻省理工學院的研究人員開發，是全世界第一個全面評估基礎模型透明度的工具。這個衡量工具對 10 家主要基礎模型開發商 (例如 OpenAI、Google 和 Meta) 進行了評分，評分標準是 100 個關鍵指標，這些指標全面涵蓋了基礎模型的透明度，包括用於構建基礎模型的上游資源、模型本身的細節以及下游使用。
目前總體而言，基礎模型的透明度很低。沒有任何開發商披露有關其旗艦模型對於下游影響的重大信息，例如用戶數量、受影響的市場部門或用戶如何尋求賠償。
發現到的待解決痛點如下：
- 上游資源：開發人員對用於構建基礎模型的上游資源相對透明，例如使用的數據和計算資源，但是沒有說明取得這些資源所付出的成本，和是否有善盡企業社會責任去照顧好這些資料工人，關於訓練資料的著作權問題，隱私權問題。再來就是訓練所需的運算時間，硬體成本，時間成本，能源消耗，碳排放等等，目前都未必有完整的揭露。
- 模型細節：開發人員對基礎模型的細節透明度較低，例如使用的特定訓練算法和模型相關的風險，模型的架構與參數量，模型使用上的限制與範圍，目前尚沒有做到大部分論文裡面規範的事項。
- 下游使用：開發人員對基礎模型的下游使用最不透明，例如模型如何被用戶使用以及在社會上產生了什麼影響，包含如果有模型更新要寫好更新日誌，對外要有免責聲明，詳盡的使用說明書，提及相關使用政策與範圍的事項。
FMTI 是促進基礎模型生態系統透明的重要工具。通過衡量和報告基礎模型的透明度，可以幫助提高人們對此問題的認識並鼓勵開發人員改進他們的透明度做法。
如何提高基礎模型的透明度？
可以採取多種措施來提高基礎模型的透明度。這些措施包括：
- 開發人員應披露更多有關用於構建其基礎模型的上游資源的信息，例如使用的數據來源和計算資源。這些信息可以幫助用戶了解模型的潛在偏見和局限性。
- 開發人員應更加透明地披露基礎模型的細節，例如使用的特定訓練算法和模型相關的風險。這些信息可以幫助用戶做出明智的決定如何使用模型。
- 開發人員應更加透明地披露基礎模型的下游使用情況，例如模型如何被用戶使用以及在社會上產生了什麼影響。這些信息可以幫助確保基礎模型以負責任和道德的方式使用。
除了開發人員之外，政府和其他利益相關者也可以在促進基礎模型生態系統透明度方面發揮作用。例如，政府可以制定法規，要求開發人員披露有關其基礎模型的某些信息。其他利益相關者，例如民間社會組織和學術界，還可以進行研究並提高人們對基礎模型生態系統中透明度重要性的認識。
結論:
這篇論文提出一套具體的關鍵指標，來避免強大的人工智慧從各種維度危害現有的人類社會運行準則，規範了所有發行人工智慧的大科技公司都需要遵守的共同準則，預計藉由大家的努力💪，能實現人工智慧與人類和平共存的願景，以下是論文重點整理。
- 開發人員應公開發布有關其基礎模型的技術細節，包括訓練數據、算法和架構。
- 開發人員應建立可靠的審核和監控流程，以識別和解決基礎模型中的偏見和錯誤。
- 開發人員應與用戶和其他利益相關者合作，開發透明和問責的基礎模型使用政策。
引用:
@article{bommasani2023foundation,
title={The Foundation Model Transparency Index},
author={Bommasani, Rishi and Klyman, Kevin and Longpre, Shayne and Kapoor, Sayash and Maslej, Nestor and Xiong, Betty and Zhang, Daniel and Liang, Percy},
journal={arXiv preprint arXiv:2310.12941},
year={2023}
}
如果你對 AI 充滿熱情，學習上又不想浪費時間，我能夠以過來人的經驗給你不少想法，歡迎在Facebook群裡面留言。
如果想要用Zoom直接交談，為你直接解惑的，也可以點以下連結預約時間 (1小時)
https://calendly.com/universe_ai/free_appointment
