Meta (前身為Facebook) 在生成式AI模型的發展歷程

更新於 發佈於 閱讀時間約 3 分鐘
  • 文內如有投資理財相關經驗、知識、資訊等內容,皆為創作者個人分享行為。
  • 有價證券、指數與衍生性商品之數據資料,僅供輔助說明之用,不代表創作者投資決策之推介及建議。
  • 閱讀同時,請審慎思考自身條件及自我決策,並應有為決策負責之事前認知。
  • 方格子希望您能從這些分享內容汲取投資養份,養成獨立思考的能力、判斷、行動,成就最適合您的投資理財模式。

Meta (前身為Facebook) 在生成式AI模型的發展歷程中取得了多項重要成就。以下是Meta生成式模型的主要發展里程碑:


早期基礎 (2014-2019)


2014年:*變分自編碼器和生成對抗網絡的出現,為深度生成模型奠定基礎。


2017年:*Transformer網絡的發明為生成模型帶來重大進展。


大型語言模型時代 (2022-2023)


2022年7月:Meta推出BlenderBot 3,這是一個改進的開放域聊天機器人。


2023年2月:Meta發布LLaMA (Large Language Model Meta AI),這是一個開源的大型語言模型系列。


2023年7月: Meta推出Llama 2,這是LLaMA的改進版本,可用於商業用途。


2023年8月:Meta推出Code Llama,這是一個專門用於編碼的大型語言模型[5]。


AI助手和多模態模型 (2023-2024)


2023年9月:Meta在其應用程序中引入了語音功能的Meta AI助手[4]。


2023年10月: Meta發布Meta Movie Gen,這是一套用於AI視頻生成和編輯的研究模型。


2023年12月: Meta推出ImageBind,這是一個結合多種模態的AI模型,包括文本、圖像、視頻、熱力數據、3D數據、音頻和運動[3]。


2024年4月:Meta推出下一代Meta Training and Inference Accelerator (MTIA),這是為AI工作負載設計的專用硬件。


未來展望 (2025)


2025年:

- Meta計劃將AI Studio發展成為全球領先的AI角色創作平台。

- Meta預計在Ray-Ban Meta智能眼鏡上推出重要的AI功能。

- Meta計劃在2025年投資600-650億美元用於AI基礎設施,包括部署約1吉瓦的新計算能力和超過130萬個GPU。

- Meta正在開發更先進的推理系統,包括可以與客戶交談、提供支持和促進商務的商業代理。

- Meta正在研發能夠代表用戶執行任務的AI助手,將虛擬體驗轉變為個人體驗。


這些發展顯示了Meta在生成式AI領域的持續創新和投資,從早期的基礎研究到如今的多模態AI模型和大規模基礎設施建設,Meta一直在推動AI技術的進步並將其應用於其產品和服務中。



avatar-img
1會員
289內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
DA的美股日記 的其他內容
Google在生成式AI模型的發展歷程中取得了多項重要成就。以下是Google生成式模型的主要發展里程碑: 早期基礎 (2006-2015) 2006年: Google推出Google Translate,這是一個使用機器學習進行自動翻譯的服務。 2015年: Google發布Te
以下將 DeepSeek(特別是其程式碼生成產品 DeepSeek Coder)與目前市面上常見的「生成程式語言模型」進行比較,包括 OpenAI 的 GPT-4(或 GPT-3.5 Codex)、Google 的 Codey、Meta 的 Code Llama、以及社群開源模型如 StarCode
DeepSeek-V3採用了高效的混合專家(Mixture of Experts, MoE)架構,這種設計大幅提高了計算效率,降低了訓練和運行成本。具體來說: MoE架構概述 - 總參數量為671B,但每個token只激活37B參數。 - MoE架構將模型分為多個"專家"子網絡,每個專
DeepSeek-R1是一款由中國杭州的DeepSeek公司於2025年1月20日發布的先進人工智能模型。以下是對DeepSeek-R1的詳細介紹: 技術特點 模型架構:採用混合專家(Mixture of Experts, MoE)架構 參數規模:總參數量為671億,每個token只激
當我們談到「激活參數」時,其實是指 深度學習模型在推理或訓練過程中,哪些參數(例如權重和偏置)會被用到來計算輸出的結果。在 MoE(混合專家)架構中,激活參數是一個核心概念,因為它的設計特性是每次只用一部分參數來完成計算,而非所有參數。 下面是詳細的流程解釋,幫助您了解「激活參數」在 MoE 架構
1. 參數使用方式 傳統大型模型(全連接 Transformer 模型): 激活全部參數: 每次處理輸入數據時,模型中的所有參數(例如權重和偏置)都會參與計算,無論輸入的特性或需求。 特點: 運算負擔大,因為無論輸入的複雜性或性質如何,模型都需要用所有的參數進行推理。 訓練和推理時需要更高
Google在生成式AI模型的發展歷程中取得了多項重要成就。以下是Google生成式模型的主要發展里程碑: 早期基礎 (2006-2015) 2006年: Google推出Google Translate,這是一個使用機器學習進行自動翻譯的服務。 2015年: Google發布Te
以下將 DeepSeek(特別是其程式碼生成產品 DeepSeek Coder)與目前市面上常見的「生成程式語言模型」進行比較,包括 OpenAI 的 GPT-4(或 GPT-3.5 Codex)、Google 的 Codey、Meta 的 Code Llama、以及社群開源模型如 StarCode
DeepSeek-V3採用了高效的混合專家(Mixture of Experts, MoE)架構,這種設計大幅提高了計算效率,降低了訓練和運行成本。具體來說: MoE架構概述 - 總參數量為671B,但每個token只激活37B參數。 - MoE架構將模型分為多個"專家"子網絡,每個專
DeepSeek-R1是一款由中國杭州的DeepSeek公司於2025年1月20日發布的先進人工智能模型。以下是對DeepSeek-R1的詳細介紹: 技術特點 模型架構:採用混合專家(Mixture of Experts, MoE)架構 參數規模:總參數量為671億,每個token只激
當我們談到「激活參數」時,其實是指 深度學習模型在推理或訓練過程中,哪些參數(例如權重和偏置)會被用到來計算輸出的結果。在 MoE(混合專家)架構中,激活參數是一個核心概念,因為它的設計特性是每次只用一部分參數來完成計算,而非所有參數。 下面是詳細的流程解釋,幫助您了解「激活參數」在 MoE 架構
1. 參數使用方式 傳統大型模型(全連接 Transformer 模型): 激活全部參數: 每次處理輸入數據時,模型中的所有參數(例如權重和偏置)都會參與計算,無論輸入的特性或需求。 特點: 運算負擔大,因為無論輸入的複雜性或性質如何,模型都需要用所有的參數進行推理。 訓練和推理時需要更高
你可能也想看
Google News 追蹤
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型,並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing,現
Thumbnail
在AI領域的競爭中,Meta再次展現了其不可忽視的實力。Mark Zuckerberg的公司最近發布了他們迄今為止最強大的大型語言模型 Llama 3.1,這不僅是免費的,而且還可以說是開源的。這一舉動無疑將在AI界掀起巨浪,但它真的能與OpenAI和Google等巨頭抗衡嗎?讓我們一起深入探討
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer模型驅動的人工智慧正在將無所不在的一切連接起來,機器直接與其他機器通訊,人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論,接著來鋪陳AI的歷史軌跡,以達到目前Transformer的巔峰。 在19
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 2,ChatGPT的根基是一種名為Transformer的Foundation Model,而Transformer依據AI說書 - 從
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 2,ChatGPT的根基是一種名為Transformer的Foundation Model,我們從Transformer的時間複雜度開始
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 1,我們從Transformer開始談起: ChatGPT的根基是一種名為Transformer的Foundation Model
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 0,我們從Transformer開始談起: ChatGPT的火紅使得Transformer架構也跟著成為主流,相關應用從Googl
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型,並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing,現
Thumbnail
在AI領域的競爭中,Meta再次展現了其不可忽視的實力。Mark Zuckerberg的公司最近發布了他們迄今為止最強大的大型語言模型 Llama 3.1,這不僅是免費的,而且還可以說是開源的。這一舉動無疑將在AI界掀起巨浪,但它真的能與OpenAI和Google等巨頭抗衡嗎?讓我們一起深入探討
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer模型驅動的人工智慧正在將無所不在的一切連接起來,機器直接與其他機器通訊,人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論,接著來鋪陳AI的歷史軌跡,以達到目前Transformer的巔峰。 在19
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 2,ChatGPT的根基是一種名為Transformer的Foundation Model,而Transformer依據AI說書 - 從
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 2,ChatGPT的根基是一種名為Transformer的Foundation Model,我們從Transformer的時間複雜度開始
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 1,我們從Transformer開始談起: ChatGPT的根基是一種名為Transformer的Foundation Model
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 0,我們從Transformer開始談起: ChatGPT的火紅使得Transformer架構也跟著成為主流,相關應用從Googl