付費限定
科學家為科學家所開發的開放語言模型—「AI2 OLMo」
閱讀時間約 1 分鐘
艾倫人工智慧研究所很高興地宣布，我們正在著手創建一個開放的、最先進的生成語言模型：AI2 OLMo（Open Language Model）。
OLMo 的規模將與其他最先進的大型語言模型相媲美，參數達到70 億個，預計在2024 年初推出。
OLMo將是一個獨特的開放語言模型，旨在透過圍繞模型創建的各個方面提供訪問和教育，使研究界受益。AI2正在與AMD和CSC合作開發OLMo，使用全AMD處理器驅動的LUMI百萬兆次級超級電腦的新GPU部分- 世界上最環保的超級電腦之一。
OLMo將成為人工智慧研究界許多人首次直接研究語言模型的新途徑。研究所將使OLMo 專案的所有元素都開放， 不僅資料可用，創建資料的程式碼也可以用。
他們還將公開分享和討論圍繞創建此模型的道德和教育考慮因素，來幫助指導語言建模技術的理解和開發。
OLMo項目負責人兼AI2NLP研究高級總監Hannaneh Hajishirzi說：“考慮到科學界，OLMo將專門用於推進語言模型的科學，OLMo將是第一個專門為科學理解和發現而設計的語言模型。”
27會員
186內容數
「秒懂AI提問指令」是您AI學習的社群首選，擁有專業的ChatGPT、MidJourney及stable diffusion知識分享。這裡不僅是學習AI內容的最佳平台，更是實戰與資源的寶庫。讓人工智能成為你的效率神器，助您深入了解AI各種面向。更重要的是，我們的社群中聚集了大量AI極客，讓您有機會與同好一同交流、學習。
留言0
查看全部
你可能也想看
Google News 追蹤
OpenAI 推出 o1 模型及 ChatGPT Pro 服務，專為專業用戶提供多模態處理、高效推理等先進功能，顯著提升 AI 技術在數學、編程及科研領域的應用潛力。
本文介紹大型語言模型（LLM）的基礎概念和當前主流模型，包括OpenAI的ChatGPT、Google的Gemini、Meta的Llama、Anthropic的Claude和AI21 Labs的Jurassic。LLM具有強大的自然語言處理能力，LLM的發展將持續影響人類的交流和資訊處理方式。
(個人人為，META 才是真正的開源人工智慧公司
OpenAI 目前不算是)
Meta 最近開源了Llama 3.1 405B
這是目前全球最大的開源 AI 模型
擁有4,050億個參數，在多個基準測試中超越了GPT-4、GPT-4o
和 Claude 3.5
GPT-4o中的“o”代表“omni”，意思是全能。它能夠在232毫秒內做出回應，幾乎和人類一樣快。這個模型可以即時翻譯、進行視覺推理和自然對話，顯示出它在智能對話、多模態處理和擴展應用場景方面的巨大潛力。
自从OpenAI挑起人工智能竞赛后，各大科技公司一直在拼尽全力训练大模型。但是随着训练的模型越来越大，这些科技巨头正在面临一个新的问题，即训练语料和数据的“枯竭”。
训练数据的“枯竭”
2020年11月，OpenAI推出的GPT-3接受的数据训练为3,000亿个token。而到2023年，谷歌推
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
大型語言模型(LLM)是基於深度學習的自然語言處理模型，而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言，LMM 能夠處理跨模態的內容，並整合多種資料的能力，有望成為未來趨勢。
在快時代的生活裡人工智慧是少不了的，Open AI是一間專門研究AI的公司，而Open AI創辦人希望進行 AI 研究可以促進和發展友好的人工智慧，使人類整體受益。剛接觸AI的朋友可以跟隨本文一起了解喔！
什麼是Open AI？
Open AI是一間美國人工智慧研究所，2015年於舊金山成立，主
根據英國金融時報（FT）的報導，OpenAI 的執行長奧特曼正在與包括台積電（2330）在內的晶片製造業者，以及中東投資者，討論成立新的晶片事業計畫[1]。
OpenAI 對人工智慧（AI）晶片的需求勢將不斷增加，彭博資訊也報導，奧特曼準備籌募規模百億美元的資金，建構起全球半導體製造網[1
大語言模型（LLMs）對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。
這類模型，如GPT-4，
透過其龐大的數據集和複雜的參數設置，
提供了前所未有的語言理解和生成能力。
那麼，究竟是什麼讓這些模型「大」得如此不同呢？
OpenAI 推出 o1 模型及 ChatGPT Pro 服務，專為專業用戶提供多模態處理、高效推理等先進功能，顯著提升 AI 技術在數學、編程及科研領域的應用潛力。
本文介紹大型語言模型（LLM）的基礎概念和當前主流模型，包括OpenAI的ChatGPT、Google的Gemini、Meta的Llama、Anthropic的Claude和AI21 Labs的Jurassic。LLM具有強大的自然語言處理能力，LLM的發展將持續影響人類的交流和資訊處理方式。
(個人人為，META 才是真正的開源人工智慧公司
OpenAI 目前不算是)
Meta 最近開源了Llama 3.1 405B
這是目前全球最大的開源 AI 模型
擁有4,050億個參數，在多個基準測試中超越了GPT-4、GPT-4o
和 Claude 3.5
GPT-4o中的“o”代表“omni”，意思是全能。它能夠在232毫秒內做出回應，幾乎和人類一樣快。這個模型可以即時翻譯、進行視覺推理和自然對話，顯示出它在智能對話、多模態處理和擴展應用場景方面的巨大潛力。
自从OpenAI挑起人工智能竞赛后，各大科技公司一直在拼尽全力训练大模型。但是随着训练的模型越来越大，这些科技巨头正在面临一个新的问题，即训练语料和数据的“枯竭”。
训练数据的“枯竭”
2020年11月，OpenAI推出的GPT-3接受的数据训练为3,000亿个token。而到2023年，谷歌推
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
大型語言模型(LLM)是基於深度學習的自然語言處理模型，而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言，LMM 能夠處理跨模態的內容，並整合多種資料的能力，有望成為未來趨勢。
在快時代的生活裡人工智慧是少不了的，Open AI是一間專門研究AI的公司，而Open AI創辦人希望進行 AI 研究可以促進和發展友好的人工智慧，使人類整體受益。剛接觸AI的朋友可以跟隨本文一起了解喔！
什麼是Open AI？
Open AI是一間美國人工智慧研究所，2015年於舊金山成立，主
根據英國金融時報（FT）的報導，OpenAI 的執行長奧特曼正在與包括台積電（2330）在內的晶片製造業者，以及中東投資者，討論成立新的晶片事業計畫[1]。
OpenAI 對人工智慧（AI）晶片的需求勢將不斷增加，彭博資訊也報導，奧特曼準備籌募規模百億美元的資金，建構起全球半導體製造網[1
大語言模型（LLMs）對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。
這類模型，如GPT-4，
透過其龐大的數據集和複雜的參數設置，
提供了前所未有的語言理解和生成能力。
那麼，究竟是什麼讓這些模型「大」得如此不同呢？