OpenAI 下代大語言模型「Orion」可能遇上前所未有的瓶頸。The Information 報導,OpenAI 員工稱 Orion 模型性能提升未達預期,與 GPT-3 到 GPT-4 升級相比,品質提升「小很多」。
有 Orion 處理某些任務時不比前代 GPT-4 可靠。儘管 Orion 語言技能更強,但程式設計可能無法超越 GPT-4。訓練高品質文本和其他數據的供應逐漸減少,使找到優良訓練資料更困難,減緩大語言模型(LLMs)發展。
不僅如此,將來訓練會更耗費計算資源、財力甚至電力,代表開發 Orion 及後續大語言模型成本和代價會更昂貴。OpenAI 研究員諾姆‧布朗(Noam Brown)最近在 TED AI 大會表示,更先進模型可能「經濟上不可行」:
我們真的要耗費數千億美元或數兆美元訓練模型嗎?某個時候擴展定律會崩潰。
OpenAI 已成立負責預訓練的尼克·雷德(Nick Ryder)領導的基礎團隊,研究如何應付訓練資料越來越匱乏,以及大模型擴展定律(scaling laws)會持續到什麼時候。
!https://img.technews.tw/wp-content/uploads/2024/11/15144034/02-6.jpg
▲ Noam Brown。
擴展定律(scaling laws)是人工智慧核心假設:只要有更多資料可學習,並有更多計算能力促進訓練過程,大語言模型就能以相同速度提升性能。簡單來說,scaling laws 描述投入(資料量、計算力、模型大小)和產出的關係,即投入大語言模型更多資源時性能提升程度。
舉例訓練大語言模型就像生產汽車,最初車間規模很小,只有幾台機器和幾個工人,每增加一台機器或一個工人,都能顯著提高產量,因新增資源直接轉成生產力提升。工廠規模擴大,每增加一台機器或工人使產量提升減少,可能是因管理更複雜,或工人協調更困難。
工廠達到一定規模,再增加機器和工人產量提升可能更有限。這時工廠可能接近土地、電力供應和物流等極限,增加投資不再能有成比例產能。Orion 困境就在此,模型規模越大(增加機器和工人),初期中期模型性能提升可能非常明顯,但後期即使增加模型規模或訓練資料量,性能提升也越來越小,這就是所謂的「撞牆」。
arXiv 論文顯示,公共人類文本數據需求增長和數據量有限性,2026~2032 年大語言模型發展將耗盡公共人類文本資源。即使諾姆·布朗指出未來模型訓練「經濟問題」,但還是反對以上觀點,因「人工智慧發展不會很快放緩」。
!https://img.technews.tw/wp-content/uploads/2024/11/15144036/04-7.jpg
OpenAI 研究員也多同意這看法,儘管模型擴展定律可能放緩,但靠最佳化推理時間和訓練後改進,AI 整體發展不會受影響。Meta CEO 馬克祖克柏、OpenAI CEO 山姆·奧特曼和其他 AI 開發商首席執行長也公開表示,未達傳統擴展定律的極限,且仍在開發昂貴資料中心以提升預訓練模型性能。
OpenAI 產品副總裁彼得·韋林德(Peter Welinder)也在社群媒體表示「人們低估測試時計算的強大功能」。測試時計算(TTC)是機器學習概念之一,指模型部署後,新輸入數據推理或預測時的計算,與模型訓練計算分開,訓練階段是指模型學習資料模式和做預測階段。
傳統的機器學習模型,模型訓練好部署後,通常不需額外計算預測新資料實例。 然而某些更複雜模型,如某些類型的深度學習模型,可能需測試時(即推理時)額外計算。如 OpenAI 開發的「o1」模型就使用這種推理模式。整個 AI 產業界重心都轉向初始訓練後再提升模型的模式。
!https://img.technews.tw/wp-content/uploads/2024/11/15144032/06-7.jpg
▲ Peter Welinder。(Source:Dagens industri)
OpenAI 聯合創辦人之一伊利亞·蘇茲克弗(Ilya Sutskever)最近接受路透社採訪時承認,使用大量未標記資料訓練人工智慧模型,以使其理解語言模式和結構的預訓練階段,效果提升已趨平穩。伊利亞說「2010 年代是擴展時代,現在我們再次回到探索和發現時代」,並說「擴大正確規模比以往更重要」。
Orion 預定 2025 年推出,OpenAI 命名為「Orion」而非「GPT-5」,也許暗示新革命。雖然暫時受理論限制「難產」,仍期待有新名字的「新生兒」能幫 AI 大模型吹起轉變之風。
川普在競選時表態力挺加密貨幣,承諾上任後要推動美國儲備比特幣,如同黃金做為國家儲備資產。11 月 18 日再傳出,川普旗下公司「川普媒體與科技集團」(Trump Media & Technology Group,TMTG)有意收購加密貨幣平台業者 Bakkt,股價雙雙飆漲。
英國《金融時報》18日率先報導,據兩名知情人士透露,TMTG打算出手收購加密貨幣平台業者Bakkt的全部股份,將Bakkt納為100%持股的關係企業,雙方正在進行協商程序,交易細節待定。
消息一出,Bakkt股價隨即受到激勵,光是18日一天就暴漲162.46%,衝上29.71美元,由於股價波動過大,盤中數度觸發暫停交易的熔斷機制。TMTG股價也嗨漲,18日強勁大漲16.65%,收在32.78美元,今年來漲幅擴大到87.31%。
Bakkt為美國線上加密貨幣交易平台,總部位於美國喬治亞州,前執行長Kelly Loeffler目前擔任川普總統就職委員會(Inaugural Committee)共同主席。
TMTG是川普自創社群平台「Truth Social」母公司,今年3月與特殊目的併購公司(SPAC)Digital World Acquisition完成合併交易,由TMGT取代DWAC成為上市主體,以股票代號「DJT.US」在那斯達克交易所上市。
川普旗下 TMTG 擬收購加密貨幣平台 Bakkt,股價齊飆
人工智慧(AI)搜尋引擎新創企業 Perplexity 11 月 18 日宣布針對美國地區專業級用戶推出名為「Buy with Pro」的全新 AI 購物體驗,提供研究和購買產品的一站式解決方案,讓線上購物變得更容易且更加有趣。
Perplexity表示,透過上述新功能購物的美國專業級用戶可享免運費服務,不適用「Buy with Pro」的購物建議將會引導買家至商家網站。
當用戶拍攝商品照片時,Perplexity的「Snap to Shop」視覺搜尋工具會呈現相關產品,這意味著,使用者現在即使沒有產品說明或名稱也可以輕鬆找到所需的產品。
Perplexity表示,新的購物搜尋體驗由包括Shopify在內的平台整合提供支援。
Perplexity為了擴大購物體驗,推出了商家計劃,大型零售商可以輕鬆地分享他們的產品規格,以確保Perplexity能夠存取所有最佳可用產品的即時詳細資訊。
零售商將可免費參與商家計劃。Perplexity表示,這與日前推出的搜尋贊助廣告產品不同且無關。
Reuters 11月初報導,Perplexity正在籌集新資金,估值預估將達到90億美元。
Perplexity上週宣布開始在美國平台嘗試投放廣告,參與廣告計畫的品牌和代理商合作夥伴包括Indeed(全球職缺刊登網站)、Whole Foods Market、Universal McCann和PMG。
Perplexity金主包括亞馬遜(Amazon.com Inc.)創辦人貝佐斯(Jeff Bezos)。
美國商務部普查局11月15日公布,2024年10月無店舖零售商銷售額年增7.0%(月增0.3%)至1,244.75億美元,創1992年開始統計以來最高。
新創企業 Perplexity 針對美國用戶推出全新 AI 購物
大手筆投資比特幣的軟體商微策(MicroStrategy)宣布發行規模 17.5 億美元的可轉換債券,並擬以發債所得資金購入更多比特幣。
知名財經網站霸榮報導,微策略18日收盤後宣布,將根據1933年《證券法》第144A條,以零利率向合格機構投資人發行可轉債;該公司9月底才發行一批規模約10億美元的可轉債,近幾個月也多次加碼買進比特幣。
微策略的本業為商業智慧軟體供應商,但以「不務正業」聞名,大量買進比特幣,目前是持有比特幣部位最龐大的美國上市公司。
微策略近日公布,於2024年11月11日至17日期間斥資46億美元加倉51,780枚比特幣,平均價格為88,627美元。
申報資料顯示,截至2024年11月17日,微策略及其子公司總共持有331,200枚比特幣,每枚比特幣的均價約49,874美元;微策略手上部位占整體比特幣流通量的比例略高於1.5%。
川普當選後,市場預期加密貨幣政策將更為友善,帶動比特幣價格衝高,一度突破9.3萬美元;隨著比特幣價格今年扶搖直上,微策略也成為飆股,年初迄今股價暴漲逾五倍。
霸榮分析,市場對微策略可轉債的興趣濃厚,因微策略股票的波動性極高,為買進可轉債的投資者帶來套利空間,公司也因此能以「零利率」發債。
輝達與 Googel Quantum AI 宣佈達成合作,將以 NVIDIA CUDA-Q 平台協助Google研究人員開發量子電腦的大數據數位模型,以解決設計難題。
根據雙方聲明,Googel Quantum AI 部門將借助輝達 Eos 超級電腦,以及混合量子經典計算平台來模擬其量子處理器的物理特性,這將有助於 Google 克服量子計算硬體局限性、加速量子零組件的開發。
值得一提的是,這裏所指的硬體局限性,是指研究人員所謂的「雜訊」,即量子電腦在運行定量的量子操作後停止計算。Google Quantum AI 的研究科學家 Guifre Vidal 表示,只有我們能夠在擴大量子硬體規模的同時控制住雜訊,才能真正開發出具有商業用途的量子電腦。
事實上,要瞭解量子硬體設計中的雜訊,需要經過一系列複雜的動態模擬過程,並且要能夠全面捕捉量子處理器中的量子比特與其環境的相互作用才行。為了達成這一目標,輝達提供了一台基於 1,024 個 H100 Tensor Core GPU 的超級電腦,進一步執行世界上最大、最快的量子設備動態模擬之一,而且使得運作成本大幅降低。
輝達表示,借助 CUDA-Q 和 H100 GPU,Google 可以對包含 40 個量子比特的設備進行全面、逼真的動態模擬,其系統將在幾分鐘內提供結果。這成本相較之前可能需要一周時間,而且花費高昂成本來說有重大突破。
2024 美國總統大選川普壓倒性勝出,共和黨也在國會贏得過半席次,未來可望順利推動政策,美國經貿政策動向也引起關注。根據外媒最新消息,川普上任後打算放寬自駕車相關法規,引發特斯拉股價大漲逾 5%,Uber 則因面臨競爭壓力,股價聞訊嚇跌。
彭博社11月18日率先報導,川普即將在明年1月重返白宮,政權交接團隊正在緊鑼密鼓籌備相關工作,據知情人士透露,放寬聯邦自駕車規範將是新政府未來施政的重點,已列為運輸部的優先處理事項。
路透社等外媒報導,在美國現行法規下,無方向盤和踏板的全自駕車面臨嚴格的年產量限制,美國國家公路交通安全管理局(NHTSA)規定汽車製造商每年僅可生產2,500輛全自駕車,自駕系統也須經過嚴格安全檢查,造成特斯拉遲遲無法實現無人自駕車上路的壯志。
11月18日特斯拉股價勁揚5.62%、收美338.74元,Uber股價則挫跌5.35%、收69.33美元。
由於中國廉價電動車大舉攻入國際市場,特斯拉已取消平價新車 Model 2上市計畫,將重點放在自駕計程車Robotaxi業務和全自動輔助駕駛(FSD),做為未來營運成長動能。
美國大選後川普效應持續發威,使「川普交易」成為市場主流,比特幣飆漲破 93,000 美元,特斯拉執行長馬斯克,可望成為川普新生代內閣人選,摩根士丹利 11 月報告喊特斯拉股價上看 500 美元。第一金全球 AI 機器人及自動產業基金經理人張銀成說明,未來 10 年 AI 仍是重要趨勢,加速應用投入擴大商機,AI 技術應遍地開花,獲利成長前景可期。
普勝選後,隨即宣布任命馬斯克領導新成立的「政府效率部」(DOGE),為政府撙節開支、漸少繁瑣規範、聯邦官僚體系重整等,這些流程優化措施有機會為特斯拉及相關 AI 科技產業上帶來成長助力。第一金投信指出,川普贊成減少 AI 監管障礙,有助於 AI 新創公司發展機會,馬斯克的 xAI 有機會挑戰 OpenAI、Google等 先行者,開發大型語言模型,帶動 AI 科技技術更進一步發展。
隨著新政府的政策調整,美國聯準會的降息步調可能放緩,但降息方向不變,寬鬆貨幣政策有助降低成本、企業獲利改善、帶動需求等,張銀成指出,包括精密機械工具機、手機應用相關 AI 晶片、應用測試等,企業營收與訂單狀況,都開始出現谷底向上的趨勢,訂單的上揚速度雖仍待時間觀察,但 AI 動能呈現正向發展。
張銀成樂觀 AI 發展趨勢,未來較重視的領域以 AI 能帶來降低成本、提升效率的領域,投資主軸鎖定資料處理及 AI 應用等,提供雲端資料處理解決方案的三朵雲亞馬遜的 AWS、Google 的 GCP,及微軟的 Azure 等,業績持續加速成長或維持高速成長,這正歸功於 AI 快速發展的加持。
根據 Bain & Company 預估數據顯示,2027 年全球 AI 市場規模將達 7800 億至 9900 億美元,較 2023 年 1850 億美元,增長超過 5 倍,平均年複合成長率(CAGR)高達 40% 至 55%。這波成長主要來自訓練及運作 AI 系統大型資料中心所帶動,同時受惠企業、政府採用 AI、機器人等技術來提升效率。
全球對 AI 等創新科技的需求已呈現爆發式成長,聯準會降息挹注資金活水,第一金投信提醒投資人,AI、機器人自動化等科技產業仍將是川普執政年代的重要受惠標的,後市行情看俏,定期定額投資掌握 AI 產業相關投資機會。
分析師認為,川普(Donald Trump)回歸白宮後可能進一步鬆綁加密貨幣交易法規,新興券商 Robinhood 可望成為主要受惠者之一。
MarketWatch報導,Needham & Co.分析師托達羅(John Todaro)將Robinhood的股票評等由「中立」上升至「買進」,並將目標價設定於40美元,主因預期川普將進一步開放線上券商進行加密貨幣交易。
分析師也看好,美股目前處於「由散戶帶動的牛市」,Robinhood做為一站式交易平台的市場地位可望提升。
Robinhood股價18日強漲8.29%,收35.00美元,自美國大選以來已飆漲逾四成。
托達羅指出,嚴厲監督加密貨幣產業的美國證券交易委員會(SEC)現任主席詹斯勒(Gary Gensler)可能於近幾週辭職,換成對加密貨幣更支持的主席。也有消息指出,Robinhood法律主管Dan Gallagher是新任SEC主席的潛在人選之一。
托達羅認為,未來Robinhood提供的加密貨幣交易產品可能增加,比特幣牛市也可能帶來一波山寨季(altseason)行情,山寨幣(Altcoin,即比特幣的代替貨幣)的估值和交易將同步大增。
除此之外,分析師認為,隨著未來利率降低,股票和選擇權交易量將增加。Robinhood持續推出新產品實現用戶多元化,可望縮小與加密貨幣交易龍頭Coinbase等同業的差距。
美國伺服器大廠美超微(Super Micro Computer)財務疑雲不斷,從「AI 妖股」跌落神壇,還面臨二度下市危機,令投資人心驚膽戰。不過 18 日總算傳出好消息,美超微及時找到新會計師事務所簽證財報,並向那斯達克交易所提出補救措施,暫時免除強制下市命運。
路透社等外媒報導,美超微在18日美股盤後發聲明宣布,由全球第五大會計行BDO國際(BDO International)的美國成員所BDO USA接手處理財報簽證,並將補救計畫呈報給那斯達克交易所,說明如何具體改善以符合上市規定條件。
美超微向那斯達克交易所掛保證,一定會盡快補交2024會計年度(截至2024年6月30日)10-K 年報以及2025年第一季(截至2024年9月30日)10-Q季報,但沒有給出確切的繳交時間。
美超微先前因財報開天窗,遭那斯達克交易所警告下市期限為11月18日。補救計畫若獲得核准,財報繳交期限得予延長至明年2月,在此之前美超微可在那斯達克交易所維持原有的掛牌上市狀態,直到那斯達克交易所做出最終裁決。
Yahoo Finance報價顯示,11月18日正常盤美超微股價大漲15.93%、收21.54美元,上述聲明發表後,盤後猛漲39.60%至30.07美元。
串流巨頭 Netflix 轉播前重量級拳王泰森(Mike Tyson)對戰網紅拳擊手保羅(Jake Paul)的「世紀拳賽」,收視率驚人。各界也看好,進軍體育直播將帶動 Netflix 訂戶成長。
霸榮、Investing.com等外媒報導,Netflix於上週五(11月15日)晚間播出的世紀拳賽大受歡迎,高峰時獲逾6,500萬人人同步在線收看,一度因難以負荷高流量而導致系統癱瘓。儘管技術方面問題仍有改善空間,分析人士看好,進軍體育賽事直播將帶動Netflix訂戶持續成長。
Netflix股價18日上揚2.80%,收847.05美元;年初迄今漲幅逾七成。
Netflix已與與世界摔角娛樂(WWE)簽訂為期十年的合約,將自2025年起開始獨家轉播Raw等熱門摔角節目。Netflix也預定於今年聖誕節轉播兩場NFL(美式足球聯盟)賽事。
專家指出,拳賽直播帶來的龐大流量帶來技術方面的挑戰,Netflix現在必須專注於改善觀看體驗,以免訂閱者因對品質失望而退訂。
Netflix技術長Elizabeth Stone指出,這次活動的規模前所未有,帶來技術挑戰,部分會員體驗不佳,有改進空間,但她也說,這場活動仍取得巨大的成功。