2024-09-26|閱讀時間 ‧ 約 31 分鐘

【小聚】9/25 數創實驗室: 用生成式 AI 賦予資料分析的新方法

昨天參加數創實驗室九月份的小聚,這次的主題圍繞著大型語言模型(LLM)在各行各業中的應用與影響。這場聚會不僅分享了企業如何面對 LLM 的技術挑戰,也探討了這些技術如何改變我們的工作方式,甚至對個人創業者產生的潛在影響。AI 的快速發展令人振奮,但同時也帶來了不可忽視的焦慮感。以下,我將分享這次聚會中的幾個主要觀點,並結合自己的思考,討論 LLM 的現況與未來趨勢。


Photo by Luis Villasmil on Unsplash


LLM 在大企業中的發展:數據安全與成本效率

大型語言模型(LLM)的發展已經成為許多大企業關注的重點。然而,訓練一個高效的 LLM 並不是一件容易的事情,尤其是在資源需求上非常高昂。訓練這些模型需要巨大的算力以及大量的數據資源,這導致即使是大型企業,也很難完全依賴內部資源來進行 LLM 的訓練。這樣的過程通常需要投資高端的硬件設備、雲端設施,還有龐大的資料作為模型訓練的基礎。

即便如此,越來越多的大型企業開始探索 LLM 的潛在應用,因為他們看到了這些模型在自然語言處理、文本生成、客戶服務、數據分析等方面的強大潛力。不過,這些企業在決定是否導入和訓練自己的 LLM 時,通常面臨一個重要問題:應用場景是否成熟,能否帶來足夠的商業效益?目前,許多公司還處於探索階段,嘗試發現 LLM 能夠真正落地的具體場景。

一些企業選擇自行訓練 LLM 的原因,主要源自於對數據和商業機密的保護。例如,許多公司對於將數據上傳至第三方服務(如 OpenAI 或微軟)仍然存在顧慮,擔心敏感信息可能被洩露或被不當使用。儘管這些服務提供商通常會保證數據隱私的保護,但大企業仍傾向於選擇內部的本地化模型訓練,確保數據完全掌控在自己手中。

針對這種情況,企業有時會選擇訓練特定領域的語言模型(Domain-Specific LLMs),而不是像 ChatGPT 這樣的通用模型。Domain-Specific LLMs 更像是某個領域的專家,能夠提供在該領域內的高效回答和分析,而不必精通所有領域。這樣的模型不僅能降低訓練成本,還能滿足企業在具體業務場景中的需求。因此,訓練特定領域的模型成為了目前企業發展的一大趨勢,這不僅降低了模型訓練的門檻,也有助於提升在業務應用中的效率和效益。這樣的趨勢正在推動 LLM 在企業中的廣泛應用,尤其是在處理專業領域的文本和數據分析方面。

加速資料分析的未來:LLM 如何改變工作流程

大型語言模型(LLM)的另一個強大應用是在資料分析領域,特別是在編寫如 BigQuery(或是 SQL) 這類查詢語法時,LLM 可以快速生成複雜的查詢語法,幫助分析師節省大量的時間和精力。在 demo video 中,展示了 LLM 如何幫助加速資料分析流程 — — 從理解資料庫表的 schema、組裝數據,到生成 SQL 查詢,甚至是將結果視覺化,這整個過程通常需要分析師手動處理大約 30 分鐘,但通過 LLM,只需要短短 3 分鐘即可完成。

隨著這項技術的成熟,LLM 在資料分析領域的應用趨勢會越來越明顯,特別是在簡單的查詢語法生成任務上。這對於依賴 SQL 寫作的資料分析師來說,可能會帶來一些挑戰,因為 AI 可以輕鬆完成純粹的 SQL 編寫工作。這意味著未來純手動編寫 SQL 查詢的工作可能會被 AI 取代,資料分析師需要更多地關注於更高層次的分析、數據解釋和戰略決策。

AI 助力創業:一人公司時代的到來

儘管 LLM 在大企業的應用面臨挑戰,對於個人用戶來說,卻帶來了革命性的變化。隨著 LLM 的普及和進步,個人創業的門檻顯著降低,甚至有可能出現更多的「一人公司」。這些公司只有一個真人,而其他工作由 AI Agent 完成。這類 AI 已經可以自動處理包括前端設計、後端編碼、自動部署等工作,創業者只需要提出創意,AI 便能完成整個工作流程。

講者舉了幾個實際的GAI應用例子:

案例一:Google NotebookLM

Google 推出的 NotebookLM 展示了 LLM 的實際應用潛力。它可以將一段文本轉換成高品質的 pocast 內容,模擬出兩位主持人的對話,不僅在語調和情緒表達上非常到位,內容也充滿洞察力和精彩的討論。這意味著未來連主持人的角色也可能被 AI 取代,創業者只需提供一個創意,AI 就能生成全套的多媒體內容​。


https://youtu.be/jOZfcCKbNO0


案例二:8 歲女孩打造聊天機器人

另一個引人注目的案例是,一位 8 歲的小女孩僅用了 45 分鐘,便使用 LLM 打造了一個聊天機器人。這展示了 LLM 使得不會編程的人也能夠快速建立起原型或產品的潛力。以前的技術障礙因為 LLM 的出現被大幅降低,這種趨勢說明了會編程和不會編程之間的技術差距正在縮小​。

https://youtu.be/o5uvDZ8srHA

案例三:Sakana AI 的論文生成

日本的一家新創公司 Sakana AI 創造了一個利用 LLM 來撰寫論文的流程。這家公司使用 LLM 進行頭腦風暴、實驗設計,並在完成實驗後自動生成論文,最終被學術期刊接受發表。這表明 LLM 不僅在 coding 上有應用,還具備 reasoning 的能力。

https://sakana.ai/ai-scientist/

LLM 的出現不僅改變了大企業的業務模式,對於個人創業者來說更是一個巨大的機遇。透過 AI 的幫助,未來的公司可能只需要一個真人,剩下的工作都交給 AI 來處理。從創意的誕生到產品的實現,AI 將成為創業者的強大助手,讓創業變得更簡單、更高效。

面對 AI 焦慮:擁抱技術,不斷學習成長

隨著 AI 的不斷發展,許多工作將不可避免地被自動化取代,這是大家廣泛認可的事實。尤其是在 Junior level 的工作中,AI 的應用顯示出強大的替代能力。企業開始相對僅願意雇用 Senior level 的工程師,搭配 AI 工具進行工作,這種組合能產生更大的效益。因此,Junior 的職位更容易被 AI 替代,這對許多初入職場的人來說帶來了壓力與焦慮。

從企業的角度看,這是合乎邏輯的選擇:AI 能有效解決重複性、基礎性的工作,將時間和精力釋放給更高層次的策略思考和創新任務。而資深專業人士能夠更好地利用 AI 提升生產力,從而達到“人機協作”的最佳效果。

然而,從個人的角度來看,AI 雖然引發焦慮,但同時也是一個強大的自我成長工具。過去,學習新知識往往需要花費大量時間來尋找資料、找該領域的專家,現在有了 AI,這就像是一位 24 小時隨時可用的“導師”。無論是 coding 還是學習新知識,AI 可以提供即時的幫助和指導,讓學習過程更加高效。這對於那些願意擁抱 AI 並且積極學習的人來說,是一次前所未有的機會,加速了他們的成長曲線。

兩極化的未來發展

隨著 AI 進一步融入工作和生活,未來的發展很可能會出現兩極化。一部分人會選擇擁抱新技術,不斷更新自己的技能,這類人將能夠充分利用 AI 所帶來的資源,並在職業生涯中保持競爭力。而另一部分人如果對 AI 保持距離、不願學習使用它,則可能逐漸被淘汰或面臨與職場斷層的風險。

因此,面對 AI 帶來的焦慮,最有效的應對方式是積極學習並與 AI 協同工作。AI 並非只是取代人的工具,它還可以成為我們的助力,幫助我們以更高的效率和創造力應對挑戰,從而在這個迅速變化的世界中脫穎而出。

分享至
成為作者繼續創作的動力吧!
© 2024 vocus All rights reserved.