【小聚】9/25 數創實驗室: 用生成式 AI 賦予資料分析的新方法

更新 發佈閱讀 7 分鐘

昨天參加數創實驗室九月份的小聚,這次的主題圍繞著大型語言模型(LLM)在各行各業中的應用與影響。這場聚會不僅分享了企業如何面對 LLM 的技術挑戰,也探討了這些技術如何改變我們的工作方式,甚至對個人創業者產生的潛在影響。AI 的快速發展令人振奮,但同時也帶來了不可忽視的焦慮感。以下,我將分享這次聚會中的幾個主要觀點,並結合自己的思考,討論 LLM 的現況與未來趨勢。


Photo by Luis Villasmil on Unsplash

Photo by Luis Villasmil on Unsplash


LLM 在大企業中的發展:數據安全與成本效率

大型語言模型(LLM)的發展已經成為許多大企業關注的重點。然而,訓練一個高效的 LLM 並不是一件容易的事情,尤其是在資源需求上非常高昂。訓練這些模型需要巨大的算力以及大量的數據資源,這導致即使是大型企業,也很難完全依賴內部資源來進行 LLM 的訓練。這樣的過程通常需要投資高端的硬件設備、雲端設施,還有龐大的資料作為模型訓練的基礎。

即便如此,越來越多的大型企業開始探索 LLM 的潛在應用,因為他們看到了這些模型在自然語言處理、文本生成、客戶服務、數據分析等方面的強大潛力。不過,這些企業在決定是否導入和訓練自己的 LLM 時,通常面臨一個重要問題:應用場景是否成熟,能否帶來足夠的商業效益?目前,許多公司還處於探索階段,嘗試發現 LLM 能夠真正落地的具體場景。

一些企業選擇自行訓練 LLM 的原因,主要源自於對數據和商業機密的保護。例如,許多公司對於將數據上傳至第三方服務(如 OpenAI 或微軟)仍然存在顧慮,擔心敏感信息可能被洩露或被不當使用。儘管這些服務提供商通常會保證數據隱私的保護,但大企業仍傾向於選擇內部的本地化模型訓練,確保數據完全掌控在自己手中。

針對這種情況,企業有時會選擇訓練特定領域的語言模型(Domain-Specific LLMs),而不是像 ChatGPT 這樣的通用模型。Domain-Specific LLMs 更像是某個領域的專家,能夠提供在該領域內的高效回答和分析,而不必精通所有領域。這樣的模型不僅能降低訓練成本,還能滿足企業在具體業務場景中的需求。因此,訓練特定領域的模型成為了目前企業發展的一大趨勢,這不僅降低了模型訓練的門檻,也有助於提升在業務應用中的效率和效益。這樣的趨勢正在推動 LLM 在企業中的廣泛應用,尤其是在處理專業領域的文本和數據分析方面。

加速資料分析的未來:LLM 如何改變工作流程

大型語言模型(LLM)的另一個強大應用是在資料分析領域,特別是在編寫如 BigQuery(或是 SQL) 這類查詢語法時,LLM 可以快速生成複雜的查詢語法,幫助分析師節省大量的時間和精力。在 demo video 中,展示了 LLM 如何幫助加速資料分析流程 — — 從理解資料庫表的 schema、組裝數據,到生成 SQL 查詢,甚至是將結果視覺化,這整個過程通常需要分析師手動處理大約 30 分鐘,但通過 LLM,只需要短短 3 分鐘即可完成。

隨著這項技術的成熟,LLM 在資料分析領域的應用趨勢會越來越明顯,特別是在簡單的查詢語法生成任務上。這對於依賴 SQL 寫作的資料分析師來說,可能會帶來一些挑戰,因為 AI 可以輕鬆完成純粹的 SQL 編寫工作。這意味著未來純手動編寫 SQL 查詢的工作可能會被 AI 取代,資料分析師需要更多地關注於更高層次的分析、數據解釋和戰略決策。

AI 助力創業:一人公司時代的到來

儘管 LLM 在大企業的應用面臨挑戰,對於個人用戶來說,卻帶來了革命性的變化。隨著 LLM 的普及和進步,個人創業的門檻顯著降低,甚至有可能出現更多的「一人公司」。這些公司只有一個真人,而其他工作由 AI Agent 完成。這類 AI 已經可以自動處理包括前端設計、後端編碼、自動部署等工作,創業者只需要提出創意,AI 便能完成整個工作流程。

講者舉了幾個實際的GAI應用例子:

案例一:Google NotebookLM

Google 推出的 NotebookLM 展示了 LLM 的實際應用潛力。它可以將一段文本轉換成高品質的 pocast 內容,模擬出兩位主持人的對話,不僅在語調和情緒表達上非常到位,內容也充滿洞察力和精彩的討論。這意味著未來連主持人的角色也可能被 AI 取代,創業者只需提供一個創意,AI 就能生成全套的多媒體內容​。


https://youtu.be/jOZfcCKbNO0

https://youtu.be/jOZfcCKbNO0


案例二:8 歲女孩打造聊天機器人

另一個引人注目的案例是,一位 8 歲的小女孩僅用了 45 分鐘,便使用 LLM 打造了一個聊天機器人。這展示了 LLM 使得不會編程的人也能夠快速建立起原型或產品的潛力。以前的技術障礙因為 LLM 的出現被大幅降低,這種趨勢說明了會編程和不會編程之間的技術差距正在縮小​。

https://youtu.be/o5uvDZ8srHA

https://youtu.be/o5uvDZ8srHA

案例三:Sakana AI 的論文生成

日本的一家新創公司 Sakana AI 創造了一個利用 LLM 來撰寫論文的流程。這家公司使用 LLM 進行頭腦風暴、實驗設計,並在完成實驗後自動生成論文,最終被學術期刊接受發表。這表明 LLM 不僅在 coding 上有應用,還具備 reasoning 的能力。

https://sakana.ai/ai-scientist/

https://sakana.ai/ai-scientist/

LLM 的出現不僅改變了大企業的業務模式,對於個人創業者來說更是一個巨大的機遇。透過 AI 的幫助,未來的公司可能只需要一個真人,剩下的工作都交給 AI 來處理。從創意的誕生到產品的實現,AI 將成為創業者的強大助手,讓創業變得更簡單、更高效。

面對 AI 焦慮:擁抱技術,不斷學習成長

隨著 AI 的不斷發展,許多工作將不可避免地被自動化取代,這是大家廣泛認可的事實。尤其是在 Junior level 的工作中,AI 的應用顯示出強大的替代能力。企業開始相對僅願意雇用 Senior level 的工程師,搭配 AI 工具進行工作,這種組合能產生更大的效益。因此,Junior 的職位更容易被 AI 替代,這對許多初入職場的人來說帶來了壓力與焦慮。

從企業的角度看,這是合乎邏輯的選擇:AI 能有效解決重複性、基礎性的工作,將時間和精力釋放給更高層次的策略思考和創新任務。而資深專業人士能夠更好地利用 AI 提升生產力,從而達到“人機協作”的最佳效果。

然而,從個人的角度來看,AI 雖然引發焦慮,但同時也是一個強大的自我成長工具。過去,學習新知識往往需要花費大量時間來尋找資料、找該領域的專家,現在有了 AI,這就像是一位 24 小時隨時可用的“導師”。無論是 coding 還是學習新知識,AI 可以提供即時的幫助和指導,讓學習過程更加高效。這對於那些願意擁抱 AI 並且積極學習的人來說,是一次前所未有的機會,加速了他們的成長曲線。

兩極化的未來發展

隨著 AI 進一步融入工作和生活,未來的發展很可能會出現兩極化。一部分人會選擇擁抱新技術,不斷更新自己的技能,這類人將能夠充分利用 AI 所帶來的資源,並在職業生涯中保持競爭力。而另一部分人如果對 AI 保持距離、不願學習使用它,則可能逐漸被淘汰或面臨與職場斷層的風險。

因此,面對 AI 帶來的焦慮,最有效的應對方式是積極學習並與 AI 協同工作。AI 並非只是取代人的工具,它還可以成為我們的助力,幫助我們以更高的效率和創造力應對挑戰,從而在這個迅速變化的世界中脫穎而出。

留言
avatar-img
留言分享你的想法!
avatar-img
Karen的沙龍
34會員
52內容數
歡迎來到《桃花源記》專欄。這裡不僅是一個文字的集合,更是一個探索、夢想和自我發現的空間。在這個專欄中,我們將一同走進那些隱藏在日常生活中的"桃花源"——那些讓我們心動、讓我們反思、讓我們找到內心平靜的時刻和地方
Karen的沙龍的其他內容
2024/11/29
最近讀了《臣服實驗》的心得分享 最近讀完了 《臣服實驗》,這本書帶給我不少啟發,也引發了一些思考。以下分享兩個我認為書中很有價值的重點,並結合自己的感受來談談心得。 1. 冥想帶來的正面影響 書中提到冥想的重要性,我特別有共鳴,因為自己也是冥想的愛好者。冥想讓我感受到生命中的平靜,甚至可以說是
Thumbnail
2024/11/29
最近讀了《臣服實驗》的心得分享 最近讀完了 《臣服實驗》,這本書帶給我不少啟發,也引發了一些思考。以下分享兩個我認為書中很有價值的重點,並結合自己的感受來談談心得。 1. 冥想帶來的正面影響 書中提到冥想的重要性,我特別有共鳴,因為自己也是冥想的愛好者。冥想讓我感受到生命中的平靜,甚至可以說是
Thumbnail
2024/07/25
因為 AI 領域的技術不斷地迭代更新,無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會,或是實作應用導入到專案之中。 那我覺得在學習新技術可通過以下步驟: 1. 找一個讀得懂的教學資源 現在網路上的教學資源很多,或是書籍的資源也很豐富, 同時也有像是 chatgpt 的 AI
Thumbnail
2024/07/25
因為 AI 領域的技術不斷地迭代更新,無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會,或是實作應用導入到專案之中。 那我覺得在學習新技術可通過以下步驟: 1. 找一個讀得懂的教學資源 現在網路上的教學資源很多,或是書籍的資源也很豐富, 同時也有像是 chatgpt 的 AI
Thumbnail
2023/11/19
當你在人生的旅途中感到疲憊時,記得每一次的日落都不是結束,而是另一個開始的預告。黃昏的柔和光線照亮了你的路途,提醒你,無論今日有多艱難,明天總會帶來新的希望與機會。 每一個夕陽的背後,都隱藏著一個黎明的承諾。讓這個承諾成為你的動力,讓你在困難中保持堅韌,不屈不撓。每當感到力不從心時,抬頭看看天空,
Thumbnail
2023/11/19
當你在人生的旅途中感到疲憊時,記得每一次的日落都不是結束,而是另一個開始的預告。黃昏的柔和光線照亮了你的路途,提醒你,無論今日有多艱難,明天總會帶來新的希望與機會。 每一個夕陽的背後,都隱藏著一個黎明的承諾。讓這個承諾成為你的動力,讓你在困難中保持堅韌,不屈不撓。每當感到力不從心時,抬頭看看天空,
Thumbnail
看更多
你可能也想看
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
尋找微型企業或個人工作室的寶貴經驗,瞭解日常工作中使用 AI 的現況及可能遇到的挑戰,並提供免費日常工作電子化諮詢、AI 相關服務推薦和程式碼撰寫協助,適合個人工作室和10人以下的小型企業參與。
Thumbnail
尋找微型企業或個人工作室的寶貴經驗,瞭解日常工作中使用 AI 的現況及可能遇到的挑戰,並提供免費日常工作電子化諮詢、AI 相關服務推薦和程式碼撰寫協助,適合個人工作室和10人以下的小型企業參與。
Thumbnail
AI 的廣泛應用正在改變工作方式和商業模式。一個備受關注的領域是生成式 AI,它能夠創造新內容並執行各種任務,從撰寫博客文章到生成圖像和對話聊天。然而,企業在嘗試引入生成式 AI 時,常常會面臨一些常見的誤解和困惑。本文將解析這其中的兩大迷思,幫助您更好地瞭解在哪些工作崗位上讓 AI 發揮作用是最合
Thumbnail
AI 的廣泛應用正在改變工作方式和商業模式。一個備受關注的領域是生成式 AI,它能夠創造新內容並執行各種任務,從撰寫博客文章到生成圖像和對話聊天。然而,企業在嘗試引入生成式 AI 時,常常會面臨一些常見的誤解和困惑。本文將解析這其中的兩大迷思,幫助您更好地瞭解在哪些工作崗位上讓 AI 發揮作用是最合
Thumbnail
大型語言模型 (LLM) 在最近幾年取得了重大進展,並引起了人們對生成式AI將如何影響工作方式的廣泛重視。雖然 LLM 具有強大的文本生成、翻譯和理解能力,但它們對工作的影響仍然是一個複雜且充滿爭議的話題。 本文摘要自MIT 史隆管理評論,分析LLM 對工作帶來的影響。
Thumbnail
大型語言模型 (LLM) 在最近幾年取得了重大進展,並引起了人們對生成式AI將如何影響工作方式的廣泛重視。雖然 LLM 具有強大的文本生成、翻譯和理解能力,但它們對工作的影響仍然是一個複雜且充滿爭議的話題。 本文摘要自MIT 史隆管理評論,分析LLM 對工作帶來的影響。
Thumbnail
本文將探討人工智能對生活上的影響和改變,同時,例如規劃時間,安排選擇等等,附上一些建議與推薦工具。 在今天,大語言模型開通全球,我們可以輕易的使用人工智能對話,和他們對話,交流,討論,但是,除了娛樂以外,在生活上,我們還有什麼用法呢?
Thumbnail
本文將探討人工智能對生活上的影響和改變,同時,例如規劃時間,安排選擇等等,附上一些建議與推薦工具。 在今天,大語言模型開通全球,我們可以輕易的使用人工智能對話,和他們對話,交流,討論,但是,除了娛樂以外,在生活上,我們還有什麼用法呢?
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News