【小聚】9/25 數創實驗室: 用生成式 AI 賦予資料分析的新方法

更新於 2024/09/26閱讀時間約 7 分鐘

昨天參加數創實驗室九月份的小聚,這次的主題圍繞著大型語言模型(LLM)在各行各業中的應用與影響。這場聚會不僅分享了企業如何面對 LLM 的技術挑戰,也探討了這些技術如何改變我們的工作方式,甚至對個人創業者產生的潛在影響。AI 的快速發展令人振奮,但同時也帶來了不可忽視的焦慮感。以下,我將分享這次聚會中的幾個主要觀點,並結合自己的思考,討論 LLM 的現況與未來趨勢。


Photo by Luis Villasmil on Unsplash

Photo by Luis Villasmil on Unsplash


LLM 在大企業中的發展:數據安全與成本效率

大型語言模型(LLM)的發展已經成為許多大企業關注的重點。然而,訓練一個高效的 LLM 並不是一件容易的事情,尤其是在資源需求上非常高昂。訓練這些模型需要巨大的算力以及大量的數據資源,這導致即使是大型企業,也很難完全依賴內部資源來進行 LLM 的訓練。這樣的過程通常需要投資高端的硬件設備、雲端設施,還有龐大的資料作為模型訓練的基礎。

即便如此,越來越多的大型企業開始探索 LLM 的潛在應用,因為他們看到了這些模型在自然語言處理、文本生成、客戶服務、數據分析等方面的強大潛力。不過,這些企業在決定是否導入和訓練自己的 LLM 時,通常面臨一個重要問題:應用場景是否成熟,能否帶來足夠的商業效益?目前,許多公司還處於探索階段,嘗試發現 LLM 能夠真正落地的具體場景。

一些企業選擇自行訓練 LLM 的原因,主要源自於對數據和商業機密的保護。例如,許多公司對於將數據上傳至第三方服務(如 OpenAI 或微軟)仍然存在顧慮,擔心敏感信息可能被洩露或被不當使用。儘管這些服務提供商通常會保證數據隱私的保護,但大企業仍傾向於選擇內部的本地化模型訓練,確保數據完全掌控在自己手中。

針對這種情況,企業有時會選擇訓練特定領域的語言模型(Domain-Specific LLMs),而不是像 ChatGPT 這樣的通用模型。Domain-Specific LLMs 更像是某個領域的專家,能夠提供在該領域內的高效回答和分析,而不必精通所有領域。這樣的模型不僅能降低訓練成本,還能滿足企業在具體業務場景中的需求。因此,訓練特定領域的模型成為了目前企業發展的一大趨勢,這不僅降低了模型訓練的門檻,也有助於提升在業務應用中的效率和效益。這樣的趨勢正在推動 LLM 在企業中的廣泛應用,尤其是在處理專業領域的文本和數據分析方面。

加速資料分析的未來:LLM 如何改變工作流程

大型語言模型(LLM)的另一個強大應用是在資料分析領域,特別是在編寫如 BigQuery(或是 SQL) 這類查詢語法時,LLM 可以快速生成複雜的查詢語法,幫助分析師節省大量的時間和精力。在 demo video 中,展示了 LLM 如何幫助加速資料分析流程 — — 從理解資料庫表的 schema、組裝數據,到生成 SQL 查詢,甚至是將結果視覺化,這整個過程通常需要分析師手動處理大約 30 分鐘,但通過 LLM,只需要短短 3 分鐘即可完成。

隨著這項技術的成熟,LLM 在資料分析領域的應用趨勢會越來越明顯,特別是在簡單的查詢語法生成任務上。這對於依賴 SQL 寫作的資料分析師來說,可能會帶來一些挑戰,因為 AI 可以輕鬆完成純粹的 SQL 編寫工作。這意味著未來純手動編寫 SQL 查詢的工作可能會被 AI 取代,資料分析師需要更多地關注於更高層次的分析、數據解釋和戰略決策。

AI 助力創業:一人公司時代的到來

儘管 LLM 在大企業的應用面臨挑戰,對於個人用戶來說,卻帶來了革命性的變化。隨著 LLM 的普及和進步,個人創業的門檻顯著降低,甚至有可能出現更多的「一人公司」。這些公司只有一個真人,而其他工作由 AI Agent 完成。這類 AI 已經可以自動處理包括前端設計、後端編碼、自動部署等工作,創業者只需要提出創意,AI 便能完成整個工作流程。

講者舉了幾個實際的GAI應用例子:

案例一:Google NotebookLM

Google 推出的 NotebookLM 展示了 LLM 的實際應用潛力。它可以將一段文本轉換成高品質的 pocast 內容,模擬出兩位主持人的對話,不僅在語調和情緒表達上非常到位,內容也充滿洞察力和精彩的討論。這意味著未來連主持人的角色也可能被 AI 取代,創業者只需提供一個創意,AI 就能生成全套的多媒體內容​。


https://youtu.be/jOZfcCKbNO0

https://youtu.be/jOZfcCKbNO0


案例二:8 歲女孩打造聊天機器人

另一個引人注目的案例是,一位 8 歲的小女孩僅用了 45 分鐘,便使用 LLM 打造了一個聊天機器人。這展示了 LLM 使得不會編程的人也能夠快速建立起原型或產品的潛力。以前的技術障礙因為 LLM 的出現被大幅降低,這種趨勢說明了會編程和不會編程之間的技術差距正在縮小​。

https://youtu.be/o5uvDZ8srHA

https://youtu.be/o5uvDZ8srHA

案例三:Sakana AI 的論文生成

日本的一家新創公司 Sakana AI 創造了一個利用 LLM 來撰寫論文的流程。這家公司使用 LLM 進行頭腦風暴、實驗設計,並在完成實驗後自動生成論文,最終被學術期刊接受發表。這表明 LLM 不僅在 coding 上有應用,還具備 reasoning 的能力。

https://sakana.ai/ai-scientist/

https://sakana.ai/ai-scientist/

LLM 的出現不僅改變了大企業的業務模式,對於個人創業者來說更是一個巨大的機遇。透過 AI 的幫助,未來的公司可能只需要一個真人,剩下的工作都交給 AI 來處理。從創意的誕生到產品的實現,AI 將成為創業者的強大助手,讓創業變得更簡單、更高效。

面對 AI 焦慮:擁抱技術,不斷學習成長

隨著 AI 的不斷發展,許多工作將不可避免地被自動化取代,這是大家廣泛認可的事實。尤其是在 Junior level 的工作中,AI 的應用顯示出強大的替代能力。企業開始相對僅願意雇用 Senior level 的工程師,搭配 AI 工具進行工作,這種組合能產生更大的效益。因此,Junior 的職位更容易被 AI 替代,這對許多初入職場的人來說帶來了壓力與焦慮。

從企業的角度看,這是合乎邏輯的選擇:AI 能有效解決重複性、基礎性的工作,將時間和精力釋放給更高層次的策略思考和創新任務。而資深專業人士能夠更好地利用 AI 提升生產力,從而達到“人機協作”的最佳效果。

然而,從個人的角度來看,AI 雖然引發焦慮,但同時也是一個強大的自我成長工具。過去,學習新知識往往需要花費大量時間來尋找資料、找該領域的專家,現在有了 AI,這就像是一位 24 小時隨時可用的“導師”。無論是 coding 還是學習新知識,AI 可以提供即時的幫助和指導,讓學習過程更加高效。這對於那些願意擁抱 AI 並且積極學習的人來說,是一次前所未有的機會,加速了他們的成長曲線。

兩極化的未來發展

隨著 AI 進一步融入工作和生活,未來的發展很可能會出現兩極化。一部分人會選擇擁抱新技術,不斷更新自己的技能,這類人將能夠充分利用 AI 所帶來的資源,並在職業生涯中保持競爭力。而另一部分人如果對 AI 保持距離、不願學習使用它,則可能逐漸被淘汰或面臨與職場斷層的風險。

因此,面對 AI 帶來的焦慮,最有效的應對方式是積極學習並與 AI 協同工作。AI 並非只是取代人的工具,它還可以成為我們的助力,幫助我們以更高的效率和創造力應對挑戰,從而在這個迅速變化的世界中脫穎而出。

avatar-img
33會員
43內容數
歡迎來到《桃花源記》專欄。這裡不僅是一個文字的集合,更是一個探索、夢想和自我發現的空間。在這個專欄中,我們將一同走進那些隱藏在日常生活中的"桃花源"——那些讓我們心動、讓我們反思、讓我們找到內心平靜的時刻和地方
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Karen的沙龍 的其他內容
因為 AI 領域的技術不斷地迭代更新,無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會,或是實作應用導入到專案之中。 那我覺得在學習新技術可通過以下步驟: 1. 找一個讀得懂的教學資源 現在網路上的教學資源很多,或是書籍的資源也很豐富, 同時也有像是 chatgpt 的 AI
當你在人生的旅途中感到疲憊時,記得每一次的日落都不是結束,而是另一個開始的預告。黃昏的柔和光線照亮了你的路途,提醒你,無論今日有多艱難,明天總會帶來新的希望與機會。 每一個夕陽的背後,都隱藏著一個黎明的承諾。讓這個承諾成為你的動力,讓你在困難中保持堅韌,不屈不撓。每當感到力不從心時,抬頭看看天空,
最近這一兩個月來,我完全沉浸在 coding 的世界中。每一天,從早到晚,我的腦海中充滿了code、data、model 和各種開發的挑戰。白天我的工作桌前總是亮著螢幕的光,顯示著那些我正在開發的專案。而當下班後的生活,我仍舊專心在開發額外接的案子,以及最近參與的技術競賽燒腦。 這樣的生活模式已經
壓力的多重來源 最近,我感到生活壓力逐漸增加,來自多方面的因素。一方面,工作的需求和期限讓我感到壓力山大;另一方面,參與的各種活動和項目也讓我喘不過氣來。我的智能手錶甚至也顯示出我的壓力指數從平時的50幾升高到了70幾。這段時間的睡眠質量也受到了影響,但我相信一旦這一切忙碌過去,情況會有所改善。我
因為 AI 領域的技術不斷地迭代更新,無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會,或是實作應用導入到專案之中。 那我覺得在學習新技術可通過以下步驟: 1. 找一個讀得懂的教學資源 現在網路上的教學資源很多,或是書籍的資源也很豐富, 同時也有像是 chatgpt 的 AI
當你在人生的旅途中感到疲憊時,記得每一次的日落都不是結束,而是另一個開始的預告。黃昏的柔和光線照亮了你的路途,提醒你,無論今日有多艱難,明天總會帶來新的希望與機會。 每一個夕陽的背後,都隱藏著一個黎明的承諾。讓這個承諾成為你的動力,讓你在困難中保持堅韌,不屈不撓。每當感到力不從心時,抬頭看看天空,
最近這一兩個月來,我完全沉浸在 coding 的世界中。每一天,從早到晚,我的腦海中充滿了code、data、model 和各種開發的挑戰。白天我的工作桌前總是亮著螢幕的光,顯示著那些我正在開發的專案。而當下班後的生活,我仍舊專心在開發額外接的案子,以及最近參與的技術競賽燒腦。 這樣的生活模式已經
壓力的多重來源 最近,我感到生活壓力逐漸增加,來自多方面的因素。一方面,工作的需求和期限讓我感到壓力山大;另一方面,參與的各種活動和項目也讓我喘不過氣來。我的智能手錶甚至也顯示出我的壓力指數從平時的50幾升高到了70幾。這段時間的睡眠質量也受到了影響,但我相信一旦這一切忙碌過去,情況會有所改善。我
你可能也想看
Google News 追蹤
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
老實說,原本的我一直認為,AI是離我很遠的東西,即使是去年的 ChatGPT 熱潮,我也只是跟著偶爾在工作中跟AI聊天激發靈感而已。不過,就在前一陣子看了《AI 世界的底層邏輯與生存法則》這本書後,我才逐漸加深使用AI的頻率,並且把「讓AI成為工作中的標配」當作讓自己能習慣的方向。
Thumbnail
尋找微型企業或個人工作室的寶貴經驗,瞭解日常工作中使用 AI 的現況及可能遇到的挑戰,並提供免費日常工作電子化諮詢、AI 相關服務推薦和程式碼撰寫協助,適合個人工作室和10人以下的小型企業參與。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
Thumbnail
2023年底以來,語言模型發展面臨著價格上漲、更新減緩和公司內部變動的局面,這些變化似乎意味著語言模型的發展受到了人為的控制和限制。
Thumbnail
在人工智慧(AI)領域中,生成式AI已經成為一個備受關注的分支,它不僅在創造性的工作中展現出強大的能力,還在各個領域中展現出潛在的應用價值。本文將從宏觀的角度出發,深入探討生成式AI的種類、概念、缺點、公司、訓練、發展趨勢以及原理,帶領讀者深入了解這個令人振奮的領域。
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
老實說,原本的我一直認為,AI是離我很遠的東西,即使是去年的 ChatGPT 熱潮,我也只是跟著偶爾在工作中跟AI聊天激發靈感而已。不過,就在前一陣子看了《AI 世界的底層邏輯與生存法則》這本書後,我才逐漸加深使用AI的頻率,並且把「讓AI成為工作中的標配」當作讓自己能習慣的方向。
Thumbnail
尋找微型企業或個人工作室的寶貴經驗,瞭解日常工作中使用 AI 的現況及可能遇到的挑戰,並提供免費日常工作電子化諮詢、AI 相關服務推薦和程式碼撰寫協助,適合個人工作室和10人以下的小型企業參與。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
Thumbnail
2023年底以來,語言模型發展面臨著價格上漲、更新減緩和公司內部變動的局面,這些變化似乎意味著語言模型的發展受到了人為的控制和限制。
Thumbnail
在人工智慧(AI)領域中,生成式AI已經成為一個備受關注的分支,它不僅在創造性的工作中展現出強大的能力,還在各個領域中展現出潛在的應用價值。本文將從宏觀的角度出發,深入探討生成式AI的種類、概念、缺點、公司、訓練、發展趨勢以及原理,帶領讀者深入了解這個令人振奮的領域。