AI LLM成為第二數位大腦,多領域認知與網路知識的本質-第一版

ROOT-avatar-img
發佈於軟體
更新於 發佈於 閱讀時間約 10 分鐘



前言

在人工智慧的發展經歷數個冰河期停滯後,終於在後疫情時代來到了一個技術高峰,而這個破冰者就是OpenAI,對於這個話題不管你是是正在接觸AI來提高工作效率,或是專業領域上,對於AI介入感到焦慮的新人,都希望本文可以讓你得到收穫和新觀點。


人工智慧發展冰河期:在1970、1980、2005年代人工智能的發展停滯,也就消失在大眾的關注下
後疫情時代:加速了所有科技軟硬體相關產業的發展


目的

本文將分享對於AI理解與觀點,使讀者認識AI 大型語言模型 (LLM),以及從更多的角度來認識AI,將簡單分成


  • 認識AI 大型語言模型 (LLM)
  • 認識網路大數據總量
  • AI工具的高效原則
  • 目前相關領域的影響性


AI 大型語言模型 (LLM)


大型語言模型(LLM)本質是文字預測機器,透過非常大量的數據訓練,產出語言模型來進行後續推理任務。當使用者的輸入內容時,LLM 會根據機率分布進行推理,篩選出最可能的字詞與句子來生成回應,


在早期計算機算力與數據量不足的情況下,並沒有足夠的能力來提供模型訓練,所訓練出來的成果不佳,


然而在2023年期間ChatGPT做到了,首先有了足夠的運算能力來訓練模型,再透過網路大數據的資訊總量來使AI訓練或得足夠的特徵運算,讓AI附有所謂的專業知識,這也多虧了在2022年前熱門的大數據一詞,開始重視對大量數據進行推理分析所帶來的效益。


簡單的描述 LLM

在這邊盡可能不涉及任何術語,簡單的描述LLM是如何逐字逐句的進行推理,你可以想像將網路上幾乎所有領域有知識價值的文章資料,透過層層篩選與推理,當然最後資料不是一般文字,如下圖示意,稱為神經網路


raw-image



語句接應

LLM 中神經網路推理方式也是類似於人的思考,一字一句的構思下一個段落來組成話語,不會有人一下接上,自己無法理解或從未看過的字眼,例如:


你說:「今天的天氣真好,我想去……」「逛街」、「百貨」


不會存在於模型中的詞語,或是極低趨近於零的機率


你說:「今天的天氣真好,我想去……」「痾屋卡」、「哩喔」


這裡引用一段微軟資料科學家在Medium上的文章段落,連結[1]在參考文獻。

Neural networks are powerful Machine Learning models that allow arbitrarily complex relationships to be modeled. They are the engine that enables learning such complex relationships at massive scale. [1](Andreas stöffelbauer. (2023, October 24).How Large Language Models)

翻譯: 神經網路是強大的機器學習模型,可以對任意複雜的關係進行建模。它們是大規模學習這種複雜關係的引擎。


網路大數據總量


引用

Today, more than 5 billion consumers interact with data every day – by 2025, that number will be 6 billion, or 75% of the world's population. In 2025, each connected person will have at least one data interaction every 18 seconds. Many of these interactions are because of the billions of IoT devices connected across the globe, which are expected to create over 90ZB of data in 2025. [1] David, R., John, G. and John, R. (2018) The Digitization of the World, from Edge to Core. An IDC White Paper-#US44413318, Sponsored by Seagate.


這裡簡單總結,預計網路將在2025年擁有60億的使用者,每天與數據互動,預計總數據產生量將達到90ZB(Zettabytes)


90ZB相當於,假設一部4k電影約 100GB,90ZB 可存儲 **9 兆部 4K 電影**


換算單位如下:

1 ZB(Zettabyte) = 1,000 EB(Exabytes)

1 EB = 1,000 PB(Petabytes)

1 PB = 1,000 TB(Terabytes)

1 TB = 1,000 GB(Gigabytes)


誰是專家

AI LLM是提升效率的工具,可以想像每個人在不同專業背景與理解程度上,所能夠透過AI提升到的效率就不同



專業的價值是知識、理解、應用、創造,如果每個人都能使用AI,那麼在一樣的條件下,學習的效率和條件就會改變。


具備基礎知識的專業者,所帶來的效益越高



知識取得


對於人工智能的出現,使大家都可以更迅速取得各領域的知識,超越了傳統的搜索學習框架


但是

獲取知識不等同理解知識,理解知識不等同運用知識



想比喻是當今教育和資源,每個人都能很容易的取得知識,但無法表示透徹學會了專業知識,這之中不僅僅是量化評估的能力,也獲取參雜抽象的理解或各方面知識的積累,所以獲取這些知識不一定就能做出應用。


傳統搜索引擎


然而AI 大型語言模型的應用也是,可以給你一些對該領域足夠的知識或建議,儘管資訊不一定完美,但這確實提高了搜索與尋求知識的效率,儘管我們細心的在網路上搜索文獻,也不一定能夠保證每個作者的觀點或是表達都正確,因此這也是為何有搜索引擎業務的科技巨頭,這麼的在意AI應用目前的影響。


AI工具的高效原則


當前對於生成式AI的使用每個人都有所不同,為此可以試想不同情境


效率原則

如果靠著自己搜尋有特定標準規範的資訊,傳統搜索10分鐘瀏覽,生成式AI搜索1分鐘,且能依循你個人的需求來讓你獲取相同品質的資訊,那麼這歸類在效率搜索途徑。


創造原則

如果你花10分鐘修圖,與花1分鐘AI修圖,成效是一樣的,那麼可以歸類為無效做工,做工的事情讓AI完成會是更好的選擇,因此這屬於創造原則,而當你將做工交給AI時,你獲得更多時間收益,來進行更具效益的創作和發想。


工具原則

將AI視為「高效工具」,延續個人專業價值。好比在電腦剛盛行時期,會開始出現許多的電腦相關課程,在後來人們才會意識到許多工作可以透過電腦更快速地完成,但是新的工作也伴隨出現,只是換了一種新工作方式,對於「新工具的出現」搶先學習確實會帶來競爭優勢,但當時間拉長遠後也僅是成為人人必備的基礎工具。


問題原則

相信很多人都聽過,提出一個好的問題才能更好的學習,能否提出一個好的問題,背後是求知慾望,以及對問題的理解和拆解,網路上會充斥著許多方法論課程來說明如何問AI問題,或是找到更多的AI工具,這可能反而造成使用者更低的使用效率,讓使用者落入教條式的思考框架與資源負荷焦慮的窘境。



影響性


1. 對於軟體工程的影響

回到軟體開發也同理,如果是剛入門軟體開發,還在研究程式基本語法新人來說,確實會帶來一定的壓力,但對於有一定經驗的開發者來說,等於得到了一個高效的助手,開發者如同身兼技術整合者。


資深工程師更有影響力

目前 AI 的能力主要集中在小範圍邏輯處理,而軟體工程師將這部分交接給AI,目的是為了節省重複性質的工作,與Vibe coding區別在於資深工程師本具備理解程式語法邏輯的能力,所以當AI所生成的軟體產品有問題時,能夠優化、調整、除錯。因此無法真正取代資深工程師,因為開發工作不只是寫程式,更重要的是整合、優化和維護整體架構。資深工程師的影響力,在於能夠將技術工程與產品需求結合,確保系統穩定且具備長遠發展的價值。


2. 對於設計藝術的影響

對於AI衝擊的設計業與藝術繪圖產業,對於這些藝術創作和設計者們,他們被迫選擇與AI共存,利用AI創作一些素材或靈感,或是將一些較繁瑣的圖像工作交給AI處理,對於設計藝術創作者們的新人來說,確實是一大挑戰,需要有自己獨特的創作價值才能脫穎而出。


在設計師的社群有句有趣的話是這樣說的:


AI雖然生成的作品很不錯,但他們還是猜不到客戶要什麼,因為客戶自己也不知道,這些還是交給經驗豐富的設計師們吧!



領域知識價值


領域知識(domain knowledge) 與軟實力變得更具價值



領域知識提升的前提是穩紮穩打該領域基礎,並有深度的獨立見解的延伸相關領域知識,因此不會因為AI懂專業,所以學該專業的基礎就不具價值。


對於領域資深者將重複性質的工作交給了AI,成了技術整合的人,以及更具有效率的產出者,將省下來的時間,投入下一件更具創造力的事物上。


威脅與優勢

目前容易面臨威脅的是該領域的入門者,但入門者的相對優點是它降低了學習及進入門檻,這是一種相對應的雙面刃


本文觀點論述最後編輯時間 2025/03/22


參考文獻

[1] David, R., John, G. and John, R. (2018) The Digitization of the World, from Edge to Core. An IDC White Paper-#US44413318, Sponsored by Seagate.

https://www.seagate.com/files/www-content/our-story/trends/files/idc-seagate-dataage-whitepaper.pdf


讀者可參考來自微軟資料科學家的文章

[2] Andreas stöffelbauer. (2023, October 24).How Large Language Models Work. https://medium.com/data-science-at-microsoft/how-large-language-models-work-91c362f5b78f

留言
avatar-img
留言分享你的想法!
avatar-img
科技&科幻 | 36號系統
22會員
28內容數
一個理念象徵, 一個專注在人工智慧與人文的地方, 【科幻哲思】一種理想主義的科幻哲思 【軟體科技】一種理性主義的實踐精神
2025/03/30
MCP是一種通訊協議 (Protocol),提供統一的方法來讓AI 連接工具,使 AI 應用軟體 能夠透過統一介面存取各種服務。協議在軟體工程中用作標準化接口,透過標準化來解決,軟體或硬體相互不支援的問題。
Thumbnail
2025/03/30
MCP是一種通訊協議 (Protocol),提供統一的方法來讓AI 連接工具,使 AI 應用軟體 能夠透過統一介面存取各種服務。協議在軟體工程中用作標準化接口,透過標準化來解決,軟體或硬體相互不支援的問題。
Thumbnail
2025/03/24
在未來你會看到越來越多的Intel Core Ultra系列規格出現在大眾的電腦市場上,本文將分享如何挑選 Intel Core Ultra 處理器、選擇的考量因素,以及 NPU(神經處理單元)的用途,本文分成一般消費者選購和NPU運行狀況兩部分介紹
Thumbnail
2025/03/24
在未來你會看到越來越多的Intel Core Ultra系列規格出現在大眾的電腦市場上,本文將分享如何挑選 Intel Core Ultra 處理器、選擇的考量因素,以及 NPU(神經處理單元)的用途,本文分成一般消費者選購和NPU運行狀況兩部分介紹
Thumbnail
2024/08/16
這期分享的是如何獲取Meta API,這部分需要先創建Mata開發人員的帳號,所以還先請朋友們閱讀下方官方文件來註冊,之後有時間會再寫一篇關於Mata開發人員的教學
Thumbnail
2024/08/16
這期分享的是如何獲取Meta API,這部分需要先創建Mata開發人員的帳號,所以還先請朋友們閱讀下方官方文件來註冊,之後有時間會再寫一篇關於Mata開發人員的教學
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型,並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing,現
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型,並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing,現
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在 AI說書 - 從0開始 - 74 中提到,我們想要建立「Transformer 數學」與「ChatGPT 產生的文字」兩者間的關係。 有鑑於此,我們以句子「
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在 AI說書 - 從0開始 - 74 中提到,我們想要建立「Transformer 數學」與「ChatGPT 產生的文字」兩者間的關係。 有鑑於此,我們以句子「
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News