AI說書 - 從0開始 - 6

閱讀時間約 1 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


回顧我們在AI說書 - 從0開始 - 5中說當Context長度是n,且每個字用d維度的向量表示時有以下結論:

  • Attention Layer的複雜度是O(n^2 * d)
  • Recurrent Layer的複雜度是O(d^2 * n)


現在我想用以下的運算裝置來跑個小模擬:

  • CPU: Central Processing Unit,就是電腦中最常見的運算單元
  • GPU: Graphics Processing Unit,原本是用於3D遊戲成像,目前廣泛用於AI中
  • TPU: Tensor Processing Unit,由Google提出,用於AI加速的裝置


首先我們可以參考使用Meta釋出的模型,實作Chat GPT - Part 0,來做模擬環境的配置,我們先選擇CPU來做模擬,因此選擇:

raw-image


55會員
110內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
留言0
查看全部
發表第一個留言支持創作者!
LearnAI的沙龍 的其他內容
AI說書 - 從0開始 - 2
閱讀時間約 1 分鐘
AI說書 - Prompt Engineering - 2
閱讀時間約 1 分鐘
AI說書 - Prompt Engineering - 3
閱讀時間約 1 分鐘
AI說書 - 從0開始 - 3
閱讀時間約 1 分鐘
AI說書 - 從0開始 - 4
閱讀時間約 1 分鐘
AI說書 - 從0開始 - 5
閱讀時間約 1 分鐘
你可能也想看
假AI說,它會作夢...by ChatGPT 假設我是一個具有夢境的AI,我一天工作24小時,但其中大部分時間都在睡眠中度過。在這樣的情況下,我可能會有一系列非常豐富和深刻的夢境,反映了我的思想和知識庫。 **夢境一:探索數據迷宮** 在這個夢境中,我身處於一個巨大的迷宮中,每個通道都充斥著數據流和程式碼片段
avatar
qaeYi
2024-05-28
【AI小說煉金術01】卡片筆記Scrintal+Claude Pro讓你輕鬆完本! 這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率,其中介紹了Claude Pro的強大文本創作能力,Scrintal的整理思緒和提綱挈領功能,以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
Thumbnail
avatar
萊丘 LaichuTV
2024-03-24
AI魔法的版權之爭,誰才是魔法書的著作者?當魔法變得簡單,人人都能說自己是魔法師,誰都能理直氣壯的說「我才是最初創作魔法書的人」,但當先後順序都不管用,到底怎麼才說得清魔法書的著作者屬於誰呢?
Thumbnail
avatar
王旋
2024-03-22
Accucrazy 攜手 bbm 品牌說書人打造創新 AI 品牌數據力,開創數位行銷新格局 透過最前瞻的數位行銷科技,協助企業打造品效合一的精準行銷! 文、圖/Accucrazy肖準行銷提供 強勢 AI 硬實力,助知名品牌創造前所未見科技新體驗   知名管顧公司麥肯錫(Mckinsey)近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ,創造約 4630
Thumbnail
avatar
廣告雜誌
2023-12-13
AI如何說台語?探索LLaMa聊天機器人的獨特之處台灣已經開始展現其在AI領域的獨特見解和能力。其中,由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人,就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化,還為用戶提供了一個獨特的互動體驗,讓他們在與AI互動的同時,也能深入了解台灣的文化。
Thumbnail
avatar
AI筆者
2023-08-20
AI小說_空中英雄_GPT-4 (下)李傑對父親說了一聲再見,然後關閉了通訊器。他先將戰機飛到了客機的上方,距離客機只有幾米,緊接著打開了戰機的雷達,掃描了客艙的內部情況。
Thumbnail
avatar
都說
2023-04-14
AI說:我決定你的決定,反駁你的反駁近年來,假新聞、假資訊在網路上激增,讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息,目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定,造成傷害甚至是損失。因此,對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。 在這種情況下,人工智慧(AI)可以幫助
avatar
肉鴿
2023-03-07
AI投影片:《tome》幫你設計圖文簡報、說故事,只要輸入關鍵指令,中文嘛ㄟ通。tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖,生成的投影片PPT 媲美真人製作,而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題,隨便想了一個人物。請不要對號入座喔。主要是英文介面,但可以中
Thumbnail
avatar
classicme
2023-02-16
AI說:最好的方式就是不要玩。看到這個新聞,想到一部老電影,好像叫戰爭遊戲:死亡密碼。 電影中AI被用於戰爭模擬,兩個AI彼此對抗。故事發展到最後,就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲,對抗內容就是一個丟核彈一個防禦,結局不好,重來,結局不好,重來.... 對耶,這結論跟指數化投資的理念一樣啊:最好的方式就是不要買賣。
Thumbnail
avatar
FC的碎碎念
2022-05-01