AI說書 - 從0開始 - 102
閱讀時間約 2 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
原始 Transformer 架構的 Transduction Process 使用編碼器堆疊、解碼器堆疊，而用所有模型參數來表示參考序列，我們將該輸出序列稱為參考。
- 「Transduction」 一詞的意念見 AI說書 - 從0開始 - 101
- 「參考」一詞的定義見 AI說書 - 從0開始 - 101
為什麼不直接說「輸出預測」呢？問題在於沒有單一的輸出預測，Transformer 和人類一樣，會產生我們可以參考的結果，但如果我們以不同的方式訓練它或使用不同的 Transformer 模型，結果可能會改變。
我們立即意識到 Human Transduction 的人類標準，即語言序列的表示，是一個相當大的挑戰，然而，目前已經取得了很大進展。
- 「Human Transduction」 一詞的意念見 AI說書 - 從0開始 - 101
機器翻譯的評估證明 NLP 已經進步了，為了確定一種解決方案優於另一種解決方案，每個 NLP 挑戰者、實驗室或組織必須參考相同的資料集才能使比較有效。
Vaswani 等人於 2017 介紹了原始 Transformer 模型在 Workshop on Statistical Machine (WMT) 2014 英德翻譯任務和 WMT 2014 英法翻譯任務中所取得的成果，原始 Transformer 取得了最先進的 Bilingual Evaluation Understudy (BLEU) 分數。
我們必須先預處理我們將要檢查的 WMT 資料集，2014 年 WMT 包含多個歐洲語言資料集，它是一個資料集包含來自 Europarl 語料庫第 7 版的資料，我們將使用 1996 - 2011 來自歐洲議會會議記錄平行語料庫的法語-英語資料集，詳見 ： https://www.statmt.org/europarl/v7/fr-en.tgz
152會員
384內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
關於颱風假，我問了 CHATGPT一個很簡單的問題，回答的架構也不錯，但內容有錯，還是要提醒一下…，
想透過AI得到解答的人，一定要很清楚，AI在法律問題上錯得會有點嚴重。
關於颱風假的規定，台灣的法條主要依據《災害防救法》和《勞動基準法》進行管理。以下是一些關鍵點：
如同作者所說，人類最大的優勢就在於「批判性思考」所帶來的突破性的成長，以及「情感(緒)」所帶動的人性，雖然次女也不知道將來會不會有一天，我身邊的機器人.........
台灣最大電子書服務 Readmoo 讀墨電子書 7/3 公布 2023 上半年暢銷榜,前三名由長青
話題書《蛤蟆先生去看心理師》《我可能錯了》《底層邏輯》拿下。綜觀百大趨勢,小說
仍是讀墨讀者最愛;商管理財以 29 本穩坐第二大,主題首重 AI 與效率彈性。
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
關於颱風假，我問了 CHATGPT一個很簡單的問題，回答的架構也不錯，但內容有錯，還是要提醒一下…，
想透過AI得到解答的人，一定要很清楚，AI在法律問題上錯得會有點嚴重。
關於颱風假的規定，台灣的法條主要依據《災害防救法》和《勞動基準法》進行管理。以下是一些關鍵點：
如同作者所說，人類最大的優勢就在於「批判性思考」所帶來的突破性的成長，以及「情感(緒)」所帶動的人性，雖然次女也不知道將來會不會有一天，我身邊的機器人.........
台灣最大電子書服務 Readmoo 讀墨電子書 7/3 公布 2023 上半年暢銷榜,前三名由長青
話題書《蛤蟆先生去看心理師》《我可能錯了》《底層邏輯》拿下。綜觀百大趨勢,小說
仍是讀墨讀者最愛;商管理財以 29 本穩坐第二大,主題首重 AI 與效率彈性。
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。