自然語言處理相關
17免費公開
這裡將介紹自然語言處理相關技術與實作紀錄
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
上週發了一篇AI書單推薦
今天來談談，我是怎麼學習的，我總共學了七年AI，自然對於一個小白想入門有更深刻的體悟，更能了解怎麼樣學習才能不至於一次面臨太多困難而放棄
我的建議是這樣：
先花兩年把Machine Learning學完，當中會遇到很多數學問題，這方面可以「在遇到問題時」再去翻
上週發了一篇AI書單推薦
今天來談談，我是怎麼學習的，我總共學了七年AI，自然對於一個小白想入門有更深刻的體悟，更能了解怎麼樣學習才能不至於一次面臨太多困難而放棄
我的建議是這樣：
先花兩年把Machine Learning學完，當中會遇到很多數學問題，這方面可以「在遇到問題時」再去翻
這篇介紹我看過的AI書籍中，覺得很棒的書單，我按照不同的AI作法來分類：
Machine Learning:
Pattern Recognition and Machine Learning, Christopher M. Bishop, 2011
The Elements of Statis
這篇介紹我看過的AI書籍中，覺得很棒的書單，我按照不同的AI作法來分類：
Machine Learning:
Pattern Recognition and Machine Learning, Christopher M. Bishop, 2011
The Elements of Statis
我們知道AI的作法可以分為Supervised Learning、Unsupervised Learning、Reinforcement Learning，整題區分如下圖：
圖片出處：https://www.superannotate.com/blog/supervised-learning-an
我們知道AI的作法可以分為Supervised Learning、Unsupervised Learning、Reinforcement Learning，整題區分如下圖：
圖片出處：https://www.superannotate.com/blog/supervised-learning-an
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為Prompt Engineering
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為Prompt Engineering
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接
回顧我們的目標是自己做一個免錢Chat GPT 自己做免錢Chat GPT吧
當中，我希望外掛一個外部知識庫，叫做RAG，來提升整體問答的品質，同時又能避免機敏資訊被Chat GPT竊取。
緣由參見 ChatGPT回答不是你要的怎麼辦？
詳細實作於 使用Meta釋出的模型，實作Chat G
回顧我們的目標是自己做一個免錢Chat GPT 自己做免錢Chat GPT吧
當中，我希望外掛一個外部知識庫，叫做RAG，來提升整體問答的品質，同時又能避免機敏資訊被Chat GPT竊取。
緣由參見 ChatGPT回答不是你要的怎麼辦？
詳細實作於 使用Meta釋出的模型，實作Chat G
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
透明性 Transparency
以LLM模型的開
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
透明性 Transparency
以LLM模型的開
回顧ChatGPT回答不是你要的怎麼辦？這篇文章，Chat GPT回答的結果常常不如人意，因此有個Facebook提出的技術，叫做RAG，它是提升Chat GPT回答品質的方式之一，詳細實作步驟可以參照自己做免錢Chat GPT吧。
這次我們來換個方法，今天要介紹Reinforcement Lea
回顧ChatGPT回答不是你要的怎麼辦？這篇文章，Chat GPT回答的結果常常不如人意，因此有個Facebook提出的技術，叫做RAG，它是提升Chat GPT回答品質的方式之一，詳細實作步驟可以參照自己做免錢Chat GPT吧。
這次我們來換個方法，今天要介紹Reinforcement Lea
當Chat GPT回答的東西不是你想要的，怎麼辦呢？
我們提供想法的思路於：ChatGPT回答不是你要的怎麼辦？
我想自己動手改善，但是我沒有GPU這項資源怎麼辦？
我們提供免費使用方式於：使用Meta釋出的模型，實作Chat GPT - Part 0
有了操作環境，但是我不知道怎麼
當Chat GPT回答的東西不是你想要的，怎麼辦呢？
我們提供想法的思路於：ChatGPT回答不是你要的怎麼辦？
我想自己動手改善，但是我沒有GPU這項資源怎麼辦？
我們提供免費使用方式於：使用Meta釋出的模型，實作Chat GPT - Part 0
有了操作環境，但是我不知道怎麼
到目前為止，我們已經完成RAG技術的實作，在上一篇文章使用Meta釋出的模型，實作Chat GPT - Part 5中，可以看到加入RAG之後，可以讓我的大型語言模型回答更為精確。
現在我們要把它用一個畫面做呈現，而不是以程式碼來給大家看，就類似Chat GPT這樣，背後有複雜的程式運行，但是眾人
到目前為止，我們已經完成RAG技術的實作，在上一篇文章使用Meta釋出的模型，實作Chat GPT - Part 5中，可以看到加入RAG之後，可以讓我的大型語言模型回答更為精確。
現在我們要把它用一個畫面做呈現，而不是以程式碼來給大家看，就類似Chat GPT這樣，背後有複雜的程式運行，但是眾人
延續使用Meta釋出的模型，實作Chat GPT - Part 4，我們現在遇到一個問題：語言模型回答的資訊不是我想要的。
於是我參照ChatGPT回答不是你要的怎麼辦？，想使用低成本的技術：RAG，來改善這問題。
以下開始實作，首先引入一個重量級工具包，它叫做LangChain，這是做語言模型
延續使用Meta釋出的模型，實作Chat GPT - Part 4，我們現在遇到一個問題：語言模型回答的資訊不是我想要的。
於是我參照ChatGPT回答不是你要的怎麼辦？，想使用低成本的技術：RAG，來改善這問題。
以下開始實作，首先引入一個重量級工具包，它叫做LangChain，這是做語言模型
在使用Meta釋出的模型，實作Chat GPT - Part 3中我們已經建立好大型語言模型遇到哪些「字串」要停止輸出的列表，現在我們將它製作成一個物件，對應程式如下：
from transformers import StoppingCriteria, StoppingCriteriaList
在使用Meta釋出的模型，實作Chat GPT - Part 3中我們已經建立好大型語言模型遇到哪些「字串」要停止輸出的列表，現在我們將它製作成一個物件，對應程式如下：
from transformers import StoppingCriteria, StoppingCriteriaList
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
背景
各位ChatGPT使用者是否常常發生以下狀況：ChatGPT跟你雞同鴨講。
原因就出在ChatGPT當初在訓練時，在你所處的專業Domain並沒有足夠的訓練資料。
針對這種情況要怎麼辦呢？
今天將介紹幾種分法來解決，並分析各種方法的優劣。
方法羅列
提示工程 (Prompt E
背景
各位ChatGPT使用者是否常常發生以下狀況：ChatGPT跟你雞同鴨講。
原因就出在ChatGPT當初在訓練時，在你所處的專業Domain並沒有足夠的訓練資料。
針對這種情況要怎麼辦呢？
今天將介紹幾種分法來解決，並分析各種方法的優劣。
方法羅列
提示工程 (Prompt E
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
上週發了一篇AI書單推薦
今天來談談，我是怎麼學習的，我總共學了七年AI，自然對於一個小白想入門有更深刻的體悟，更能了解怎麼樣學習才能不至於一次面臨太多困難而放棄
我的建議是這樣：
先花兩年把Machine Learning學完，當中會遇到很多數學問題，這方面可以「在遇到問題時」再去翻
上週發了一篇AI書單推薦
今天來談談，我是怎麼學習的，我總共學了七年AI，自然對於一個小白想入門有更深刻的體悟，更能了解怎麼樣學習才能不至於一次面臨太多困難而放棄
我的建議是這樣：
先花兩年把Machine Learning學完，當中會遇到很多數學問題，這方面可以「在遇到問題時」再去翻
這篇介紹我看過的AI書籍中，覺得很棒的書單，我按照不同的AI作法來分類：
Machine Learning:
Pattern Recognition and Machine Learning, Christopher M. Bishop, 2011
The Elements of Statis
這篇介紹我看過的AI書籍中，覺得很棒的書單，我按照不同的AI作法來分類：
Machine Learning:
Pattern Recognition and Machine Learning, Christopher M. Bishop, 2011
The Elements of Statis
我們知道AI的作法可以分為Supervised Learning、Unsupervised Learning、Reinforcement Learning，整題區分如下圖：
圖片出處：https://www.superannotate.com/blog/supervised-learning-an
我們知道AI的作法可以分為Supervised Learning、Unsupervised Learning、Reinforcement Learning，整題區分如下圖：
圖片出處：https://www.superannotate.com/blog/supervised-learning-an
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為Prompt Engineering
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為Prompt Engineering
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接
回顧我們的目標是自己做一個免錢Chat GPT 自己做免錢Chat GPT吧
當中，我希望外掛一個外部知識庫，叫做RAG，來提升整體問答的品質，同時又能避免機敏資訊被Chat GPT竊取。
緣由參見 ChatGPT回答不是你要的怎麼辦？
詳細實作於 使用Meta釋出的模型，實作Chat G
回顧我們的目標是自己做一個免錢Chat GPT 自己做免錢Chat GPT吧
當中，我希望外掛一個外部知識庫，叫做RAG，來提升整體問答的品質，同時又能避免機敏資訊被Chat GPT竊取。
緣由參見 ChatGPT回答不是你要的怎麼辦？
詳細實作於 使用Meta釋出的模型，實作Chat G
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
透明性 Transparency
以LLM模型的開
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
透明性 Transparency
以LLM模型的開
回顧ChatGPT回答不是你要的怎麼辦？這篇文章，Chat GPT回答的結果常常不如人意，因此有個Facebook提出的技術，叫做RAG，它是提升Chat GPT回答品質的方式之一，詳細實作步驟可以參照自己做免錢Chat GPT吧。
這次我們來換個方法，今天要介紹Reinforcement Lea
回顧ChatGPT回答不是你要的怎麼辦？這篇文章，Chat GPT回答的結果常常不如人意，因此有個Facebook提出的技術，叫做RAG，它是提升Chat GPT回答品質的方式之一，詳細實作步驟可以參照自己做免錢Chat GPT吧。
這次我們來換個方法，今天要介紹Reinforcement Lea
當Chat GPT回答的東西不是你想要的，怎麼辦呢？
我們提供想法的思路於：ChatGPT回答不是你要的怎麼辦？
我想自己動手改善，但是我沒有GPU這項資源怎麼辦？
我們提供免費使用方式於：使用Meta釋出的模型，實作Chat GPT - Part 0
有了操作環境，但是我不知道怎麼
當Chat GPT回答的東西不是你想要的，怎麼辦呢？
我們提供想法的思路於：ChatGPT回答不是你要的怎麼辦？
我想自己動手改善，但是我沒有GPU這項資源怎麼辦？
我們提供免費使用方式於：使用Meta釋出的模型，實作Chat GPT - Part 0
有了操作環境，但是我不知道怎麼
到目前為止，我們已經完成RAG技術的實作，在上一篇文章使用Meta釋出的模型，實作Chat GPT - Part 5中，可以看到加入RAG之後，可以讓我的大型語言模型回答更為精確。
現在我們要把它用一個畫面做呈現，而不是以程式碼來給大家看，就類似Chat GPT這樣，背後有複雜的程式運行，但是眾人
到目前為止，我們已經完成RAG技術的實作，在上一篇文章使用Meta釋出的模型，實作Chat GPT - Part 5中，可以看到加入RAG之後，可以讓我的大型語言模型回答更為精確。
現在我們要把它用一個畫面做呈現，而不是以程式碼來給大家看，就類似Chat GPT這樣，背後有複雜的程式運行，但是眾人
延續使用Meta釋出的模型，實作Chat GPT - Part 4，我們現在遇到一個問題：語言模型回答的資訊不是我想要的。
於是我參照ChatGPT回答不是你要的怎麼辦？，想使用低成本的技術：RAG，來改善這問題。
以下開始實作，首先引入一個重量級工具包，它叫做LangChain，這是做語言模型
延續使用Meta釋出的模型，實作Chat GPT - Part 4，我們現在遇到一個問題：語言模型回答的資訊不是我想要的。
於是我參照ChatGPT回答不是你要的怎麼辦？，想使用低成本的技術：RAG，來改善這問題。
以下開始實作，首先引入一個重量級工具包，它叫做LangChain，這是做語言模型
在使用Meta釋出的模型，實作Chat GPT - Part 3中我們已經建立好大型語言模型遇到哪些「字串」要停止輸出的列表，現在我們將它製作成一個物件，對應程式如下：
from transformers import StoppingCriteria, StoppingCriteriaList
在使用Meta釋出的模型，實作Chat GPT - Part 3中我們已經建立好大型語言模型遇到哪些「字串」要停止輸出的列表，現在我們將它製作成一個物件，對應程式如下：
from transformers import StoppingCriteria, StoppingCriteriaList
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
背景
各位ChatGPT使用者是否常常發生以下狀況：ChatGPT跟你雞同鴨講。
原因就出在ChatGPT當初在訓練時，在你所處的專業Domain並沒有足夠的訓練資料。
針對這種情況要怎麼辦呢？
今天將介紹幾種分法來解決，並分析各種方法的優劣。
方法羅列
提示工程 (Prompt E
背景
各位ChatGPT使用者是否常常發生以下狀況：ChatGPT跟你雞同鴨講。
原因就出在ChatGPT當初在訓練時，在你所處的專業Domain並沒有足夠的訓練資料。
針對這種情況要怎麼辦呢？
今天將介紹幾種分法來解決，並分析各種方法的優劣。
方法羅列
提示工程 (Prompt E
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta