【AI訓練故障篇】FloatTensor and cuda.FloatTensor should be the same
更新於 發佈於 閱讀時間約 3 分鐘
圖片來源
我們已經介紹過關於Transformer模型的平台「【Hugging Face】Ep.1 平凡人也能玩的起的AI平台」，而操作的過程中相信也會有不少玩家會遇到這樣的狀況，因此將遇到的問題整理並分享解決方法，讓需要的朋友可以參考一下。
問題
Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same or input should be a MKLDNN tensor and weight is a dense tensor
前景提要
故事是這樣的， 小明是個軟體工程師， 專門研究語音辨識領域的技術， 有一天進行wav2vec2的語音辨識模型進行辨識時， 竟然在關鍵時刻發生了錯誤， 而這個錯誤可能也會是其他人遇到的狀況， 因此決定將過程好好整理一番， 以幫助在相同技術道路上的夥伴一起突破難關。
首先小明使用了wav2vec2的語辨模型， 並載入中文模型「wav2vec2-large-xlsr-53-chinese-zh-cn-gpt」， 並期望使用GPU加速辨識速度， 因此將DEVICE設定為cuda。
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
SRC_MODEL = 'ydshieh/wav2vec2-large-xlsr-53-chinese-zh-cn-gpt'
DEVICE = 'cuda'
processor = Wav2Vec2Processor.from_pretrained(SRC_MODEL)
model = Wav2Vec2ForCTC.from_pretrained(SRC_MODEL).to(DEVICE)
接著就直接對音檔進行辨識。
audio_buffer, _ = sf.read('test.wav')
input_values = processor(audio_buffer, sampling_rate=16000, return_tensors="pt").input_values
logits = model(input_values).logits
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.decode(predicted_ids[0])
transcription
結果竟然出錯了…， 這應該怎麼辦呢？
RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) ...
原因
根據錯誤訊息推測大致是輸入類型是CPU(torch.FloatTensor)， 但模型類型是GPU(torch.cuda.FloatTensor)， 因此需要將數據來源轉成GPU的類型才能相符。
如何解決
我們試著將音訊數據轉成「torch.cuda.FloatTensor」類型的資料。
input_values = input_values.to(DEVICE)
如此一來模型與數據的資料型態就會都一致了， 畢竟GPU與CPU並不相容，因此進行運算時也要非常的小心…。
118會員
266內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 127 中提及：
Transformer 的關鍵參數為：
原始 Transformer 模型中，左圖的 N = 6
原始 Tran
本文主要介紹，如何利用VAE變分自編碼器來訓練生成圖片。
訓練集資料將採用TF影像資料庫中的fashion_mnist
VAE變分自編碼器簡單介紹
•VAE(Variational Auto-Encoder)中文名稱變分自編碼器，主要是一種將原始資料編碼到潛在向量空間，再編碼回來的神經網路。
前言
讀了許多理論，是時候實際動手做做看了，以下是我的模型訓練初體驗，有點糟就是了XD。
正文
def conv(filters, kernel_size, strides=1):
return Conv2D(filters,
kernel_size,
微調(Fine tune)是深度學習中遷移學習的一種方法，其中預訓練模型的權重會在新數據上進行訓練。
本文主要介紹如何使用新的訓練圖檔在tesseract 辨識模型進行Fine tune
有關於安裝的部分可以參考友人的其他文章
Tesseract OCR - 繁體中文【安裝篇】
將所有資料
為了將輸入文本轉換成深度學習模型可以使用的嵌入向量，
我們需要先將「輸入文本 Input Text」轉為「符元化文本 Tokenized Text」。
而實際上「符元化文本 Tokenized Text」與「嵌入向量 Embedding Vector」之間，
還有一個步驟稱為「符元
本文介紹了Transformer中的Encoder Decoder與Cross Attention的運作方式以及的應用。涉及self-attention、autoRegressive Decoder、Non-AutoRegressive Decoder、Cross Attention等概念。
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
現代大語言模型建構於Transformer結構。
Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。
原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。
Transformer
在 AI 研究的領域中，理解和解釋語言模型如何處理和回應特定輸入始終是一項巨大挑戰。這種復雜性不僅限於模型的規模和結構，還涉及到它們如何在內部做出決策。為了應對這一挑戰，OpenAI 推出了一款名為 Transformer Debugger (TDB) 的工具，旨在深入探索小型語言模型的行為
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 127 中提及：
Transformer 的關鍵參數為：
原始 Transformer 模型中，左圖的 N = 6
原始 Tran
本文主要介紹，如何利用VAE變分自編碼器來訓練生成圖片。
訓練集資料將採用TF影像資料庫中的fashion_mnist
VAE變分自編碼器簡單介紹
•VAE(Variational Auto-Encoder)中文名稱變分自編碼器，主要是一種將原始資料編碼到潛在向量空間，再編碼回來的神經網路。
前言
讀了許多理論，是時候實際動手做做看了，以下是我的模型訓練初體驗，有點糟就是了XD。
正文
def conv(filters, kernel_size, strides=1):
return Conv2D(filters,
kernel_size,
微調(Fine tune)是深度學習中遷移學習的一種方法，其中預訓練模型的權重會在新數據上進行訓練。
本文主要介紹如何使用新的訓練圖檔在tesseract 辨識模型進行Fine tune
有關於安裝的部分可以參考友人的其他文章
Tesseract OCR - 繁體中文【安裝篇】
將所有資料
為了將輸入文本轉換成深度學習模型可以使用的嵌入向量，
我們需要先將「輸入文本 Input Text」轉為「符元化文本 Tokenized Text」。
而實際上「符元化文本 Tokenized Text」與「嵌入向量 Embedding Vector」之間，
還有一個步驟稱為「符元
本文介紹了Transformer中的Encoder Decoder與Cross Attention的運作方式以及的應用。涉及self-attention、autoRegressive Decoder、Non-AutoRegressive Decoder、Cross Attention等概念。
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
現代大語言模型建構於Transformer結構。
Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。
原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。
Transformer
在 AI 研究的領域中，理解和解釋語言模型如何處理和回應特定輸入始終是一項巨大挑戰。這種復雜性不僅限於模型的規模和結構，還涉及到它們如何在內部做出決策。為了應對這一挑戰，OpenAI 推出了一款名為 Transformer Debugger (TDB) 的工具，旨在深入探索小型語言模型的行為