租用22小時：RTX4090處理10萬張照片AI辨識(CLIP模型)，費用約 482 新台幣

這篇文章探討了使用不同硬體（GPU、DDR4、SSD）進行AI推論的數據傳輸速率及效率比較，結果顯示GPU VRAM（如RTX 4090）的數據傳輸速率和效率遠高於DDR4 DRAM和SSD。在處理10萬張照片時，RTX 4090僅需21.1小時，而DDR4和SSD則分別需要34.41天和59.49天。結論指出，為追求高效能，應優先選擇高性能GPU，儘管成本較高，但其效能提升是其他儲存技術無法匹敵的。這張表格展示了不同GPU與儲存技術的數據傳輸速率、每張照片採用 API 呼叫本地端地 Ollama 掛載的 llava-llama3 (CLIP) 模型運算時間及處理10萬張照片所需的總時間。RTX 3090和RTX 4090的加入顯示了高端GPU相較於RTX 3080及其他儲存方案的性能優勢。

其中的 SSD 方案，速度差異是有點令我大吃一驚，和我原本想得有點不太一樣。

探討不同存儲技術對 AI 運算效率的影響：以處理 10 萬張照片為例

各種硬體配置的數據傳輸速率及效能比較

計算步驟：

1. GPU VRAM (RTX 4090)：
2. • 每秒數據傳輸量：1,008 GB/s
   • 每張照片所需時間：約 0.76 秒
   • 處理 10 萬張照片所需時間：約 21.1 小時
2. GPU VRAM (RTX 3090)：
3. • 每秒數據傳輸量：936 GB/s
   • 每張照片所需時間：約 0.81 秒
   • 處理 10 萬張照片所需時間：約 22.5 小時
3. GPU VRAM (RTX 3080)：
4. • 每秒數據傳輸量：760 GB/s
   • 每張照片所需時間：約 1 秒
   • 處理 10 萬張照片所需時間：約 27.78 小時
4. PC DDR4 DRAM：
5. • 每秒數據傳輸量：25.6 GB/s
   • 每張照片所需時間：約 29.7 秒
   • 處理 10 萬張照片所需時間：約 34.41 天
5. AI 100 SSD（循序讀取）：
6. • 每秒數據傳輸量：14.8 GB/s
   • 每張照片所需時間：約 51.35 秒
   • 處理 10 萬張照片所需時間：約 59.49 天

RunPod 提供了多種 RTX 4090 GPU 租用選項:

Secure Cloud

• 按需定價: $0.74/小時
• VRAM: 24 GB
• RAM: 46 GB
• vCPU: 8
• 可靠性: 99.99%
• 區域: 10個
• 安全性: 企業級
• 合規性: 請聯絡了解更多
• 網路儲存容量: 10PB+
• 網路儲存區域: 4個

租用 RTX 4090 處理十萬張照片費用約 482 新台幣

在 RunPod 租用 RTX 4090 處理十萬張照片所需的總費用，我們需要考慮處理照片的時間和租用的每小時費用。根據之前的計算，RTX 4090 處理每張照片約需 0.76 秒。

計算步驟：

1. 處理十萬張照片所需的總時間：
2. • 每張照片所需時間：0.76 秒
   • 十萬張照片所需總時間 = 0.76 秒/照片 × 100,000 張照片
   • 總時間（秒） = 76,000 秒
   • 將秒數轉換為小時：76,000 秒 ÷ 3600 秒/小時 ≈ 21.11 小時
2. 租用 RTX 4090 的總費用：
3. • 每小時租用費用：0.74 美元/小時
   • 總費用 = 0.74 美元/小時 × 21.11 小時 ≈ 15.62 美元

結果：

租用 RTX 4090 來處理十萬張照片所需的總費用約為 15.62 美元，約為 482 新台幣。

完整文章來源：阿中小站＞AI 推論使用 GPU、DDR4、AI 100 SSD 的傳輸量非正式比較

https://eagle.aii.tw/?page_id=14174