粗淺的認識ggml 與llama.cpp
- ggml 是一個通用的機器學習框架，它可以應用於多種模型。它主要使用純 C 語言，並且輕量且適用於 Apple 裝置。ggml 支援許多模型，包括文字和圖片語音相關的模型，如 GPT-2、Llama、CLIP、Whisper 和 Stable Diffusion。
- llama.cpp 則是基於 ggml 開發的專案，專注於實現 LLaMA 模型架構。它具有高速讀取模型、低硬體需求和極低位元量化等功能。雖然 llama.cpp 適用於特定模型架構，但它已經在 GitHub 上引起了廣泛關注。
分享至
成為作者繼續創作的動力吧！
iBonnie_愛邦尼 的其他內容
- Deepfake as A Service(DAAS): SORA, 最近AI界的紅話題, 眼見不一定為憑!
- 新增Anaconda虛擬環境
- Ubuntu Server 24.04|22.04|20.04|18.04 安裝 Anaconda
- ESXI8-Ubuntu24.04|22.04 ,4090_4080_4070_4060.直通_GPU passthru
- 可以單機操作的類chatGPT:text-generation-webui安裝後的模型使用
- Docker_NVIDIA Container Enable_以Ubuntu24.04|22.04為例
你可能也想看
發表回應
成為會員 後即可發表留言
© 2024 vocus All rights reserved.