粗淺的認識ggml 與llama.cpp

iBonnie_愛邦尼
發佈於AI領域展開 個房間
閱讀時間約 1 分鐘
  • ggml 是一個通用的機器學習框架,它可以應用於多種模型。它主要使用純 C 語言,並且輕量且適用於 Apple 裝置。ggml 支援許多模型,包括文字和圖片語音相關的模型,如 GPT-2、Llama、CLIP、Whisper 和 Stable Diffusion。
  • llama.cpp 則是基於 ggml 開發的專案,專注於實現 LLaMA 模型架構。它具有高速讀取模型、低硬體需求和極低位元量化等功能。雖然 llama.cpp 適用於特定模型架構,但它已經在 GitHub 上引起了廣泛關注。




    1會員
    63內容數
    記錄生活與技術的小細節
    留言0
    查看全部
    發表第一個留言支持創作者!