- ggml 是一個通用的機器學習框架，它可以應用於多種模型。它主要使用純 C 語言，並且輕量且適用於 Apple 裝置。ggml 支援許多模型，包括文字和圖片語音相關的模型，如 GPT-2、Llama、CLIP、Whisper 和 Stable Diffusion。
- llama.cpp 則是基於 ggml 開發的專案，專注於實現 LLaMA 模型架構。它具有高速讀取模型、低硬體需求和極低位元量化等功能。雖然 llama.cpp 適用於特定模型架構，但它已經在 GitHub 上引起了廣泛關注。
粗淺的認識ggml 與llama.cpp
發佈於AI領域展開 等 個房間
更新於 發佈於 閱讀時間約 1 分鐘
留言
留言分享你的想法！
iBonnie_愛邦尼
9會員
84內容數
記錄生活與技術的小細節
iBonnie_愛邦尼的其他內容
2025/04/18
大型語言模型（LLMs）已透過「思維鏈（Chain-of-Thought, CoT）」提示技術大幅提升其複雜推理能力。儘管 CoT 在提升準確性方面成效顯著，但其冗長的輸出方式也帶來了高昂的計算成本與顯著的延遲。這在講求效率的真實應用場景中，往往成為導入障礙。🧠 Chain of Draft
含有成人內容
2025/04/18
大型語言模型（LLMs）已透過「思維鏈（Chain-of-Thought, CoT）」提示技術大幅提升其複雜推理能力。儘管 CoT 在提升準確性方面成效顯著，但其冗長的輸出方式也帶來了高昂的計算成本與顯著的延遲。這在講求效率的真實應用場景中，往往成為導入障礙。🧠 Chain of Draft
含有成人內容
2025/04/17
本文提供 LangGraph、MCP（Model Context Protocol）與 Ollama 整合的實作教學，示範如何快速構建多代理聊天機器人系統。文章涵蓋 MCP 的優缺點、與 Function Call 的比較、應用場景選擇，以及逐步的實作步驟。
2025/04/17
本文提供 LangGraph、MCP（Model Context Protocol）與 Ollama 整合的實作教學，示範如何快速構建多代理聊天機器人系統。文章涵蓋 MCP 的優缺點、與 Function Call 的比較、應用場景選擇，以及逐步的實作步驟。
2025/03/27
AnythingLLM 是一款簡化大型語言模型應用程式的強大工具，支援多種文件格式、多人使用和管理，並提供彈性的 LLM 和向量資料庫選擇。同時，它也提供網頁文字爬取和 YouTube 字幕擷取等功能。本文介紹Docker 架設方法，並提供設定步驟與使用範例，例如建立一個會議紀錄小祕書。
2025/03/27
AnythingLLM 是一款簡化大型語言模型應用程式的強大工具，支援多種文件格式、多人使用和管理，並提供彈性的 LLM 和向量資料庫選擇。同時，它也提供網頁文字爬取和 YouTube 字幕擷取等功能。本文介紹Docker 架設方法，並提供設定步驟與使用範例，例如建立一個會議紀錄小祕書。
你可能也想看
2025 vocus 推出最受矚目的活動之一——《開箱你的美好生活》，我們跟著創作者一起「開箱」各種故事、景點、餐廳、超值好物⋯⋯甚至那些讓人會心一笑的生活小廢物；這次活動不僅送出了許多獎勵，也反映了「內容有價」——創作不只是分享、紀錄，也能用各種不同形式變現、帶來實際收入。
2025 vocus 推出最受矚目的活動之一——《開箱你的美好生活》，我們跟著創作者一起「開箱」各種故事、景點、餐廳、超值好物⋯⋯甚至那些讓人會心一笑的生活小廢物；這次活動不僅送出了許多獎勵，也反映了「內容有價」——創作不只是分享、紀錄，也能用各種不同形式變現、帶來實際收入。
嗨！歡迎來到 vocus
vocus 方格子是台灣最大的內容創作與知識變現平台，並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈！「創作至上」是我們的核心價值，我們致力於透過平台功能與服務，賦予創作者更多的可能。
vocus 平台匯聚了
嗨！歡迎來到 vocus
vocus 方格子是台灣最大的內容創作與知識變現平台，並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈！「創作至上」是我們的核心價值，我們致力於透過平台功能與服務，賦予創作者更多的可能。
vocus 平台匯聚了
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明，有一個很重要的結論：最適合您的模型不一定是排行榜上最好的模型，您需要學習 NLP 評
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明，有一個很重要的結論：最適合您的模型不一定是排行榜上最好的模型，您需要學習 NLP 評
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference
在AI時代中，GPT技術正在改變我們的生活。然而，SLM（小型語言模型）也開始受到關注，具有更高的效率、更低的資源消耗和更快的響應速度。這篇文章將討論LLM和SLM的比較、SLM的應用場景以及未來的發展趨勢。
在AI時代中，GPT技術正在改變我們的生活。然而，SLM（小型語言模型）也開始受到關注，具有更高的效率、更低的資源消耗和更快的響應速度。這篇文章將討論LLM和SLM的比較、SLM的應用場景以及未來的發展趨勢。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
大型語言模型(LLM)是基於深度學習的自然語言處理模型，而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言，LMM 能夠處理跨模態的內容，並整合多種資料的能力，有望成為未來趨勢。
大型語言模型(LLM)是基於深度學習的自然語言處理模型，而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言，LMM 能夠處理跨模態的內容，並整合多種資料的能力，有望成為未來趨勢。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」。
Prompt Pattern 是給予LLM的指示，並確保生成的輸出擁有特定的品質（和數量）。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」。
Prompt Pattern 是給予LLM的指示，並確保生成的輸出擁有特定的品質（和數量）。
