我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
當中說明為：
- 客戶端將程序提交給資源管理器並控制這些程序的執行，當客戶端將程序提交給資源管理器時，資源管理器會為客戶端分配後端的虛擬資源切片，然後，客戶端開始執行程序，客戶端負責管理程序的執行，例如監控計算進度和處理錯誤
- 資源管理器會追踪設備的可用性，並將後端的虛擬資源切片分配給客戶端，例如，在下表中，我們可以看到客戶端請求如何被分配為實際設備的虛擬切片
- 中間表示（IR）是一種語言中立的程式表示，可以用於生成針對不同後端的程式，Pathways 使用自定義的 Multi-Level Intermediate Representation (MLIR) 方言作為其 IR，MLIR 是一種相對較新的技術，它是一個編譯器基礎設施，可以為多種程式語言和硬體目標（如 GPU、TPU 和 CPU）生成通用的 IR
- 編譯器將 IR 轉換為低級表示，然後可以在物理設備上執行
- 調度器管理在分組為 Island 的物理設備上執行程式，每個 Island 由集中式調度管理，旨在減少執行時間並進行負載平衡
- 執行器負責在單一設備上執行程式，調度器管理需要執行的程式的進入流量，當調度器觸發程式前往最佳可用設備時，執行器執行這些程式
