聊聊分散式運算
閱讀時間約 1 分鐘
NVDIA黃仁勳演講有提到分散式運算，我還真的做了分散式運算的研究拿了個碩士，那分散式運算是做什麼的呢？用現在的時代用語”算力”來解釋的話，就是要處理的資料非常大量，但是單一伺服器的算力不足，所以必須聯合好幾台伺服器的算力來一起處理，
而要能夠做分散式運算的前提就是你要有一套可以操作分散式運算的系統，這套系統對使用者來說他只看到一個界面，而他需要處理的資料只要丟到系統之後，系統就會自己把資料分段丟給不同的伺服器，用各自伺服器的算力來處理資料，這套系統愈強大，則分散運算的能力愈強。而最笨的做法就是不管伺服器的算力，就把資料按伺服器的台數去平均切割運算，這個會造成算力強的先算完，要等算力弱的算完才能統整資料。然後最理想的做法就是依不同的算力分配適量的資料，讓其可以儘可能同時間處理完資料，這樣就會最有效率。還記得當時用的是SUN OS來實做的，效率是否很好就不得而知了。而依當時來看是有點不被重視的一門學問了，因為後來就為了加強算力，有了多核CPU的設計，而且發展之快，讓單一伺服器的算力在當時都可以非常快速的處理很多資料，也就逐漸取代了這種要多伺服器分散平行運算的複雜系統。
時至今日，要處理的影音資料、雲端資料太多了，單一伺服器的理念就又被推翻了，取而代之的是資料中心的多伺服器同時大量運算的概念，甚至是由各地不同的資料中心來做分散運算的操作了，今天寫的太技術了，希望你不會覺得無聊！
28.2K會員
893內容數
可轉債老爹告訴你怎麼學會可轉債！跟著老爹，你會學會可轉債、CBAS，你是股市新手嗎？你會發現這裡有很多寶藏，均線：有！技術分析：有！布林通道：有！都有，這裡最適合你了，加入這裡，可以讓你成長又茁壯！你還可以加入老爹的賴社群！可以購買講義，快速了解可轉債！可以訂閱週報，每週獲取新資訊、新知識！
留言0
查看全部
你可能也想看
Google News 追蹤
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
微服務是一種分散式的專案架構，換個說法，就是將一個專案做“應用切割”，切出數個可以獨立執行的應用，如此可以降低耦合性，並提升敏捷性。
特點
低耦合
獨立部署
高可維護性
高可測試性
本文介紹了各種運算符的用法和優先級，包括算術運算符、比較運算符、賦值運算符、邏輯運算符、位元運算符、成員運算符和身份運算符。每種運算符都有詳細的描述和示例程式碼，幫助理解其功能和用法。
■什麼是區塊鏈技術？
區塊鏈是透過點對點(P2P)運行的網路，這個網路由分散式節點組成，可以把它想成是共享的數據庫，也就是分散式帳本(DLT)，分散式帳本技術是一種去中心化的帳本，儲存著網路上進行的所有交易。
中心化帳本：也稱為集中式帳本，由一個中心化的機構去做驗證、記帳、訂立規則。
這本書從 docker 的角度出發，介紹很多可重複使用的 pattern，除了翻譯某些地方有點怪之外，算是很有趣的一本書，後面很多的 pattern 可以想成是 sidecar 的進階使用方式，在不改變應用程式的情況下，增加不同的功能，相當實用。
運算思維由2006年3月，美國卡內基·梅隆大學計算機科學系主任周以真（Jeannette M. Wing）教授因提出並倡導「運算思維」而享譽計算機科學界。
運算思維分成四個步驟
拆解
將一個大問題拆解成許多小問題，各個擊破解決，當小問題解決了大問題也就解決了。
模式識別
將複雜的問題分解
解決電腦上遇到的問題、證明正確性、探討效率
並且很著重溝通，說服別人你做的事是正確且有效率的。
內容：
計算模型、資料結構介紹、演算法介紹、時間複雜度介紹。
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
微服務是一種分散式的專案架構，換個說法，就是將一個專案做“應用切割”，切出數個可以獨立執行的應用，如此可以降低耦合性，並提升敏捷性。
特點
低耦合
獨立部署
高可維護性
高可測試性
本文介紹了各種運算符的用法和優先級，包括算術運算符、比較運算符、賦值運算符、邏輯運算符、位元運算符、成員運算符和身份運算符。每種運算符都有詳細的描述和示例程式碼，幫助理解其功能和用法。
■什麼是區塊鏈技術？
區塊鏈是透過點對點(P2P)運行的網路，這個網路由分散式節點組成，可以把它想成是共享的數據庫，也就是分散式帳本(DLT)，分散式帳本技術是一種去中心化的帳本，儲存著網路上進行的所有交易。
中心化帳本：也稱為集中式帳本，由一個中心化的機構去做驗證、記帳、訂立規則。
這本書從 docker 的角度出發，介紹很多可重複使用的 pattern，除了翻譯某些地方有點怪之外，算是很有趣的一本書，後面很多的 pattern 可以想成是 sidecar 的進階使用方式，在不改變應用程式的情況下，增加不同的功能，相當實用。
運算思維由2006年3月，美國卡內基·梅隆大學計算機科學系主任周以真（Jeannette M. Wing）教授因提出並倡導「運算思維」而享譽計算機科學界。
運算思維分成四個步驟
拆解
將一個大問題拆解成許多小問題，各個擊破解決，當小問題解決了大問題也就解決了。
模式識別
將複雜的問題分解
解決電腦上遇到的問題、證明正確性、探討效率
並且很著重溝通，說服別人你做的事是正確且有效率的。
內容：
計算模型、資料結構介紹、演算法介紹、時間複雜度介紹。