我對聯邦強盜算法個人化的一個思考：個人化聯邦學習，是有效利用全局模型與局部模型，完成任務。
更新於 發佈於 閱讀時間約 1 分鐘
這篇文章想與你分享，我閱讀個人化聯邦強盜文章以後，所產生的思考與理解。
本文章收錄的一個思考與理解如下：
- 個人化聯邦學習，是有效利用全局模型與局部模型，完成任務。
思考 #1：個人化聯邦學習，是有效利用全局模型與局部模型，完成任務。
個人化聯邦學習，是一種學習方式，學習全局模型(Global model)與個人局部模型(Own local model)的混合。基本上，同時承認這兩個模型元素的存在，並且思考如何混合這兩個模型的資訊，來幫助任務更好達成。文章中則是很簡單地做重權重來學習強盜問題中的獎勵模型。
在我們的設定下，所有的用戶端(Client)都在解同一個強盜問題(Bandit problem)，但由於每個用戶端的脈絡向量序列不同，其資料分布也不同。所以學習全局模型與局部模型的確是有意義，而我們對各自的結論都有給一些形式化後的結果。我們的任務，應該是「導讀」讀者去理解我們的結果。
我們的做法，是混合全局模型(Global model)與個人局部模型(Own local model)在決策的過程中。特別地，我們用全局模型(Teamwork Lasso)來執行聯邦篩選(Federated Screening)，接著用局部模型(Egocentric Lasso)來執行自私決策(Egocentric Decision)。這樣的思維造就了我們特殊的Fedego Lasso策略，來提供聯邦線上高維度決策問題的解決方案。
留言0
查看全部
你可能也想看
Google News 追蹤
最近國泰世華CUBE App推出的「美股定期定額」功能，讓使用者可以方便地進行跨境理財（但讀者仍需根據自身需求審慎考量），除了享有美股定期定額的新功能，也同時享有台股定期定額的功能，可以一站滿足我們理財的需求！
透過國泰世華CUBE App線上開台股證券戶+複委託戶，流程最快僅需要5分鐘。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
前言
跟上一篇文章一樣，都是看到陌生的演算法後，去搜尋資料記錄成文章。
正文
在強化式學習中，策略(Policy)指的是代理人根據目前的狀態決定下一個動作的方針，具體來說就是在某個狀態下採取某個動作的機率。Policy Gradient的目的是找到一個最優策略，使得整個任務的回報值最大化。
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
今天繼續聊聊由Yasin Abbasi-Yadkori [1] 於2011年發表的文章，
《Improved Algorithms for Linear Stochastic Bandits》[2]。
今天主要想討論在第11頁的Lemma 8，
Yasin 展示了如何構造「超鞅 S
攻擊者的目的，是發展出一種方式，
能夠可靠辨認出特定的數據點，
是否包含於目前算法的訓練數據中，
以此來窺探算法的訓練數據隱私。
有另外一類的研究，叫做數據拷貝，
則是直接觀察算法的輸出，
看看算法輸出是否有過於靠近訓練數據的情形。
這種數據拷貝的觀察，
也轉成另一種成員推論攻擊的形式。
今天繼續聊聊由Yasin Abbasi-Yadkori [1] 於2011年發表的文章，
《Improved Algorithms for Linear Stochastic Bandits》[2]。
在15頁的順間後悔分析中，
我們在B001講到上界已經替換為
「強盜算法行
將「未知的"真實強盜參數"與未知的"最優行動"」 替換成「已知的“估計強盜參數與已知的”強盜算法選擇的行動“」。 於是，在瞬間後悔定義中用到的未知量， 都能轉化為強盜算法設計就能知道的已知量， 那麼分析就能繼續下去。 這個思維在做理論研究的時候相當重要，
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
這篇文章，會帶著大家複習以前學過的區間DP框架，
並且以區間DP的概念為核心，
貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個實用的演算法框架。
基本的區間DP框架(限制條件: 相鄰的兩項不允許同時選擇)
在House Robbery這題中，我們學會了一種基本的區間DP框架。
透過麗鳳督導在心理諮商上的應用，能夠讓我們看待個案問題時有了全新的視角。學理論要浸泡到自動化思考，分析個案時需要考慮家庭結構、互動關係和人際界線等重要元素。此外，心理諮商師需用關係去理解表徵問題，並運用大量的探問與對話，從而從症狀到系統的探索。
本文探討了系統思維的重要性，強調理解元素、關係及其背後規律對洞察複雜系統至關重要。書中以商業模式變化為例，展示如何透過系統思維識別時代機遇，提升競爭力。此外，強調系統思維在學習中的應用，促進跨學科理解、批判性思維和解決問題能力，為適應未來變化奠定基礎。
最近國泰世華CUBE App推出的「美股定期定額」功能，讓使用者可以方便地進行跨境理財（但讀者仍需根據自身需求審慎考量），除了享有美股定期定額的新功能，也同時享有台股定期定額的功能，可以一站滿足我們理財的需求！
透過國泰世華CUBE App線上開台股證券戶+複委託戶，流程最快僅需要5分鐘。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
前言
跟上一篇文章一樣，都是看到陌生的演算法後，去搜尋資料記錄成文章。
正文
在強化式學習中，策略(Policy)指的是代理人根據目前的狀態決定下一個動作的方針，具體來說就是在某個狀態下採取某個動作的機率。Policy Gradient的目的是找到一個最優策略，使得整個任務的回報值最大化。
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
今天繼續聊聊由Yasin Abbasi-Yadkori [1] 於2011年發表的文章，
《Improved Algorithms for Linear Stochastic Bandits》[2]。
今天主要想討論在第11頁的Lemma 8，
Yasin 展示了如何構造「超鞅 S
攻擊者的目的，是發展出一種方式，
能夠可靠辨認出特定的數據點，
是否包含於目前算法的訓練數據中，
以此來窺探算法的訓練數據隱私。
有另外一類的研究，叫做數據拷貝，
則是直接觀察算法的輸出，
看看算法輸出是否有過於靠近訓練數據的情形。
這種數據拷貝的觀察，
也轉成另一種成員推論攻擊的形式。
今天繼續聊聊由Yasin Abbasi-Yadkori [1] 於2011年發表的文章，
《Improved Algorithms for Linear Stochastic Bandits》[2]。
在15頁的順間後悔分析中，
我們在B001講到上界已經替換為
「強盜算法行
將「未知的"真實強盜參數"與未知的"最優行動"」 替換成「已知的“估計強盜參數與已知的”強盜算法選擇的行動“」。 於是，在瞬間後悔定義中用到的未知量， 都能轉化為強盜算法設計就能知道的已知量， 那麼分析就能繼續下去。 這個思維在做理論研究的時候相當重要，
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
這篇文章，會帶著大家複習以前學過的區間DP框架，
並且以區間DP的概念為核心，
貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個實用的演算法框架。
基本的區間DP框架(限制條件: 相鄰的兩項不允許同時選擇)
在House Robbery這題中，我們學會了一種基本的區間DP框架。
透過麗鳳督導在心理諮商上的應用，能夠讓我們看待個案問題時有了全新的視角。學理論要浸泡到自動化思考，分析個案時需要考慮家庭結構、互動關係和人際界線等重要元素。此外，心理諮商師需用關係去理解表徵問題，並運用大量的探問與對話，從而從症狀到系統的探索。
本文探討了系統思維的重要性，強調理解元素、關係及其背後規律對洞察複雜系統至關重要。書中以商業模式變化為例，展示如何透過系統思維識別時代機遇，提升競爭力。此外，強調系統思維在學習中的應用，促進跨學科理解、批判性思維和解決問題能力，為適應未來變化奠定基礎。