[The Batch] 通用化能力 x 超材料探索 x 臉不能亂用
Preface
最近事情多，這篇就晚了。這篇完稿的當天，下一篇「The Batch」已經出爐了，希望我還是能咬緊牙關趕快補上。到目前為止，機器學習確實達成了許多以往看來不可能的任務，但如同Andrew所述，其實開發的過程非但不容易，還很容易觸法。
由於遊戲往往是一個有明確規則的產物，而在製作過程中的規格變化又是那麼頻繁，因此機器學習在遊戲業界的應用更是難上加難，希望Andrew接下來的分析能有所幫助。
Andrew Says
我已在好多公司聽過這樣的對話：
機器學習工程師：看我在測試資料集內驗證效果多好！
企業主：但你的機器學習系統完全沒辦法使用啊，它太糟了！
機器學習工程師：但你看，在測試資料集內驗證效果多好！
為什麼AI專案會失敗？上週我在我們的「Pie & AI」議程中提出了這個題目。 我們與來自於西班牙的Logroño，比利時的Ghent，倫敦及柏林等10個城市的觀眾，進行了激烈的討論。
我對AI產業仍是一派的樂觀，但我也都看到許多AI專案還在掙扎。和軟體工程不同，AI系統的開發過程還不是那麼成熟，而且研發團隊尚未瞭解常見的缺陷以及如何避開這些陷阱。
常見的問題是三個：穩健性不足，數據集太小以及工作流不佳。你可以從這幾個面向來分析你的AI專案，來增加成功的機率，我將在接下來的幾週提供一些我的想法，敬請關注。
How Neural Networks Generalize
人類是由抽象概念來理解這個世界的：如果你掌握了抓取一根木棍的要領，很快的你就能學會如何抓住一顆球。新的研究探索了深度學習中學員對同一件事情的「重做能力」– 一個讓它們的能力「通用化」的重要面向。
What’s new
心理學家稱呼這種思考能力為「系統推理」。來自DeepMind，Standford及London大學的研究員，研究了這種在深度學習中可與環境互動並完成任務的能力。
Key insight
Felix Hill和同事訓練了一個模型，把物件1置放到位置1這個動作做為範例。在測試期，他們要求這個模型把物件2置放到位置2，而這個要求並未被訓練過。所以這就是一個能通用化的理解「置放」的意義及完成任務的模型。
How it works
該模型隨著任務指示(搜尋物件，放到正確的位置)，可獲得環境資訊。模型就開始分別處理這些資訊，然後把對它們個別的理解組合起來，去確認一連串能完成任務的動作組合。
- 這個模型包括了3個元件(一個影像處理的通用選擇，文字理解及流程決策)：一個處理環境資訊的CNN，一個解譯任務說明的LSTM，以及一個由CNN及LSTM的輸出合併而來的一個隱藏的LSTM層。這三個元件可用來追蹤進程並完成任務。
- 該模型透過執行「置放物件」或「尋找物件」的任務過程中，學習透過名字來關聯這些不同的物件。
- 研究員們把測試集及訓練集的物件分開，他們先在訓練集中訓練模型去尋找及置放物件。
- 最終為了測量系統推理的程度，他們就會開始要求模型要在測試集執行同樣的任務。
Results
研究員在模擬的2D及3D環境訓練該模型的複本，在兩個環境都有91%找到新物件的成功率，然而在置放物件的成功率都掉到約50%。
Yes, but
當移除了任務描述及LSTM元件後，並沒有降低太多任務成功的比例。這意思是說，雖然「置放」及「尋找」對人們理解神經網路是如何系統化運作並執行任務的，但這些語言對執行的成功率而言就不是重點了。
Why it matters
神經網路看來是可以通用化的，但我們對於要怎麼做到還不那麼完整。這份研究提供了一個方向來評估「系統推理」的角色，而這份研究成果暗示了具有「系統推理」能力的模型，比較有可能能通用化。
Takeaway
預先以基礎知識來訓練好的語言模型，能讓他們完成許多不同種類的任務，而不用從頭開始再訓練。系統推理可讓神經網路不論在特定領域，或是跳脫出來到自然語言，都能達到更好的表現。
New Materials Courtesy of Bayes
你喜歡能裝到口袋裡的雨傘嗎？研究員用機器學習發明了一種結實但可折疊的材質，可用來創造這種神奇的產品。
What’s new
來自於 Netherlands’ Delft 科技大學的研究員，用「Bayesian」模型去找出一種脆型聚合物的排列，使其結實，輕量，可壓縮且可彈回原形狀。機器學習演算法讓設計及生產這種材質的過程，無須再經過以往的物理試誤實驗。
How it works
首席研究員Miguel Bessa設計了一種結構模型，其中有兩個通過撓性桿或縱梁連接的圓盤，當兩個圓盤擠壓在一起的時候，中間的撓性桿會以螺旋狀的方式折疊起來。
- Bassa在模擬器中，透過100,000不同的材質組合，來對他的結構模型進行仿真測試。
- 然後他用一個神經網路模型來對能符合他條件的那些組合來分類，主要是那些能在壓縮後再回復到原形狀的縱梁。
- 最終他定案了兩種設計，建立微型及人體大小的可壓縮桅杆原型。
Results
微型版本的雛型十分堅挺，可完全壓縮，並在承受強烈壓力而不扭曲。而人體大小的版本則是在幾近被機器壓平的狀況下，仍然順利的彈回它原來的樣子。
Why it matters
從事超材料(以現有的材質去重組，以展現自然界尚未被發現的特徵)的科學家們，可改變材料的幾何形狀，大小及方向，來產生新的特性。以往，這需要許多的試誤，而透過機器學習可協助找出許多正確的屬性組合，讓研究員專心在挑選最有希望的候選者。
We’re thinking
從材料科學到藥物設計，蠻力實驗在前沿科學仍然是很重要的角色，但AI驅動的篩選能力已開始能為研究員找到通往Eureka(註：是一個源自希臘用以表達發現某件事物、真相時的感嘆詞。)更短的路徑。
Public Access, Private Faces
作為訓練臉部辨識系統的最大資料集，其中之一就起源於流行的照片分享服務。但使用這些資料的公司卻有可能因此要付出數百萬的法律賠償。
What’s new
根據New York Times的報導，許多Flickr的用戶在被記者告知，他們及他們的子女或家庭成員的相似性，是公開資料庫的一部分，用以訓練臉部辨識系統時，感到驚訝及不安。這種訓練可能會違反Illinois法庭正在測試中的數位隱私法。
Tracing the data
MegaFace，則是從Flickr的近4,000,000張照片描繪了672,000人，這些照片的創作者已在Creative Commons的智財許可下取得了商用授權。
- Yahoo從2007年就持有Flickr到2017年，而在2014年的時候，這個網路巨人釋出了1,000,000張Flickr的照片，供機器學習者來訓練圖片分類。
- 次年，華盛頓大學的研究員就開始發布MegaFace子資料集。
- 從那時開始，Amazon, Google, Mitsubishi, SenseTime, Tencent及其他公司，就使用MegaFace的資料來訓練臉部辨識軟體。
Legal jeopardy
在2008年，Illinois通過了「生物識別訊息隱私法(Biometric Information Privacy Act)」，來預防商業單位在未經同意的狀況下，去頡取，購買或其他方式來取得個人肖像。而個人肖像在未經許可下被使用的話，有權在每次使用時獲得$1,000到$5,000的金額賠償。
Court action
Illinois的法案已在Facebook的集體訴訟中取得35,000,000,000美元，因Facebook在服務中提供了自動的臉部辨識功能。
- Facebook辨稱在圖片中的人沒有起訴的理由，因為這項服務並沒有造成他們的經濟損失。
- 美國第9巡迴法院駁回了此反對意見，並援引了早期Illinois最高法院的裁決，認為光是侵犯隱私就足於違反法律。
- 該案子將由聯邦法院的陪審團來裁決，時間表尚未公佈。
Why it matters
MegaFace服務仍是可用的，根據2016年的華盛頓大學論文記載，而且至少有300個以上的組織用它的資料來訓練自己的模型。但任何用MegaFace的資料來盈利的組織，都會在Illinois的法案裁決上付出金額賠償。
We’re thinking
全球有約200個國家，美國有50個州，在不同司法管轄區中的監管失衡似乎是無法避免。用戶隱私及資料權是重要的，但法律要求應儘可能的清楚及通順，才能以更積極的方式推動科技進步。
即將進入廣告，捲動後可繼續閱讀
為什麼會看到廣告
34會員
69內容數
Google實驗室Area120釋出了一個「製作遊戲」的遊戲叫「Game Builder」。
主要的用戶是遊戲編導，方便他們以拖拉卡片的型式來驗證遊戲性好不好。
因此這個專題就是「Game Builder」的"真心話(好用難用都會說)"和"大冒險(真的來挑戰看看能做什麼遊戲)"囉！
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
學習生成式AI，不僅僅是掌握幾個工具，而是從全方位了解AI的發展範疇及其潛力。我經常在企業教授AI課程時，會遇到HR詢問：某些工具用不上，可以不教嗎？當然可以，但如果同仁不了解生成式AI在「數位內容」上的廣泛應用，又如何掌握大語言模型的發展邊界？
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Vaswani 等人 2017 年解決了設計 Transformer 時最困難的 NLP 問題之一，對於我們人機智慧設計師來說，機器翻譯的人類基準似乎遙不可及，然而，這
美國學生其實並不輕鬆，完成program會花費很多時間精力，但也會有所收穫。
統整的學習，強調能應用於解決問題的能力、素養，實在不是紙筆測驗和抄寫背誦可以做到的。適當的統整學習方式，應該在知識認知學習之後，設計像機器人大賽這樣的專案(program)，讓學生小組自行運用所學知識技能，統整完成任務。
AI的世界充滿了創新和潛力，涵蓋了許多領域，包括但不限於機器學習，自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的，既帶來了巨大的機遇，也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡，確保AI技術的應用能夠真正造福人類。
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
在人工智能的發展歷程中，早期的研究主要側重於將解決問題的規則輸入計算機，試圖通過啟蒙運動理性的思路模擬人類的智能行為。然而，這條路逐漸變得艱難，因為規則過於繁多，無法應對複雜的情境和語境。在這個背景下，一些科學家轉向了神經網絡算法，試圖模擬人腦的感知能力。
本文將介紹batch的定義與其在機器學習中的作用，以及不同batch size 的影響。同時也會講解Momentum動量在機器學習中的重要性。透過本文，您將清楚地瞭解batch、batch size和Momentum動量的概念以及其對機器學習的影響。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
學習生成式AI，不僅僅是掌握幾個工具，而是從全方位了解AI的發展範疇及其潛力。我經常在企業教授AI課程時，會遇到HR詢問：某些工具用不上，可以不教嗎？當然可以，但如果同仁不了解生成式AI在「數位內容」上的廣泛應用，又如何掌握大語言模型的發展邊界？
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Vaswani 等人 2017 年解決了設計 Transformer 時最困難的 NLP 問題之一，對於我們人機智慧設計師來說，機器翻譯的人類基準似乎遙不可及，然而，這
美國學生其實並不輕鬆，完成program會花費很多時間精力，但也會有所收穫。
統整的學習，強調能應用於解決問題的能力、素養，實在不是紙筆測驗和抄寫背誦可以做到的。適當的統整學習方式，應該在知識認知學習之後，設計像機器人大賽這樣的專案(program)，讓學生小組自行運用所學知識技能，統整完成任務。
AI的世界充滿了創新和潛力，涵蓋了許多領域，包括但不限於機器學習，自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的，既帶來了巨大的機遇，也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡，確保AI技術的應用能夠真正造福人類。
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
在人工智能的發展歷程中，早期的研究主要側重於將解決問題的規則輸入計算機，試圖通過啟蒙運動理性的思路模擬人類的智能行為。然而，這條路逐漸變得艱難，因為規則過於繁多，無法應對複雜的情境和語境。在這個背景下，一些科學家轉向了神經網絡算法，試圖模擬人腦的感知能力。
本文將介紹batch的定義與其在機器學習中的作用，以及不同batch size 的影響。同時也會講解Momentum動量在機器學習中的重要性。透過本文，您將清楚地瞭解batch、batch size和Momentum動量的概念以及其對機器學習的影響。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別