Rene Wang
73 位追蹤者
程式設計師是將咖啡轉換為程式碼的魔術師。40%偽文青，35%網路宅女，15%生活白癡，10%仍然尋找生命的意義（或仍然作著白日夢）。
由新到舊
[探索] 語言模型基礎：Subword algorithms一個好的自然語言模型，若出現了語言模型的 vocabulary set 未曾收錄的單字，語言模型就會產生 Out-of-Vocabulary (OOV)。 本文介紹 subword algorithms 介於 word-level 和 character-level 解決 OOV 的方法。
2021-03-19
7
網路裁減（Network Pruning）和解構樂透彩卷假說本篇文章前半段先對網路裁減做簡單介紹，後半段針對彩卷假說作文獻式的探討。網路裁減是一種重新發現等價小網路的方法，主要目的在為 over-parameterized 的方式訓練而成的類神經網路提供一個精簡版的網路，有助於在資源受限的平台上運行。彩卷假說則是探討權重初始值和網路裁減之間的關係。
2021-02-26
5
[探索] 使用 Mixture of Experts 建立多任務學習框架多任務學習指的是使用多個相關的任務目標（Multiple objectives）來學習共享的表示方法。在這篇文章中，我們會介紹 google 的 youtube recommender 系統就是利用 Multi-gate Mixture of Experts 來達成多目標多任務學習的方式。
2021-01-08
3
[探索] 門外漢的梯度下降變奏曲（下）連同上兩篇文章，我們介紹了機械學習裡的基石，並踩著這些基石了解了改變資料餵送方式，以及動態改變學習率或在更新項中加入動量的方法。我們可以看到這些梯度下降的變化，主要是解決兩個問題：梯度震盪和非最佳的局部最小值造成學習停滯不前的問題。在這篇文章中，我們著重動量和 Adam 的方法來達成克服以上的問題。
2020-12-16
3
[探索] 門外漢的梯度下降變奏曲（中）我們將會對動態設定學習率（learning rate）作為最陡梯度下降法的變異演算法做介紹。內容包括了解釋什麼事循環式的學習率調整排程法和何謂使用指數衰退權重來計算移動平均值，同時也介紹如何對大量參數的變數進行最佳化和目前活躍的演算法變異。如 adagrad, adadelta 和 RMSprop
2020-11-17
4
門外漢的影像轉譯（Image-to-Image Translation）在影像生成的領域中，其中一個富有挑戰的是影像對影像的轉譯問題。該問題包括了 paired 和 unpaired 兩個子問題。在本文中，會先提 paired 問題的 pix2pix。unpaired 的問題則會談到 cross consistency, Normalization 和 attentio
2020-07-09
3
[探索] 門外漢的梯度下降變奏曲（上）梯度下降學習法雖然是一個有效的最佳化方法，然而因為梯度本身屬於局部變化，因此有三個陷阱，而未能到達全域最小值的命運。他們分別是：局部最小值， 初始值和病態的二階導數矩陣。我們將解釋這些最佳化陷阱的成因，以及提出相對應的方法。這些方法包括了使用 mini-batch，加入處罰項和 early stop
2020-04-06
1
挺身而進臉書的營運長，雪柔‧桑德伯格，在 2013 年《挺身而進》一書中，指出女性在職場中的困境，而有些困境是來自於對自己的限制，如缺乏自信和兼顧一切。在這系列的文章中，駭客女孩側寫許多挺身而進的女性工程師或創業者，甚至年輕的城市教育家，他們如何突破固有性別的限制，以創意的方式來教導，鼓勵女性參與工程領域。
2019-07-29
3
[探索] 門外漢的機械學習導覽感知器 (perceptron) 利用逐一探訪訓練資料，以更多的訓練例子被正確的分類為目標，來更新任意初始的權重。然而該方法難以延伸到非線性的分類平面，所以以梯度為主的最佳化演算法取而代之，並發展出更多的應用。在本篇中，除了介紹梯度下降法外，亦會討論如何利用學習曲線圖診斷一個機械模型，並對症下藥。
2019-07-25
3
[探索] 門外漢的類神經網路導覽這篇文章從類神經網路的起源，也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習，但卻無法學習超過非線性，如 XOR 的資料分布。另外，本文還介紹了 Logistic regression，藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
2019-05-04
4
[觀點] 人工智慧的回顧與展望 2019在 2018 年，筆者介紹了普華永道（PwC）關於人工智慧的十項預測。我們將要藉由這篇文章，先來回顧在過去的一年中，電腦視覺和自然語言領域有什麼新的發展。在本文的最後，則提及 PwC 在今年提出的六項建議，主要使已投資 AI 的公司能成功商轉，以及關於自動化資料處理和機械學習的現況。
2019-02-12
4
[探索] 門外漢的類神經物體偵測導覽本文提到如何以類神經網路為主的深度學習方法，來進行物體偵測。文中包括基礎的物體偵測簡介：如影像問題分類，影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法，仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向，並對學術界常用的訓練資料集做分析介紹。
2019-01-08
6
[探索] 門外漢的類神經機械翻譯導覽在此篇文章終將會簡述機械學習的發展，簡介深度學習以 Sequence to Sequence 為架構，並在多場機械翻譯的學術年會，獲得成績斐然的結果。在本文中，會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。
2018-11-30
4
[探索] 現行深度學習架構概況目前深度學習是人工智慧領域中最熱門的研究領域，許多美國科技巨頭紛紛推出他們的深度學習架構，以期能夠在人工智慧的商業應用上，能夠給使用者最無縫的服務。在本篇文章中，會以開發者和 DevOps 的角度，來談論該如何選擇最適合公司以及個人需求的深度學習架構。
2018-09-16
9
[群像] Cynthia Breazeal: 個人化機器人的時代MIT Media Lab 個人化機器人實驗室的主持人，Cynthia Breazeal，同時也是新創公司 Jibo 的創辦人，在她的以個人化機器人時代的崛起 TED 演講中，介紹她歷年在研發社交機器人的過程和產品，並相信在與機器人的互動中，我們人類得以更加了解自身，並凝聚家人之間的關係。
2018-08-02
2
[探索] 預測大未來：538 如何做 2018 世界盃預測538 這個網站，以預測美國總統大選起家，在 2014 開始進行世界盃賽事的預測，包括賽前預測以及賽事現場預測，在 2014 年世界盃後，538 網站也對五大洲各俱樂部的季賽做預測。在此篇中，將介紹 538 為 2018 世界盃所做的預測互動網頁，並介紹 538 ，所使用的國家隊及隊員的評比系統。
2018-07-13
1
[探索] 門外漢的強化學習指南：A2CS 學習模型中的探索和竭盡難題本文接續上篇直覺式強化學習教學，著重於解釋強化學習中常見的探索和竭盡難題，以及如何利用不同的方法來進行策略函式的學習，並與策略梯度做比較。同時，介紹 A2CS 所使用的損失函式，以及應用這個損失函示於深度學習時會遇到的訓練難題。最後，總結強化學習和深度學習的未來方向，以及本系列文章所企圖達到的目標。
2018-06-30
2
[群像] Renee Engeln： 女神流行病Renee Engeln 在以「美麗流行病」為主題的演講中指出今日主流媒體如何大量傳播單一的審美標準，令多數女性和其所在的社會文化對「美麗」這個詞語產生病態的依附感，並嚴重危害許多年輕女性的身心。她疾呼這個社會需要男性和女性一起為此作出改變，提出三點，作為女性可以努力，以朝向痊癒復原之路前進的方向。
2018-06-28
1
[探索] 門外漢的強化學習指南：A2C 學習模型中的批評與執行演算法本文介紹由 OpenAI 發表的強化學習中基準模型，並藉由國外軟體工程師所繪畫的生動動畫來做直覺式的強化學習介紹以及教學。在漫畫中，將會比較蒙地卡羅和 Advantage Actor Critic (A2C) 模擬方法的不同，並將強化學習中的基礎觀念融入漫畫中。
2018-05-31
1
[群像] 專訪《露比任務》的創造者 - Linda Liukas：淺談創意教育
在上一次的訪談文章中，筆者與 Liukas 談到了，她創作《露比任務》一書的創意來源和她如何設計書末許多的紙上活動來達到不插電的程式教育。在此篇中，筆者則摘錄訪談中的最後三個問題，在這三個問題中分
2018-05-31
0
[群像] 當一個八年級的賓州女孩開始教導編程...<p>年僅十三歲的程式老師Uma，擁有專屬的教學課程，親自上台教授並實作程式碼。Uma不僅成為 Lehigh Valley 小鎮中女孩們的第一位程式老師，自己的程式學習之旅也進入了新境界，帶著觀點經驗分享給從事程式教學的老師們。</p>
2018-05-17
1
[群像] 專訪《露比任務》的創造者 - Linda Liukas：淺談露比任務為大家致上來自芬蘭的問候！在此篇文章中，筆者與露比任務的創造者 Linda Liukas 淺談，她用創意的教學方法來教育學齡前幼童的教學理念，也希望能夠更深入地了解，如何將計算思考導入日常生活中的學習方式。
2018-04-30
0
[釋義] 格蘭博士的侏羅『雞』公園<p>格蘭博士的原型，是以多項恐龍化石收藏聞名的蒙太拿洛磯博物館（Museum of Rockies） 任教的 Jack Horner 博士。他曾說：讓我們從恐龍的後代開始。他話中所指的恐龍後代正是我們時常在餐桌上見到的雞呀！</p>
2018-04-21
0
[群像] Linda Liukas: 讓孩童以更有趣的方式學習電腦
Liukas 在此 TED 演講中提到，我們在日常生活中其實就在使用撰寫程式語言所要希望的概念。藉由 Liukas 的《Hello Ruby》繪本中，除了用床邊故事非傳統的方式，介紹電腦和程式的基本概念，更藉由一個勇敢的小女孩，Ruby，來鼓勵小女孩們學習科技和程式。
2018-03-28
0
<p>[釋義] 歡樂學 Python 位元組碼(byte code)</p>一個真實世界中的支持“讓孩童以更有趣的方式學習電腦”例子，只不過這篇演講，則是駭客等級程式專家們的 Bytes code 教學。不過這篇演講也說明了學習程式甚至參加程式會議，一樣可以樂趣無窮。
2018-03-28
2
[釋義] 從怪醫豪斯看寂靜的春天<p>本文以影集怪醫豪斯劇情為起點，並以瑞秋卡森『寂靜的春天』一書為主幹貫穿全文。簡述多數群眾對農藥如何影響生態和人體未有足切的認知，並探討媒體處理科學資訊的態度，期望能喚起大眾對於「知」以及「懷疑」的權利。</p>
2018-01-28
1
[觀點] 深度學習的 2018 年趨勢<p>普華永道（PwC）聯合會計事務號發表了他們對 2018 年人工智慧的趨勢預測。本文將簡略合併 PwC 提出的十項預測於四大類，對每一類介紹並了解為何 PwC 認為這十項預測的發展值得關注，以及如何應用到工業的領域中。</p>
2018-01-05
0
[群像] Fei Fei Li：我們如何教導電腦瞭解影像介紹李飛飛（Fei Fei Li ）教授的『我們如何教導電腦瞭解影像』的 TED 演講導讀。演講中，李飛飛教授簡述利用電腦視覺進行物體辨識的簡史，亦提及她的研究領域：包括用群眾集資完成巨量影像資料庫，完全公開使用，和使用深度學習進行影像註解。演講中，李飛飛分享個人研究歷程並勾勒人工智慧的遠景。
2017-12-19
1
[釋義] 後宮甄環傳和海獅之間的關係<p>本文簡述賈德戴蒙的第三類猩猩一書關於人類在性行為和婚姻制度演化上的討論。並以道金斯在自私的基因一書，輔助說明婚姻制度其實是基因與文化互動的結果。期以鼓勵現代女性展現能力去追求一如男性在社會工作打拼奮鬥。</p>
2017-12-11
0
[探索] 巨量資料探勘觀念養成：文件搜尋基本概念<p>給定一份文件，如何在網際網路的無盡文件大海中找到相似的文件？ 主要應用：偵測剽竊，搜尋引擎要尋找的鏡像網頁、網路購物或電影推薦系統中的協同過濾。本篇文章以史坦福大學熱門課程「Mining Massive Dataset」為骨架，讓有志從事大量資料分析的電腦工程師可以從這篇文章入門。</p>
2017-12-01
0
[群像] Reshma Saujani：請教導女孩們勇敢而不是完美<p>當面對較困難的問題時，相較於男孩愈聰明的女孩較容易放棄。Saujani 在演講中重申為年輕女性建立信心的重要性，除了呼籲社會改變教養方式，同時也提出以她創辦的非營利組織 Girls Who Code 來為年輕女孩們形成支持網絡。</p>
2017-11-28
0
[釋義] 夏天的聲音<p>本文藉由藝文創作探討聲音在人類情緒所產生的影響，並記錄兩書“一平方英寸的寂靜”和”搶救寂靜“作者漢普頓和范欽慧爲搶救自然聲景而做的努力。</p>
2017-10-28
0
[群像] Keren Elazari : 讓駭客成為網路世界的免疫系統<p>在 Keren Elazari 的 TED Talk 中，描述了一個善加利用駭客的遠景，將破壞的力量疏導成正面的推力。她不屏棄駭客，認為這樣的行為正面鼓勵能形成社會改革無形且強大的力量。她的見解，被 TED 選為 2014 最具有創意的想法。</p>
2017-09-26
2
[釋義] 別以為瞭解你的狗<p>派翠西亞，麥克康諾的“別以為你了解你的狗：動物行為學家教你正確分辨狗狗情緒” (for the love of a dog) 一書中提出，每個人都可以擔任自己家中客廳的珍古德，藉由客觀的觀察，成為自家狗兒專屬的動物行為觀察研究者。</p>
2017-08-28
2
[群像] Hannah Fry: 愛情數學方程式<p>女性數學家 Dr. Hannah Fry 擅長將抽象且複雜的互動關聯，以數學方程式表示並建立可預測的模型．在這篇演講中，Fry 將要以一貫從事科學研究嚴謹的態度，分享她個人數學上可證明的愛情忠告。</p>
2017-08-15
1
