Rene Wang的沙龍
翻滾吧!駭客女孩!
29
免費公開
5
付費限定
房間資訊
付費訂閱
<p>專為年輕的女孩設計的科學/資訊科技寫作計畫,希望讓每位女孩在體脂肪、青春痘與暗戀對象之外,還能找到新的生活樂趣。</p>
全部
給女孩們的程式教育
給門外漢們的深度學習
全部
給女孩們的程式教育
給門外漢們的深度學習
全部類型
免費與付費
最新發佈
最新發佈
Rene Wang
2021/03/19
[探索] 語言模型基礎:Subword algorithms
一個好的自然語言模型,若出現了語言模型的 vocabulary set 未曾收錄的單字,語言模型就會產生 Out-of-Vocabulary (OOV)。 本文介紹 subword algorithms 介於 word-level 和 character-level 解決 OOV 的方法。
#
DeepLearning
#
語言模型
#
深度學習
7
Rene Wang
2021/03/19
[探索] 語言模型基礎:Subword algorithms
一個好的自然語言模型,若出現了語言模型的 vocabulary set 未曾收錄的單字,語言模型就會產生 Out-of-Vocabulary (OOV)。 本文介紹 subword algorithms 介於 word-level 和 character-level 解決 OOV 的方法。
#
DeepLearning
#
語言模型
#
深度學習
7
Rene Wang
2021/02/26
網路裁減(Network Pruning)和解構樂透彩卷假說
本篇文章前半段先對網路裁減做簡單介紹,後半段針對彩卷假說作文獻式的探討。網路裁減是一種重新發現等價小網路的方法,主要目的在為 over-parameterized 的方式訓練而成的類神經網路提供一個精簡版的網路,有助於在資源受限的平台上運行。彩卷假說則是探討權重初始值和網路裁減之間的關係。
#
deeplearning
#
深度學習
#
網路裁減
5
Rene Wang
2021/02/26
網路裁減(Network Pruning)和解構樂透彩卷假說
本篇文章前半段先對網路裁減做簡單介紹,後半段針對彩卷假說作文獻式的探討。網路裁減是一種重新發現等價小網路的方法,主要目的在為 over-parameterized 的方式訓練而成的類神經網路提供一個精簡版的網路,有助於在資源受限的平台上運行。彩卷假說則是探討權重初始值和網路裁減之間的關係。
#
deeplearning
#
深度學習
#
網路裁減
5
Rene Wang
2021/01/08
[探索] 使用 Mixture of Experts 建立多任務學習框架
多任務學習指的是使用多個相關的任務目標(Multiple objectives)來學習共享的表示方法。在這篇文章中,我們會介紹 google 的 youtube recommender 系統就是利用 Multi-gate Mixture of Experts 來達成多目標多任務學習的方式。
#
DeepLearning
#
MultitaaskLearning
#
MultigateMixtureofExperts
3
Rene Wang
2021/01/08
[探索] 使用 Mixture of Experts 建立多任務學習框架
多任務學習指的是使用多個相關的任務目標(Multiple objectives)來學習共享的表示方法。在這篇文章中,我們會介紹 google 的 youtube recommender 系統就是利用 Multi-gate Mixture of Experts 來達成多目標多任務學習的方式。
#
DeepLearning
#
MultitaaskLearning
#
MultigateMixtureofExperts
3
Rene Wang
2020/12/16
[探索] 門外漢的梯度下降變奏曲(下)
連同上兩篇文章,我們介紹了機械學習裡的基石,並踩著這些基石了解了改變資料餵送方式,以及動態改變學習率或在更新項中加入動量的方法。我們可以看到這些梯度下降的變化,主要是解決兩個問題:梯度震盪和非最佳的局部最小值造成學習停滯不前的問題。在這篇文章中,我們著重動量和 Adam 的方法來達成克服以上的問題。
#
深度學習
#
最陡梯度下降法
#
動量
3
Rene Wang
2020/12/16
[探索] 門外漢的梯度下降變奏曲(下)
連同上兩篇文章,我們介紹了機械學習裡的基石,並踩著這些基石了解了改變資料餵送方式,以及動態改變學習率或在更新項中加入動量的方法。我們可以看到這些梯度下降的變化,主要是解決兩個問題:梯度震盪和非最佳的局部最小值造成學習停滯不前的問題。在這篇文章中,我們著重動量和 Adam 的方法來達成克服以上的問題。
#
深度學習
#
最陡梯度下降法
#
動量
3
Rene Wang
2020/11/17
[探索] 門外漢的梯度下降變奏曲(中)
我們將會對動態設定學習率(learning rate)作為最陡梯度下降法的變異演算法做介紹。內容包括了解釋什麼事循環式的學習率調整排程法和何謂使用指數衰退權重來計算移動平均值,同時也介紹如何對大量參數的變數進行最佳化和目前活躍的演算法變異。如 adagrad, adadelta 和 RMSprop
#
deeplearning
#
gradientdescent
#
最佳化演算法
14
Rene Wang
2020/11/17
[探索] 門外漢的梯度下降變奏曲(中)
我們將會對動態設定學習率(learning rate)作為最陡梯度下降法的變異演算法做介紹。內容包括了解釋什麼事循環式的學習率調整排程法和何謂使用指數衰退權重來計算移動平均值,同時也介紹如何對大量參數的變數進行最佳化和目前活躍的演算法變異。如 adagrad, adadelta 和 RMSprop
#
deeplearning
#
gradientdescent
#
最佳化演算法
14
Rene Wang
2020/07/09
門外漢的影像轉譯(Image-to-Image Translation)
在影像生成的領域中,其中一個富有挑戰的是影像對影像的轉譯問題。該問題包括了 paired 和 unpaired 兩個子問題。在本文中,會先提 paired 問題的 pix2pix。unpaired 的問題則會談到 cross consistency, Normalization 和 attentio
#
pix2pix
#
cycleconsistency
#
GAN
3
Rene Wang
2020/07/09
門外漢的影像轉譯(Image-to-Image Translation)
在影像生成的領域中,其中一個富有挑戰的是影像對影像的轉譯問題。該問題包括了 paired 和 unpaired 兩個子問題。在本文中,會先提 paired 問題的 pix2pix。unpaired 的問題則會談到 cross consistency, Normalization 和 attentio
#
pix2pix
#
cycleconsistency
#
GAN
3
Rene Wang
2020/04/06
[探索] 門外漢的梯度下降變奏曲(上)
梯度下降學習法雖然是一個有效的最佳化方法,然而因為梯度本身屬於局部變化,因此有三個陷阱,而未能到達全域最小值的命運。他們分別是:局部最小值, 初始值和病態的二階導數矩陣。我們將解釋這些最佳化陷阱的成因,以及提出相對應的方法。這些方法包括了使用 mini-batch,加入處罰項和 early stop
1
Rene Wang
2020/04/06
[探索] 門外漢的梯度下降變奏曲(上)
梯度下降學習法雖然是一個有效的最佳化方法,然而因為梯度本身屬於局部變化,因此有三個陷阱,而未能到達全域最小值的命運。他們分別是:局部最小值, 初始值和病態的二階導數矩陣。我們將解釋這些最佳化陷阱的成因,以及提出相對應的方法。這些方法包括了使用 mini-batch,加入處罰項和 early stop
1
Rene Wang
2019/07/29
挺身而進
臉書的營運長,雪柔‧桑德伯格,在 2013 年《挺身而進》一書中,指出女性在職場中的困境,而有些困境是來自於對自己的限制,如缺乏自信和兼顧一切。在這系列的文章中,駭客女孩側寫許多挺身而進的女性工程師或創業者,甚至年輕的城市教育家,他們如何突破固有性別的限制,以創意的方式來教導,鼓勵女性參與工程領域。
#
程式教育
#
薪資性別差異
#
featured
3
Rene Wang
2019/07/29
挺身而進
臉書的營運長,雪柔‧桑德伯格,在 2013 年《挺身而進》一書中,指出女性在職場中的困境,而有些困境是來自於對自己的限制,如缺乏自信和兼顧一切。在這系列的文章中,駭客女孩側寫許多挺身而進的女性工程師或創業者,甚至年輕的城市教育家,他們如何突破固有性別的限制,以創意的方式來教導,鼓勵女性參與工程領域。
#
程式教育
#
薪資性別差異
#
featured
3
Rene Wang
2019/05/04
[探索] 門外漢的類神經網路導覽
這篇文章從類神經網路的起源,也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習,但卻無法學習超過非線性,如 XOR 的資料分布。另外,本文還介紹了 Logistic regression,藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
#
類神經網路
#
SVM
#
YannLeCun
4
Rene Wang
2019/05/04
[探索] 門外漢的類神經網路導覽
這篇文章從類神經網路的起源,也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習,但卻無法學習超過非線性,如 XOR 的資料分布。另外,本文還介紹了 Logistic regression,藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
#
類神經網路
#
SVM
#
YannLeCun
4
Rene Wang
2019/02/12
[觀點] 人工智慧的回顧與展望 2019
在 2018 年,筆者介紹了普華永道(PwC)關於人工智慧的十項預測。我們將要藉由這篇文章,先來回顧在過去的一年中,電腦視覺和自然語言領域有什麼新的發展。在本文的最後,則提及 PwC 在今年提出的六項建議,主要使已投資 AI 的公司能成功商轉,以及關於自動化資料處理和機械學習的現況。
#
人工智慧
#
自動化機械學習
#
電腦視覺
4
Rene Wang
2019/02/12
[觀點] 人工智慧的回顧與展望 2019
在 2018 年,筆者介紹了普華永道(PwC)關於人工智慧的十項預測。我們將要藉由這篇文章,先來回顧在過去的一年中,電腦視覺和自然語言領域有什麼新的發展。在本文的最後,則提及 PwC 在今年提出的六項建議,主要使已投資 AI 的公司能成功商轉,以及關於自動化資料處理和機械學習的現況。
#
人工智慧
#
自動化機械學習
#
電腦視覺
4
Rene Wang
2019/01/08
[探索] 門外漢的類神經物體偵測導覽
本文提到如何以類神經網路為主的深度學習方法,來進行物體偵測。文中包括基礎的物體偵測簡介:如影像問題分類,影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法,仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向,並對學術界常用的訓練資料集做分析介紹。
#
深度學習
#
物體偵測
#
卷積網路
6
Rene Wang
2019/01/08
[探索] 門外漢的類神經物體偵測導覽
本文提到如何以類神經網路為主的深度學習方法,來進行物體偵測。文中包括基礎的物體偵測簡介:如影像問題分類,影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法,仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向,並對學術界常用的訓練資料集做分析介紹。
#
深度學習
#
物體偵測
#
卷積網路
6
Rene Wang
2018/11/30
[探索] 門外漢的類神經機械翻譯導覽
在此篇文章終將會簡述機械學習的發展,簡介深度學習以 Sequence to Sequence 為架構,並在多場機械翻譯的學術年會,獲得成績斐然的結果。在本文中,會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。
#
深度學習
#
機械翻譯
#
sequencetosequence
4
Rene Wang
2018/11/30
[探索] 門外漢的類神經機械翻譯導覽
在此篇文章終將會簡述機械學習的發展,簡介深度學習以 Sequence to Sequence 為架構,並在多場機械翻譯的學術年會,獲得成績斐然的結果。在本文中,會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。
#
深度學習
#
機械翻譯
#
sequencetosequence
4
Rene Wang
2018/09/16
[探索] 現行深度學習架構概況
目前深度學習是人工智慧領域中最熱門的研究領域,許多美國科技巨頭紛紛推出他們的深度學習架構,以期能夠在人工智慧的商業應用上,能夠給使用者最無縫的服務。在本篇文章中,會以開發者和 DevOps 的角度,來談論該如何選擇最適合公司以及個人需求的深度學習架構。
#
Tensorflow
#
深度學習
#
PyTorch
9
Rene Wang
2018/09/16
[探索] 現行深度學習架構概況
目前深度學習是人工智慧領域中最熱門的研究領域,許多美國科技巨頭紛紛推出他們的深度學習架構,以期能夠在人工智慧的商業應用上,能夠給使用者最無縫的服務。在本篇文章中,會以開發者和 DevOps 的角度,來談論該如何選擇最適合公司以及個人需求的深度學習架構。
#
Tensorflow
#
深度學習
#
PyTorch
9
Rene Wang
2018/08/02
[群像] Cynthia Breazeal: 個人化機器人的時代
MIT Media Lab 個人化機器人實驗室的主持人,Cynthia Breazeal,同時也是新創公司 Jibo 的創辦人,在她的以個人化機器人時代的崛起 TED 演講中,介紹她歷年在研發社交機器人的過程和產品,並相信在與機器人的互動中,我們人類得以更加了解自身,並凝聚家人之間的關係。
#
社交機器人
#
Jibo
#
MITMediaLab
2
Rene Wang
2018/08/02
[群像] Cynthia Breazeal: 個人化機器人的時代
MIT Media Lab 個人化機器人實驗室的主持人,Cynthia Breazeal,同時也是新創公司 Jibo 的創辦人,在她的以個人化機器人時代的崛起 TED 演講中,介紹她歷年在研發社交機器人的過程和產品,並相信在與機器人的互動中,我們人類得以更加了解自身,並凝聚家人之間的關係。
#
社交機器人
#
Jibo
#
MITMediaLab
2
Rene Wang
2018/07/13
[探索] 預測大未來:538 如何做 2018 世界盃預測
538 這個網站,以預測美國總統大選起家,在 2014 開始進行世界盃賽事的預測,包括賽前預測以及賽事現場預測,在 2014 年世界盃後,538 網站也對五大洲各俱樂部的季賽做預測。在此篇中,將介紹 538 為 2018 世界盃所做的預測互動網頁,並介紹 538 ,所使用的國家隊及隊員的評比系統。
#
2018世界盃
#
FiveThirtyEight
#
EloRatingSystem
1
Rene Wang
2018/07/13
[探索] 預測大未來:538 如何做 2018 世界盃預測
538 這個網站,以預測美國總統大選起家,在 2014 開始進行世界盃賽事的預測,包括賽前預測以及賽事現場預測,在 2014 年世界盃後,538 網站也對五大洲各俱樂部的季賽做預測。在此篇中,將介紹 538 為 2018 世界盃所做的預測互動網頁,並介紹 538 ,所使用的國家隊及隊員的評比系統。
#
2018世界盃
#
FiveThirtyEight
#
EloRatingSystem
1
Rene Wang
2018/06/30
[探索] 門外漢的強化學習指南:A2CS 學習模型中的探索和竭盡難題
本文接續上篇直覺式強化學習教學,著重於解釋強化學習中常見的探索和竭盡難題,以及如何利用不同的方法來進行策略函式的學習,並與策略梯度做比較。同時,介紹 A2CS 所使用的損失函式,以及應用這個損失函示於深度學習時會遇到的訓練難題。最後,總結強化學習和深度學習的未來方向,以及本系列文章所企圖達到的目標。
#
人工智慧
#
強化學習
#
直覺式教學
2
Rene Wang
2018/06/30
[探索] 門外漢的強化學習指南:A2CS 學習模型中的探索和竭盡難題
本文接續上篇直覺式強化學習教學,著重於解釋強化學習中常見的探索和竭盡難題,以及如何利用不同的方法來進行策略函式的學習,並與策略梯度做比較。同時,介紹 A2CS 所使用的損失函式,以及應用這個損失函示於深度學習時會遇到的訓練難題。最後,總結強化學習和深度學習的未來方向,以及本系列文章所企圖達到的目標。
#
人工智慧
#
強化學習
#
直覺式教學
2
Rene Wang
2018/06/28
[群像] Renee Engeln: 女神流行病
Renee Engeln 在以「美麗流行病」為主題的演講中指出今日主流媒體如何大量傳播單一的審美標準,令多數女性和其所在的社會文化對「美麗」這個詞語產生病態的依附感,並嚴重危害許多年輕女性的身心。她疾呼這個社會需要男性和女性一起為此作出改變,提出三點,作為女性可以努力,以朝向痊癒復原之路前進的方向。
#
女神
#
奧黛麗赫本
#
物化女性
1
Rene Wang
2018/06/28
[群像] Renee Engeln: 女神流行病
Renee Engeln 在以「美麗流行病」為主題的演講中指出今日主流媒體如何大量傳播單一的審美標準,令多數女性和其所在的社會文化對「美麗」這個詞語產生病態的依附感,並嚴重危害許多年輕女性的身心。她疾呼這個社會需要男性和女性一起為此作出改變,提出三點,作為女性可以努力,以朝向痊癒復原之路前進的方向。
#
女神
#
奧黛麗赫本
#
物化女性
1
Rene Wang
2018/05/31
[探索] 門外漢的強化學習指南:A2C 學習模型中的批評與執行演算法
本文介紹由 OpenAI 發表的強化學習中基準模型,並藉由國外軟體工程師所繪畫的生動動畫來做直覺式的強化學習介紹以及教學。在漫畫中,將會比較蒙地卡羅和 Advantage Actor Critic (A2C) 模擬方法的不同,並將強化學習中的基礎觀念融入漫畫中。
#
強化學習
#
蒙地卡羅模擬
#
A2C
1
Rene Wang
2018/05/31
[探索] 門外漢的強化學習指南:A2C 學習模型中的批評與執行演算法
本文介紹由 OpenAI 發表的強化學習中基準模型,並藉由國外軟體工程師所繪畫的生動動畫來做直覺式的強化學習介紹以及教學。在漫畫中,將會比較蒙地卡羅和 Advantage Actor Critic (A2C) 模擬方法的不同,並將強化學習中的基礎觀念融入漫畫中。
#
強化學習
#
蒙地卡羅模擬
#
A2C
1
Rene Wang
2018/05/31
[群像] 專訪《露比任務》的創造者 - Linda Liukas:淺談創意教育
在上一次的訪談文章中,筆者與 Liukas 談到了,她創作《露比任務》一書的創意來源和她如何設計書末許多的紙上活動來達到不插電的程式教育。在此篇中,筆者則摘錄訪談中的最後三個問題,在這三個問題中分
#
露比任務
#
LindaLiukas
#
翻轉教室
Rene Wang
2018/05/31
[群像] 專訪《露比任務》的創造者 - Linda Liukas:淺談創意教育
在上一次的訪談文章中,筆者與 Liukas 談到了,她創作《露比任務》一書的創意來源和她如何設計書末許多的紙上活動來達到不插電的程式教育。在此篇中,筆者則摘錄訪談中的最後三個問題,在這三個問題中分
#
露比任務
#
LindaLiukas
#
翻轉教室
Rene Wang
2018/05/17
[群像] 當一個八年級的賓州女孩開始教導編程...
<p>年僅十三歲的程式老師Uma,擁有專屬的教學課程,親自上台教授並實作程式碼。Uma不僅成為 Lehigh Valley 小鎮中女孩們的第一位程式老師,自己的程式學習之旅也進入了新境界,帶著觀點經驗分享給從事程式教學的老師們。</p>
#
GirlWhoCode
#
性別差異
#
程式教育
1
Rene Wang
2018/05/17
[群像] 當一個八年級的賓州女孩開始教導編程...
<p>年僅十三歲的程式老師Uma,擁有專屬的教學課程,親自上台教授並實作程式碼。Uma不僅成為 Lehigh Valley 小鎮中女孩們的第一位程式老師,自己的程式學習之旅也進入了新境界,帶著觀點經驗分享給從事程式教學的老師們。</p>
#
GirlWhoCode
#
性別差異
#
程式教育
1
加入
全部
給女孩們的程式教育
給門外漢們的深度學習
全部
給女孩們的程式教育
給門外漢們的深度學習
全部類型
免費與付費
最新發佈
最新發佈
Rene Wang
2021/03/19
[探索] 語言模型基礎:Subword algorithms
一個好的自然語言模型,若出現了語言模型的 vocabulary set 未曾收錄的單字,語言模型就會產生 Out-of-Vocabulary (OOV)。 本文介紹 subword algorithms 介於 word-level 和 character-level 解決 OOV 的方法。
#
DeepLearning
#
語言模型
#
深度學習
7
Rene Wang
2021/03/19
[探索] 語言模型基礎:Subword algorithms
一個好的自然語言模型,若出現了語言模型的 vocabulary set 未曾收錄的單字,語言模型就會產生 Out-of-Vocabulary (OOV)。 本文介紹 subword algorithms 介於 word-level 和 character-level 解決 OOV 的方法。
#
DeepLearning
#
語言模型
#
深度學習
7
Rene Wang
2021/02/26
網路裁減(Network Pruning)和解構樂透彩卷假說
本篇文章前半段先對網路裁減做簡單介紹,後半段針對彩卷假說作文獻式的探討。網路裁減是一種重新發現等價小網路的方法,主要目的在為 over-parameterized 的方式訓練而成的類神經網路提供一個精簡版的網路,有助於在資源受限的平台上運行。彩卷假說則是探討權重初始值和網路裁減之間的關係。
#
deeplearning
#
深度學習
#
網路裁減
5
Rene Wang
2021/02/26
網路裁減(Network Pruning)和解構樂透彩卷假說
本篇文章前半段先對網路裁減做簡單介紹,後半段針對彩卷假說作文獻式的探討。網路裁減是一種重新發現等價小網路的方法,主要目的在為 over-parameterized 的方式訓練而成的類神經網路提供一個精簡版的網路,有助於在資源受限的平台上運行。彩卷假說則是探討權重初始值和網路裁減之間的關係。
#
deeplearning
#
深度學習
#
網路裁減
5
Rene Wang
2021/01/08
[探索] 使用 Mixture of Experts 建立多任務學習框架
多任務學習指的是使用多個相關的任務目標(Multiple objectives)來學習共享的表示方法。在這篇文章中,我們會介紹 google 的 youtube recommender 系統就是利用 Multi-gate Mixture of Experts 來達成多目標多任務學習的方式。
#
DeepLearning
#
MultitaaskLearning
#
MultigateMixtureofExperts
3
Rene Wang
2021/01/08
[探索] 使用 Mixture of Experts 建立多任務學習框架
多任務學習指的是使用多個相關的任務目標(Multiple objectives)來學習共享的表示方法。在這篇文章中,我們會介紹 google 的 youtube recommender 系統就是利用 Multi-gate Mixture of Experts 來達成多目標多任務學習的方式。
#
DeepLearning
#
MultitaaskLearning
#
MultigateMixtureofExperts
3
Rene Wang
2020/12/16
[探索] 門外漢的梯度下降變奏曲(下)
連同上兩篇文章,我們介紹了機械學習裡的基石,並踩著這些基石了解了改變資料餵送方式,以及動態改變學習率或在更新項中加入動量的方法。我們可以看到這些梯度下降的變化,主要是解決兩個問題:梯度震盪和非最佳的局部最小值造成學習停滯不前的問題。在這篇文章中,我們著重動量和 Adam 的方法來達成克服以上的問題。
#
深度學習
#
最陡梯度下降法
#
動量
3
Rene Wang
2020/12/16
[探索] 門外漢的梯度下降變奏曲(下)
連同上兩篇文章,我們介紹了機械學習裡的基石,並踩著這些基石了解了改變資料餵送方式,以及動態改變學習率或在更新項中加入動量的方法。我們可以看到這些梯度下降的變化,主要是解決兩個問題:梯度震盪和非最佳的局部最小值造成學習停滯不前的問題。在這篇文章中,我們著重動量和 Adam 的方法來達成克服以上的問題。
#
深度學習
#
最陡梯度下降法
#
動量
3
Rene Wang
2020/11/17
[探索] 門外漢的梯度下降變奏曲(中)
我們將會對動態設定學習率(learning rate)作為最陡梯度下降法的變異演算法做介紹。內容包括了解釋什麼事循環式的學習率調整排程法和何謂使用指數衰退權重來計算移動平均值,同時也介紹如何對大量參數的變數進行最佳化和目前活躍的演算法變異。如 adagrad, adadelta 和 RMSprop
#
deeplearning
#
gradientdescent
#
最佳化演算法
14
Rene Wang
2020/11/17
[探索] 門外漢的梯度下降變奏曲(中)
我們將會對動態設定學習率(learning rate)作為最陡梯度下降法的變異演算法做介紹。內容包括了解釋什麼事循環式的學習率調整排程法和何謂使用指數衰退權重來計算移動平均值,同時也介紹如何對大量參數的變數進行最佳化和目前活躍的演算法變異。如 adagrad, adadelta 和 RMSprop
#
deeplearning
#
gradientdescent
#
最佳化演算法
14
Rene Wang
2020/07/09
門外漢的影像轉譯(Image-to-Image Translation)
在影像生成的領域中,其中一個富有挑戰的是影像對影像的轉譯問題。該問題包括了 paired 和 unpaired 兩個子問題。在本文中,會先提 paired 問題的 pix2pix。unpaired 的問題則會談到 cross consistency, Normalization 和 attentio
#
pix2pix
#
cycleconsistency
#
GAN
3
Rene Wang
2020/07/09
門外漢的影像轉譯(Image-to-Image Translation)
在影像生成的領域中,其中一個富有挑戰的是影像對影像的轉譯問題。該問題包括了 paired 和 unpaired 兩個子問題。在本文中,會先提 paired 問題的 pix2pix。unpaired 的問題則會談到 cross consistency, Normalization 和 attentio
#
pix2pix
#
cycleconsistency
#
GAN
3
Rene Wang
2020/04/06
[探索] 門外漢的梯度下降變奏曲(上)
梯度下降學習法雖然是一個有效的最佳化方法,然而因為梯度本身屬於局部變化,因此有三個陷阱,而未能到達全域最小值的命運。他們分別是:局部最小值, 初始值和病態的二階導數矩陣。我們將解釋這些最佳化陷阱的成因,以及提出相對應的方法。這些方法包括了使用 mini-batch,加入處罰項和 early stop
1
Rene Wang
2020/04/06
[探索] 門外漢的梯度下降變奏曲(上)
梯度下降學習法雖然是一個有效的最佳化方法,然而因為梯度本身屬於局部變化,因此有三個陷阱,而未能到達全域最小值的命運。他們分別是:局部最小值, 初始值和病態的二階導數矩陣。我們將解釋這些最佳化陷阱的成因,以及提出相對應的方法。這些方法包括了使用 mini-batch,加入處罰項和 early stop
1
Rene Wang
2019/07/29
挺身而進
臉書的營運長,雪柔‧桑德伯格,在 2013 年《挺身而進》一書中,指出女性在職場中的困境,而有些困境是來自於對自己的限制,如缺乏自信和兼顧一切。在這系列的文章中,駭客女孩側寫許多挺身而進的女性工程師或創業者,甚至年輕的城市教育家,他們如何突破固有性別的限制,以創意的方式來教導,鼓勵女性參與工程領域。
#
程式教育
#
薪資性別差異
#
featured
3
Rene Wang
2019/07/29
挺身而進
臉書的營運長,雪柔‧桑德伯格,在 2013 年《挺身而進》一書中,指出女性在職場中的困境,而有些困境是來自於對自己的限制,如缺乏自信和兼顧一切。在這系列的文章中,駭客女孩側寫許多挺身而進的女性工程師或創業者,甚至年輕的城市教育家,他們如何突破固有性別的限制,以創意的方式來教導,鼓勵女性參與工程領域。
#
程式教育
#
薪資性別差異
#
featured
3
Rene Wang
2019/05/04
[探索] 門外漢的類神經網路導覽
這篇文章從類神經網路的起源,也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習,但卻無法學習超過非線性,如 XOR 的資料分布。另外,本文還介紹了 Logistic regression,藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
#
類神經網路
#
SVM
#
YannLeCun
4
Rene Wang
2019/05/04
[探索] 門外漢的類神經網路導覽
這篇文章從類神經網路的起源,也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習,但卻無法學習超過非線性,如 XOR 的資料分布。另外,本文還介紹了 Logistic regression,藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
#
類神經網路
#
SVM
#
YannLeCun
4
Rene Wang
2019/02/12
[觀點] 人工智慧的回顧與展望 2019
在 2018 年,筆者介紹了普華永道(PwC)關於人工智慧的十項預測。我們將要藉由這篇文章,先來回顧在過去的一年中,電腦視覺和自然語言領域有什麼新的發展。在本文的最後,則提及 PwC 在今年提出的六項建議,主要使已投資 AI 的公司能成功商轉,以及關於自動化資料處理和機械學習的現況。
#
人工智慧
#
自動化機械學習
#
電腦視覺
4
Rene Wang
2019/02/12
[觀點] 人工智慧的回顧與展望 2019
在 2018 年,筆者介紹了普華永道(PwC)關於人工智慧的十項預測。我們將要藉由這篇文章,先來回顧在過去的一年中,電腦視覺和自然語言領域有什麼新的發展。在本文的最後,則提及 PwC 在今年提出的六項建議,主要使已投資 AI 的公司能成功商轉,以及關於自動化資料處理和機械學習的現況。
#
人工智慧
#
自動化機械學習
#
電腦視覺
4
Rene Wang
2019/01/08
[探索] 門外漢的類神經物體偵測導覽
本文提到如何以類神經網路為主的深度學習方法,來進行物體偵測。文中包括基礎的物體偵測簡介:如影像問題分類,影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法,仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向,並對學術界常用的訓練資料集做分析介紹。
#
深度學習
#
物體偵測
#
卷積網路
6
Rene Wang
2019/01/08
[探索] 門外漢的類神經物體偵測導覽
本文提到如何以類神經網路為主的深度學習方法,來進行物體偵測。文中包括基礎的物體偵測簡介:如影像問題分類,影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法,仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向,並對學術界常用的訓練資料集做分析介紹。
#
深度學習
#
物體偵測
#
卷積網路
6
Rene Wang
2018/11/30
[探索] 門外漢的類神經機械翻譯導覽
在此篇文章終將會簡述機械學習的發展,簡介深度學習以 Sequence to Sequence 為架構,並在多場機械翻譯的學術年會,獲得成績斐然的結果。在本文中,會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。
#
深度學習
#
機械翻譯
#
sequencetosequence
4
Rene Wang
2018/11/30
[探索] 門外漢的類神經機械翻譯導覽
在此篇文章終將會簡述機械學習的發展,簡介深度學習以 Sequence to Sequence 為架構,並在多場機械翻譯的學術年會,獲得成績斐然的結果。在本文中,會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。
#
深度學習
#
機械翻譯
#
sequencetosequence
4
Rene Wang
2018/09/16
[探索] 現行深度學習架構概況
目前深度學習是人工智慧領域中最熱門的研究領域,許多美國科技巨頭紛紛推出他們的深度學習架構,以期能夠在人工智慧的商業應用上,能夠給使用者最無縫的服務。在本篇文章中,會以開發者和 DevOps 的角度,來談論該如何選擇最適合公司以及個人需求的深度學習架構。
#
Tensorflow
#
深度學習
#
PyTorch
9
Rene Wang
2018/09/16
[探索] 現行深度學習架構概況
目前深度學習是人工智慧領域中最熱門的研究領域,許多美國科技巨頭紛紛推出他們的深度學習架構,以期能夠在人工智慧的商業應用上,能夠給使用者最無縫的服務。在本篇文章中,會以開發者和 DevOps 的角度,來談論該如何選擇最適合公司以及個人需求的深度學習架構。
#
Tensorflow
#
深度學習
#
PyTorch
9
Rene Wang
2018/08/02
[群像] Cynthia Breazeal: 個人化機器人的時代
MIT Media Lab 個人化機器人實驗室的主持人,Cynthia Breazeal,同時也是新創公司 Jibo 的創辦人,在她的以個人化機器人時代的崛起 TED 演講中,介紹她歷年在研發社交機器人的過程和產品,並相信在與機器人的互動中,我們人類得以更加了解自身,並凝聚家人之間的關係。
#
社交機器人
#
Jibo
#
MITMediaLab
2
Rene Wang
2018/08/02
[群像] Cynthia Breazeal: 個人化機器人的時代
MIT Media Lab 個人化機器人實驗室的主持人,Cynthia Breazeal,同時也是新創公司 Jibo 的創辦人,在她的以個人化機器人時代的崛起 TED 演講中,介紹她歷年在研發社交機器人的過程和產品,並相信在與機器人的互動中,我們人類得以更加了解自身,並凝聚家人之間的關係。
#
社交機器人
#
Jibo
#
MITMediaLab
2
Rene Wang
2018/07/13
[探索] 預測大未來:538 如何做 2018 世界盃預測
538 這個網站,以預測美國總統大選起家,在 2014 開始進行世界盃賽事的預測,包括賽前預測以及賽事現場預測,在 2014 年世界盃後,538 網站也對五大洲各俱樂部的季賽做預測。在此篇中,將介紹 538 為 2018 世界盃所做的預測互動網頁,並介紹 538 ,所使用的國家隊及隊員的評比系統。
#
2018世界盃
#
FiveThirtyEight
#
EloRatingSystem
1
Rene Wang
2018/07/13
[探索] 預測大未來:538 如何做 2018 世界盃預測
538 這個網站,以預測美國總統大選起家,在 2014 開始進行世界盃賽事的預測,包括賽前預測以及賽事現場預測,在 2014 年世界盃後,538 網站也對五大洲各俱樂部的季賽做預測。在此篇中,將介紹 538 為 2018 世界盃所做的預測互動網頁,並介紹 538 ,所使用的國家隊及隊員的評比系統。
#
2018世界盃
#
FiveThirtyEight
#
EloRatingSystem
1
Rene Wang
2018/06/30
[探索] 門外漢的強化學習指南:A2CS 學習模型中的探索和竭盡難題
本文接續上篇直覺式強化學習教學,著重於解釋強化學習中常見的探索和竭盡難題,以及如何利用不同的方法來進行策略函式的學習,並與策略梯度做比較。同時,介紹 A2CS 所使用的損失函式,以及應用這個損失函示於深度學習時會遇到的訓練難題。最後,總結強化學習和深度學習的未來方向,以及本系列文章所企圖達到的目標。
#
人工智慧
#
強化學習
#
直覺式教學
2
Rene Wang
2018/06/30
[探索] 門外漢的強化學習指南:A2CS 學習模型中的探索和竭盡難題
本文接續上篇直覺式強化學習教學,著重於解釋強化學習中常見的探索和竭盡難題,以及如何利用不同的方法來進行策略函式的學習,並與策略梯度做比較。同時,介紹 A2CS 所使用的損失函式,以及應用這個損失函示於深度學習時會遇到的訓練難題。最後,總結強化學習和深度學習的未來方向,以及本系列文章所企圖達到的目標。
#
人工智慧
#
強化學習
#
直覺式教學
2
Rene Wang
2018/06/28
[群像] Renee Engeln: 女神流行病
Renee Engeln 在以「美麗流行病」為主題的演講中指出今日主流媒體如何大量傳播單一的審美標準,令多數女性和其所在的社會文化對「美麗」這個詞語產生病態的依附感,並嚴重危害許多年輕女性的身心。她疾呼這個社會需要男性和女性一起為此作出改變,提出三點,作為女性可以努力,以朝向痊癒復原之路前進的方向。
#
女神
#
奧黛麗赫本
#
物化女性
1
Rene Wang
2018/06/28
[群像] Renee Engeln: 女神流行病
Renee Engeln 在以「美麗流行病」為主題的演講中指出今日主流媒體如何大量傳播單一的審美標準,令多數女性和其所在的社會文化對「美麗」這個詞語產生病態的依附感,並嚴重危害許多年輕女性的身心。她疾呼這個社會需要男性和女性一起為此作出改變,提出三點,作為女性可以努力,以朝向痊癒復原之路前進的方向。
#
女神
#
奧黛麗赫本
#
物化女性
1
Rene Wang
2018/05/31
[探索] 門外漢的強化學習指南:A2C 學習模型中的批評與執行演算法
本文介紹由 OpenAI 發表的強化學習中基準模型,並藉由國外軟體工程師所繪畫的生動動畫來做直覺式的強化學習介紹以及教學。在漫畫中,將會比較蒙地卡羅和 Advantage Actor Critic (A2C) 模擬方法的不同,並將強化學習中的基礎觀念融入漫畫中。
#
強化學習
#
蒙地卡羅模擬
#
A2C
1
Rene Wang
2018/05/31
[探索] 門外漢的強化學習指南:A2C 學習模型中的批評與執行演算法
本文介紹由 OpenAI 發表的強化學習中基準模型,並藉由國外軟體工程師所繪畫的生動動畫來做直覺式的強化學習介紹以及教學。在漫畫中,將會比較蒙地卡羅和 Advantage Actor Critic (A2C) 模擬方法的不同,並將強化學習中的基礎觀念融入漫畫中。
#
強化學習
#
蒙地卡羅模擬
#
A2C
1
Rene Wang
2018/05/31
[群像] 專訪《露比任務》的創造者 - Linda Liukas:淺談創意教育
在上一次的訪談文章中,筆者與 Liukas 談到了,她創作《露比任務》一書的創意來源和她如何設計書末許多的紙上活動來達到不插電的程式教育。在此篇中,筆者則摘錄訪談中的最後三個問題,在這三個問題中分
#
露比任務
#
LindaLiukas
#
翻轉教室
Rene Wang
2018/05/31
[群像] 專訪《露比任務》的創造者 - Linda Liukas:淺談創意教育
在上一次的訪談文章中,筆者與 Liukas 談到了,她創作《露比任務》一書的創意來源和她如何設計書末許多的紙上活動來達到不插電的程式教育。在此篇中,筆者則摘錄訪談中的最後三個問題,在這三個問題中分
#
露比任務
#
LindaLiukas
#
翻轉教室
Rene Wang
2018/05/17
[群像] 當一個八年級的賓州女孩開始教導編程...
<p>年僅十三歲的程式老師Uma,擁有專屬的教學課程,親自上台教授並實作程式碼。Uma不僅成為 Lehigh Valley 小鎮中女孩們的第一位程式老師,自己的程式學習之旅也進入了新境界,帶著觀點經驗分享給從事程式教學的老師們。</p>
#
GirlWhoCode
#
性別差異
#
程式教育
1
Rene Wang
2018/05/17
[群像] 當一個八年級的賓州女孩開始教導編程...
<p>年僅十三歲的程式老師Uma,擁有專屬的教學課程,親自上台教授並實作程式碼。Uma不僅成為 Lehigh Valley 小鎮中女孩們的第一位程式老師,自己的程式學習之旅也進入了新境界,帶著觀點經驗分享給從事程式教學的老師們。</p>
#
GirlWhoCode
#
性別差異
#
程式教育
1