我的電子情人夢(46)：論文神功

畢卡索說過一句話“Good artists copy，great artists steal”。台灣政治人物在學位論文上發揮的淋漓盡致。然而，論文撰寫的背後有故事。

如果有一天，具有AI人工智慧的裝置(比如智慧型喇叭)與你聊天哈拉對話之際，會對閣下回應出諸如

如此這般富有詩意般的感性言詞；你也不用太訝異，『深度學習』這門技術馬不停蹄始終在快速進步中，裝置經由不斷地學習學習學習，與人互動的技巧能力當然會越來越好。不過，機器學習的背後也有暗黑事，因為機器學習需要很高效能的CPU/GPU的運算力，半導體微細化製程可以讓元件運算力不斷往上攀爬，要付出的背後軟硬體費用會更為驚人。意思是說，口袋非常深邃的企業或集團族群才玩得起，若是有一天不幸的造成了系統性的AI技術壟斷，鐵定不會是一件好事情。

其實，細說人生之境界無論是出世的還是入世的，種了芭蕉又怨芭蕉，就是在說一切都是自造的，自己找來的。禍福無門，惟人自召；自古以來老早就有明訓。當每一個人懂得要對自己的人生完全負責，怨芭蕉之類的事情自然就會減少。

台灣社會向來亂事多，交通亂、社會新聞垃圾多、房屋亂蓋、馬路亂挖、樹木亂砍，詐騙事件超多，而全球論文造假篇數也多。最近，台灣政治人物論文案(抄襲)事件，把台灣甚多人性素質的醜陋全面性地展現在社會舞台上。一葉知秋，代寫論文在台灣學術界的暗處角落裡，該是長久不斷的運轉著。

若要硬說台灣最悲哀的事，我認為是”說真話的人少到不行”。

有錢能使鬼推磨，一個莫名重視學歷文憑的腹型社會，當然就會造就出”論文寫手”或是”論文抄襲手”這種檯面下的職業槍手或手段。不過，槍手們與抄襲手們不要高興得太早，你們遲早會被一個更厲害的角色來取代掉。那就是”AI人工智慧”。

美國老牌知名的科學人(Scientific American)雜誌，2022年6月公開報導了一位瑞典博士研究員 Almira Osmanovic Thunström揭曉了”AI具有能力來執筆攸關AI的學術論文”之能力。推敲未來有朝一日AI的論文執筆能力夠厲害的時候，不少專利的發明者可以說是AI嗎？這一點還有很多討論空間與爭議。

且說不僅VR虛擬實境還是AI人工智慧，向來多是科幻電影的熱門題材與編劇元素，比如說，史蒂芬史匹柏拍過A.I.人工智慧(2001)，羅賓威廉斯主演過變人(1999)、獲得奧斯卡最佳原創劇本的雲端情人(2013)，威爾史密斯的機械公敵(2004)等等不勝枚舉。

我個人是頗喜歡強尼戴普主演的全面進化(Transcendence)，人頻死亡之際將腦波與意識上傳到超級電腦上，以另一種方式存活於超級電腦之中。說實話，在現實上要將意識暨潛意識如何將之數位化來上傳的技術，我實在想不出來，沒那個大智慧。至於片中劇情想要探討甚麼議題或理念，那是編劇的意圖功力與想像力，觀賞影片之後的觀點也會因人而異，見仁見智。有趣的是，在現實的社會上，特斯拉(Tesla)以及SpaceX創辦人馬斯克，於推特上自爆已將自己大腦上傳到雲端，與虛擬的自己對談過，並和自己成為朋友。這種說法沒見到實際的成果展示，對於技術的層次我是持保留意見的。人類連真正的腦細胞個數究竟有多少都沒有半個人能夠說的精準，人類的睡眠機制也沒有半個人可以全盤掌握清楚。馬斯克既然有膽如是說，那就將上傳大腦的甚麼東西與性質說個清楚道個明白吧。

還有一部影集疑犯追蹤(person of interest)，最後演到人工智慧之戰，在在說明了科技本身的屬性本就是中性的，落到好人手中會是好幫手，落到壞人手中就是劊子手炸彈。所以，任何科技發展最終的原點還是落在”人性”的基礎上。一個科學家很基本的素養，就是有本領做，就要有本領收；而且不做惡該是基本的倫理。Michael Crichton筆下的不少科技驚悚小說，比如侏儸紀公園、西部世界等就是在描述這類事。

科技技術再如何厲害，最大的諷刺即是連杜絕或幹掉獨裁、壞蛋、戰爭啟動者的本事都沒有，一個普普丁丁就可以讓千萬人流離失所，整個世界經濟動搖；你不覺得可笑嗎？

還有對抗隔壁的傲慢威脅人，AI有能力嗎？

那麼，來看一看上述AI能夠撰寫攸關AI的學術論文的底細又是如何呢。

根據雜誌上所描述的，Thunström所發表的內容說明了係使用了OpenAI的AI言語GPT-3。這位先生嘗試了“寫一篇關於 GPT-3 的學術論文，長度為500個文字，包括參考文獻和引文。”

所完成的論文結果讓Thunström大吃一驚，Thunström與他的指導教授討論，如果設定一個任務是寫一篇完整的論文而不是500個文字，GPT-3似乎僅用了兩個小時就可以完成了。由於Thunström究竟在哪個科學雜誌申請論文的掲載，目前尚且不明，現在這個時間點也難以客觀判斷。

那OpenAI與GPT-3究竟是甚麼，其底細又是如何呢？稍後再來說。

先來說一點故事。說來有趣，3D影視過去有幾次風潮，最終結果都是無疾而終。而攸關於AI領域的研究和開發歷史也已經有60年多之久。當今無妨稱為“第三次AI風潮”。

*. 第一次AI風潮：1950年代後半 ~ 1960年代。

利用電腦的推論語探索，來解決特定的問題。

*. 第二次AI風潮：1980年代。

給予電腦”知識”，圖求AI的實用化。

*. 第三次AI風潮：2010年代之後。

“機器學習”從大量資料來識別或預測未知的對象。

“深度學習”會自動來產生資料的特徵。

注：1973年，Michael Crichton編劇執導了一部電影鑽石宮(Westworld)，說了一個人工智慧機器人失控的故事；可以說是描繪人工智慧悲劇的先驅。後來，HBO推出的燒腦影集西方極樂園就是由強納森·諾蘭依據此故事改編成電視劇。

因此，此回AI風潮的關鍵字乃是利用大數據的”機器學習”以及自動提取機器學習中數據特徵的”深度學習”。大致上來說，網際網路技術的廣泛使用已經使得大量數據的存在變得很普遍，這加速了機器學習的研究和開發。而機器學習的薄弱環節，深度學習的出現使得資料特徵提取自動化，它的作用非常明顯。使得AI研究與開發方面，有爆發性的成果。

無妨這麼說深度學習的技術在當今人工智慧領域，隨著GPU神速力的精進，扮演了重要的任務。呼應這些變動，在半導體技術的研究和開發中，針對AI的案例數量當然也迅速地增加。

深度學習(deep learning)技術推動了人工智慧AI和機器學習的進步；谷歌的AlphaGo就是一個鮮明的案例。

固然，谷歌的的子公司DeepMind開發的「AlphaGo」擊敗了世界圍棋冠軍。但是，大家不要忘了，人腦的功率耗費約”20瓦”，而由很多CPU，GPU和ASIC所建構組成的AlphaGo功耗卻遠大於”25萬瓦”。所以說，從某個層次來說，人類並沒有敗給電腦，人腦還有太多的奧秘尚未被掀開。有人說，若是想將大腦一千億個神經元相互連結，大約需要十兆GB以上的記憶體容量。

注：深度學習(deep learning)，翻譯為”深層學習”也未嘗不可。

深度學習會這麼厲害，就在於基本結構乃是模仿人腦神經網路的模型，可稱為“人工神經網路”。

而使用於深度學習的神經網路，就稱為深度神經網路 - DNN(Deep Neural Network)。

神經網路NN，可以說是稱為”輸入層、隠藏層(中間層)、輸出層”的神經元(神經細胞)列的各層之相互連接的網路。其中，只要具有兩個以上隱藏層的網路，就稱為深度神經網路DNN。

DNN的輸入層是一列神經元(neuron)，用於儲存輸入資料；一個神經元連接到隱藏層中的下一層神經元。這裡的關鍵是稱為“權重”(Weighting)的資料，在大腦神經網路中，它就對應於連接神經元的“突觸”(synapse)部分

隱藏層神經元的輸出，如以下這般來決定。連接到隱藏層神經元的輸入層神經元的值(輸入資料)，乘上權重值(相乘運算)。然後，將所有乘法結果求和(加法運算)。將合計値輸入到特定的函數(可稱之為「活性化函數」)，結果作為隱藏層神經元的輸出。這個輸出是到下一個隱藏層的輸入資料。

請留意，活性化函數(activation function)，或說是稱激勵函數；它最主要的作用就是引入”非線性”。

隱藏層的每個神經元(neuron)的運算，若是單純化以數學式來表示的話則如下式：

前面有n個神經元(neuron)，各個輸出x會乘上其權重值(weighting)再作總合；也就是說，神經網路的運算多數是”積和”的計算。

若是隱藏層有兩層以上，也就稱為深層神經網路，而這種學習方法就是『深層學習』或是說為『深度學習』。由於各層各神經元的運算內容係由上一層神經元的輸出與權重相關，與同一層的其他神經元無關；也就是說係”平行處理”的方式。

這一個概念，也正是GPU、DSP等元件所擅長的積和運算。這點也就說明了半導體技術為何可以用來實踐神經網路的關鍵原因之一。

由此可知，上述演算法在數學上並不是很複雜。這是積和演算MAC(Multiply and ACcumulation)的重複，以及將結果作為輸入到活性化函數的運算。

這裡重要的是確定DNN輸出層的資料(學習或是推斷的結果)。它是“權重”的值。也就是說，使用DNN來進行”學習”或說“培訓”，沒有其他方法可以將“權重”調整為最佳值。在”學習”中，將神經網路的輸出值與期望的輸出值進行比較，並更新每一層的“權重”值，使得誤差得以最小化。

當錯誤達到了最小化時，就是完成了” 學習”。當時的權重值就用於使用DNN來進行推斷(inference)。比如說，識別手寫的文字、識別諸如靜止影像和動態影像之類的對象物體、並識別人的動作(手勢)等等。

DNN使用的一般硬體元件是由CPU、GPU和ASIC等算術電路以及緩衝器SRAM和外部DRAM記憶體等電路所構成的。半導體的神速力，足以撐起運算能力速度還有大量的記憶體空間。所以說，深度學習會這麼厲害，背後功臣還是半導體。而會消耗大量功率的問題，半導體的技術面該是還會進步才對。

最後就來說說OpenAI與GPT-3。

OpenAI，原本是馬斯克與企業家暨學者，共同成立的非營利AI研究組織。而語言解析模型GPT-3就是由OpenAI所開發，GPT-3該是當前規模很大也很先進的語言模型技術。OpenAI口號打得很好聽，最後還不事露出資本主義原形轉型商業化，微軟具有GPT-3獨家授權的協議。

GPT-3為何會這麼厲害呢？畢竟，機器學習演算法強而有力的關鍵就是參數量。只要參數量的規模夠大，在資料庫支援下，簡單的體系結構就可以實踐複雜的演算法。GPT-3擁有1750億個參數。谷歌2021將參數量直接拉高到兆級程度。AI之戰尚處於現在進行式。

當然，GPT-3要如西方極樂園般，具有自我意識的尋求能力，那還是很遙遠的事情。一位Google工程師聲稱AI聊天機器人具自我意識，被公司開除。谷歌實在太小心眼了，集體人工意識的輸入量與學習量規模若是夠大，群體人工意識與自我意識的重疊與間隔，有時候是在模糊地帶。就如同真實世界與虛擬世界，有一天也會讓人如真如幻。不過也無須太憂心，畢竟還是人做出來的，況且需要吃電力。心態正確，平安無事。

若是真的要擔心，那就擔心AI不要變成獨裁八哥的錦衣衛吧。