淺談生成式AI與大語言模型的憂慮與困境

更新於 發佈於 閱讀時間約 4 分鐘

AI浪潮

自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百度的文言一心、Open AI的DALL-E等等,但其中最多人用的還是ChatGPT,而微軟串接Open AI的Bing和Office365,也讓其聲勢大漲,可說是百家追逐、百家爭鳴,都在搶佔AI的高地。

而不只這些,就連AI相關的硬體都跟著聲勢大漲,包括負責生產AI用伺服器的廠商,緯創與相關個股,都紛紛衝的老高,而NVIDIA在其中更是一躍成為全球最炙手可熱的企業,雖然本來就很強了,但現在氣勢更是如日中天。

一個類似人,但又比人更快的服務,是人類追逐的目標,更不用說是它不會累,比起電影、漫畫和卡通裡的未來,彷彿又更近一步了,而且是大大的一步。

不過,在這些的背後,難道AI就沒有挑戰、困難、困境的地方嗎?

有,而且非常的多。

倫理

不光是倫理的問題了,這個是長久以來的問題,在1942年時,美國科幻小說作家艾薩克·艾西莫夫就在其小說轉圈圈其中一個篇章"我,機器人"中,就提出了著名的機器人三原則,其意就在保護人類。

因為一個成熟的AI,比起人類真是完美太多了,如果又讓其掌握了情緒等,那些人類才有的感情,加上又沒有條件去限制AI,那麼等待人類的,那可能不是像駭客任務中,那種人類被奴役的未來,那很大一部分就是被機器人、被AI清空的狀況。

在今年四月初,那些包含馬斯克的大老,就聯手數名一封名為"暫停大型人工智慧實驗"的公開信,想讓大家在現在瘋狂的AI競賽中緩一緩,可見也預期到了擔憂的未來。

同時有些回覆缺乏常識推理和理解,模型往往缺乏對世界知識的深入理解,容易在理解和回答複雜問題時出現錯誤或無法給出準確的答案。

訓練

在前文中提到,各家都在瘋狂的訓練自己的大語言模型,而在這次的AI競賽中,大語言模型(large language model,LLM),本身就是個重中之重的重點,目前看到的諸多生成式AI應用,大語言模型在其中功不可沒,所謂的大語言模型,就是指1000B以上參數的語言模型,透過大量的自監督學習或半監督學習對大量未標記文本進行訓練,讓其資料庫中有更多"有意義"的文本,加上反覆的訓練、微調,讓其更接近一個人類。

但要訓練一個大語言模型,可非是簡單的事情,像是176B的Bloom,當初可是花了法國用超級電腦訓練了100多天才完成,而超級電腦這種東西,可不是簡單就能造出的,尤其各國在超級電腦的競賽,早就是非常熱烈的事情,每年超級電腦的排名都在變化,而且非常花錢,比如目前台灣最強的超級電腦,就是在2018時所打造的"台灣杉二號",花了50億的經費和諸多人力,還包含很多科技、電信大廠投入,上面用了9,072個CPU和插了2,016張NVIDIA Tesla V100,目前NVIDIA Tesla V100一張在PChome賣299,000。

而且有了超級電腦,要訓練一個大語言模型,除了要時間運行外,也需要AI工程師對其訓練的模型進行調教、調整、接受user的反饋,來來回回進行調整,才可以產出"還算勘用"的大語言模型,耗錢、耗時、耗力,非一般單位可以去承受這些。

資料的偏見、隱私與安全

生成式AI可能會受到訓練數據中存在的偏見和不平等的影響。如果訓練數據中存在性別、種族、社會偏見等問題,生成的結果可能會反映這些偏見,進而加劇社會不平等。解決這個問題需要注意數據採集和清洗過程中的公正性,並進行後續的審查和調整,所以像是ChatGPT在訓練的過程中,就透過大量的人力進行貼標,以確保一些非常識或有違倫理的回覆出現。

同時生成式AI需要大量的數據來進行訓練,就算是以大語言模型的基底,那仍然是不足的,比如Bloom,在其中中文的語料就佔的非常少的比例,需要額外添加與再訓練,而在蒐集資料的過程中,就可能蒐集到隱密的資料,這可能涉及到用戶的個人信息和敏感數據。確保數據的隱私和安全性是一個重要的挑戰,需要採取適當的數據保護措施和隱私政策來保護用戶的權益。

不只這些

除了上述的挑戰外,還有很多諸如法律、倫理、版權等等一系列問題。例如,如何處理由AI生成的內容的版權問題?如何確保AI系統的公正性和透明性,以及如何在AI生成內容的過程中遵守隱私法規等等。這些問題需要進行廣泛的討論和製定相關政策來解決。

這些困境,都非一朝一夕能夠處理,除了大量人力時間討論外,還需要針對所處國家不同的人情、法律等作調整,在AI越來越方便的趨勢下,可見未來中,人類的生產力會有質的飛越,可產生的問題也越發明顯,需要眾人的努力去調整、制定。

Domo的沙龍,各種文章的匯集地 日常、評論、政治、趨勢、時事、職場、工作、創作、小說等。 都是我寫作的內容! 歡迎加入,Domo的沙龍
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
*疲憊 上上週六是補班日,到了熟悉的假日,還是得拖著疲憊的身軀起床,開始了上班前的準備,沒有一如以往的繼續休息。 洗漱完畢、換好衣服、拿好東西出門,然後騎上車,一路往公司騎去,在每個紅燈停下時,一起等紅燈的,是一張張疲憊、打哈欠的臉。 *痛苦 首先,補班日意味著失去了原本應有的休息時間,這使人們無法
起床 早晨時分,是一天爭戰的開始,還沒有睡飽,眼皮都還是勉強撐開,身上都還有些痠痛,看想到公司和上班,卻還是無可奈何的起身,開始準備出門,雖然那些讀書的少年少女們也是同樣的疲憊、沒睡飽,但年輕的身體、快速的新陳代謝,還是比已是青壯年、中年和老年的上班人好一些,能更加有精神一些。 通勤-大眾交通 通勤
像個奇怪的生物 今天一早,拜颱風外圍環流的影響,果然就下起了大雨,雖然要出門時,雨又變小了,但絲毫沒有影響我帶傘的想法。 畢竟颱風還杵在那邊,要大太陽根本不可能。 雖然是上班日,但和幾個前同事有著其他事情得處理,於是幾個人都請了假,但當然我自己是處於放假當中,根本不需要多此一舉。 沒有上班,加上下著
前言 我一直覺得有一件事,是非常難過的。 那就是愛吃的美食消失。 人生在世,其實遇到的每一件事情都是不容易的,況且根據弗洛伊德的理論,人有五種層次的需求,不斷的去追求各種需求、理想,是非常辛苦的。 而回到最後,居然連最低層次的吃的需求,有時候都無法滿足,其實才是最令人難過的事情,所以讓我來盤點一下,
時間是最珍貴的東西 我不想浪費進來讀者的時間,所以這篇文章會盡量簡潔扼要。 時間,絕對是人最珍貴的東西。 時間不可逆,而且大家擁有的時間長短不一,我有朋友短短24、25歲就走了,甚是難過。 時間應該花費在對自己有意義的事情上 有些人,做一些比較沒有成長性,也可能沒有什麼娛樂性的事情,很常見的說辭就是
跟標題無關的前言 寫作的當下,是清明連假的第一天。 終於來到了久違的連假,心中還是頗為開心,尤其是看到網路銀行的訊息,那三月份的薪水和6000元已經匯入,有一種莫名的充實感。 面對那工作上的種種壓力,不就是想要讓其轉換成相對應的報酬嗎。 有些狀況不得不 回到連假。 上次說到面對連假的壅塞,我選擇了休
*疲憊 上上週六是補班日,到了熟悉的假日,還是得拖著疲憊的身軀起床,開始了上班前的準備,沒有一如以往的繼續休息。 洗漱完畢、換好衣服、拿好東西出門,然後騎上車,一路往公司騎去,在每個紅燈停下時,一起等紅燈的,是一張張疲憊、打哈欠的臉。 *痛苦 首先,補班日意味著失去了原本應有的休息時間,這使人們無法
起床 早晨時分,是一天爭戰的開始,還沒有睡飽,眼皮都還是勉強撐開,身上都還有些痠痛,看想到公司和上班,卻還是無可奈何的起身,開始準備出門,雖然那些讀書的少年少女們也是同樣的疲憊、沒睡飽,但年輕的身體、快速的新陳代謝,還是比已是青壯年、中年和老年的上班人好一些,能更加有精神一些。 通勤-大眾交通 通勤
像個奇怪的生物 今天一早,拜颱風外圍環流的影響,果然就下起了大雨,雖然要出門時,雨又變小了,但絲毫沒有影響我帶傘的想法。 畢竟颱風還杵在那邊,要大太陽根本不可能。 雖然是上班日,但和幾個前同事有著其他事情得處理,於是幾個人都請了假,但當然我自己是處於放假當中,根本不需要多此一舉。 沒有上班,加上下著
前言 我一直覺得有一件事,是非常難過的。 那就是愛吃的美食消失。 人生在世,其實遇到的每一件事情都是不容易的,況且根據弗洛伊德的理論,人有五種層次的需求,不斷的去追求各種需求、理想,是非常辛苦的。 而回到最後,居然連最低層次的吃的需求,有時候都無法滿足,其實才是最令人難過的事情,所以讓我來盤點一下,
時間是最珍貴的東西 我不想浪費進來讀者的時間,所以這篇文章會盡量簡潔扼要。 時間,絕對是人最珍貴的東西。 時間不可逆,而且大家擁有的時間長短不一,我有朋友短短24、25歲就走了,甚是難過。 時間應該花費在對自己有意義的事情上 有些人,做一些比較沒有成長性,也可能沒有什麼娛樂性的事情,很常見的說辭就是
跟標題無關的前言 寫作的當下,是清明連假的第一天。 終於來到了久違的連假,心中還是頗為開心,尤其是看到網路銀行的訊息,那三月份的薪水和6000元已經匯入,有一種莫名的充實感。 面對那工作上的種種壓力,不就是想要讓其轉換成相對應的報酬嗎。 有些狀況不得不 回到連假。 上次說到面對連假的壅塞,我選擇了休
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
AI的世界充滿了創新和潛力,涵蓋了許多領域,包括但不限於機器學習,自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的,既帶來了巨大的機遇,也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡,確保AI技術的應用能夠真正造福人類。
大語言模型能夠生成文本,因此被認為是生成式人工智慧的一種形式。 人工智慧的學科任務,是製作機器,使其能執行需要人類智慧才能執行的任務,例如理解語言,便是模式,做出決策。 除了大語言模型,人工智慧也包含了深度學習以及機器學習。 機器學習的學科任務,是透過演算法來實踐AI。 特別
大語言模型,例如OpenAI提供的ChatGPT,是過去幾年發展的深度神經網路模型,開啟自然語言處理的新紀元。
30年後來看現在,或許會覺得,還好現在有AI,才讓人類進入真正的文明世紀。 GPT只是大型語言模型(LLM)的一種,大型語言模型只是人工智慧(AI)的一種,而人工智慧甚至可以說只是「量子技術」的一種。 AI除了用來聊天(就像一開始我們只是把電腦當打字機),最重要的功能是幫助我們更容易理解和運用量
Thumbnail
大型語言模型 (LLM) 在最近幾年取得了重大進展,並引起了人們對生成式AI將如何影響工作方式的廣泛重視。雖然 LLM 具有強大的文本生成、翻譯和理解能力,但它們對工作的影響仍然是一個複雜且充滿爭議的話題。 本文摘要自MIT 史隆管理評論,分析LLM 對工作帶來的影響。
Thumbnail
大型語言模型(LLM)是基於深度學習的自然語言處理模型,而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言,LMM 能夠處理跨模態的內容,並整合多種資料的能力,有望成為未來趨勢。
Thumbnail
生成式 AI 讓人們驚艷,也開始認真思考:生成式 AI 會對教育培訓帶來什麼樣的衝擊?AI 會取代老師嗎?如何運用生成式 AI 來加速學習?企業如何運用生成式 AI 來加速創新? 但也開始懷疑 — 人類的工作是不是真的要被 AI 取代了?.....
Thumbnail
大語言模型(LLMs)對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。 這類模型,如GPT-4, 透過其龐大的數據集和複雜的參數設置, 提供了前所未有的語言理解和生成能力。 那麼,究竟是什麼讓這些模型「大」得如此不同呢?
Thumbnail
對於熱衷於語言科技的你, 大語言模型(LLMs)在自然語言處理(NLP)領域的發展無疑是一個革命性的進展。 從傳統的規則系統到基於深度學習的方法, LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。 這不僅是技術上的飛躍, 更是開啟了新的應用和可能性。 下面將介紹這一變革帶來的三大
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
AI的世界充滿了創新和潛力,涵蓋了許多領域,包括但不限於機器學習,自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的,既帶來了巨大的機遇,也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡,確保AI技術的應用能夠真正造福人類。
大語言模型能夠生成文本,因此被認為是生成式人工智慧的一種形式。 人工智慧的學科任務,是製作機器,使其能執行需要人類智慧才能執行的任務,例如理解語言,便是模式,做出決策。 除了大語言模型,人工智慧也包含了深度學習以及機器學習。 機器學習的學科任務,是透過演算法來實踐AI。 特別
大語言模型,例如OpenAI提供的ChatGPT,是過去幾年發展的深度神經網路模型,開啟自然語言處理的新紀元。
30年後來看現在,或許會覺得,還好現在有AI,才讓人類進入真正的文明世紀。 GPT只是大型語言模型(LLM)的一種,大型語言模型只是人工智慧(AI)的一種,而人工智慧甚至可以說只是「量子技術」的一種。 AI除了用來聊天(就像一開始我們只是把電腦當打字機),最重要的功能是幫助我們更容易理解和運用量
Thumbnail
大型語言模型 (LLM) 在最近幾年取得了重大進展,並引起了人們對生成式AI將如何影響工作方式的廣泛重視。雖然 LLM 具有強大的文本生成、翻譯和理解能力,但它們對工作的影響仍然是一個複雜且充滿爭議的話題。 本文摘要自MIT 史隆管理評論,分析LLM 對工作帶來的影響。
Thumbnail
大型語言模型(LLM)是基於深度學習的自然語言處理模型,而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言,LMM 能夠處理跨模態的內容,並整合多種資料的能力,有望成為未來趨勢。
Thumbnail
生成式 AI 讓人們驚艷,也開始認真思考:生成式 AI 會對教育培訓帶來什麼樣的衝擊?AI 會取代老師嗎?如何運用生成式 AI 來加速學習?企業如何運用生成式 AI 來加速創新? 但也開始懷疑 — 人類的工作是不是真的要被 AI 取代了?.....
Thumbnail
大語言模型(LLMs)對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。 這類模型,如GPT-4, 透過其龐大的數據集和複雜的參數設置, 提供了前所未有的語言理解和生成能力。 那麼,究竟是什麼讓這些模型「大」得如此不同呢?
Thumbnail
對於熱衷於語言科技的你, 大語言模型(LLMs)在自然語言處理(NLP)領域的發展無疑是一個革命性的進展。 從傳統的規則系統到基於深度學習的方法, LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。 這不僅是技術上的飛躍, 更是開啟了新的應用和可能性。 下面將介紹這一變革帶來的三大