大數據與人工智慧是怎樣的存在?怎樣的關聯?

更新於 發佈於 閱讀時間約 5 分鐘

真的是這樣嗎?

此篇的來歷,是由於近期好友們逐漸知道我的近況而開始訊問並有了想轉換領域的想法,或許是因為年紀到30歲這階段,真的就會開始反思過往,然後遙想未來,雖然對本科的人來說這就是一個技能一份工作而已,但從轉換跑道的角度來看,不該只拿著“鐵鎚”去看待這樣的環境,其實各行各業絕對都有機會,不管是創業或找份待遇好的工作,但在資訊快速且強調效率的這時期,除了需要深化的技能也要把握向外擴展且多元化涉入各領域的機會。再過去,我很嚮往轉職的猶豫期卻總覺得和別人的不同而制約了自己,但當你這樣做時,才會發現勇於如此的人或許才是多數,而那種不必要的限制性信念這如同在專一領域過於滿足的觀念,不管是在創造價值或最重要的:賺取利潤時,這些內心微小聲音的累積都會阻斷更多的可能性,現今的我每次遇到那內心小聲音的躁動,都會在反問:“真的是這樣嗎?”

“這件事沒有人這樣做的,大家都是那樣做的“

”真的是這樣嗎?“

“這沒有那麼容易”

“真的是這樣嗎?”

“哪有那麼難”

“真的是這樣嗎?”

“先找份工作做得幾年賺點錢 等有機會再試試看”

“真的是這樣嗎?”

諸如此類,會覺得矛盾,但其實這不過是給我一個機會,去試想另一種狀況,很常聽到有人會說“另一個時空的我可能是….”而那樣機會為何是在另一時空?其實也不用特別在思考什麼,但這樣反問自己,就會自動把想法帶往另一個維度去看待事情,希望我們都能去反思反問,然後再探索的路上前行!


raw-image


AI/BIG DATA是更高階的程式設計及專業知識

就如剛才所說,自己跨出那步,才會發現更多樣貌的人事物,才會知道附近友人們都有著相同的意念(或許這也是為何他們在附近且逐漸接近的緣故)以一個從外部走進來的人,我保持著說明也不忘反省一下的見解:我認為人工智慧,是比coding/Programming更高階的技術,以人工智慧和大數據作為程式工程師的起點,是跟一般的PG(Programmer)差異非常巨大 ; 由於專業是在已有的資料上進行分析,亦或以現有的演算法(或稱模型)來做開發 ,與程式設計是不太一樣的事:後端上的腳本撰寫與報表開發其技術都是相對抽象,且需要強大的程式技能。

因此想轉職的我也在求職路上處處碰壁,由程式技能的基本功缺乏,在缺少產業領域知識(所謂Domain Knowledge)下,對於資料不敏感卻也無法以後端語言來處理。我的見解是:

  1. 加強後端技能如SQL等基本功,至少能在程式這塊讓其他工程師先受到認可,所學的SQL與產業上的應用都是相對簡單非常多,有機會便需要練習!強化後進入產業才能馬上進入狀況,當然若是新創或許不太一樣(因為新創或許沒有非常重的數據庫需要撈取); 另外若是資訊廣告業對於動態的資料萃取需求更大,也就是對於SQL的技術較小,也因為認識廣告產業的友人,對這塊有稍微的理解了。
  2. 分析工具Python,R,Scala擇其一熟悉,在台灣的情況是,大企業下的資料科學家仍屬於後端工程師的一環,故對於這種分析語言和工具只要能上手並實作題目來累積實力(如KAGGLE或玉山舉辦的競賽等,手上有滿多資源若有興趣可再提供),若是演算法開發或許Python相對重要 ; 而或許會以大數據進行開發則會推薦Scala(與Spark等配合)
  3. 除非是統計,數學,應數等對於演算法非常有興趣者和專家,能適應演算法的數學推演概念,其他科系或專業的人較能以直接踏入,但對於影像辨識的 OpenCV 以及自然語言處理的 Thulac 等處理資料的工具包都能先練習使用,來增進自己的技能包!專業性的技術對於資料科學家來說是非常重要的!
  4. 大數據 Big Data這塊,以我的見解而分成兩類說明:1. Apache 系列如Hadoop/Spark這些分散式系統真的很厲害,但需要強大的設備 ,是要用雲服務啟動,能做很多事但非常重且龐大,建置和維運上非常消耗人力成本 ; 另外一部分如Mongodb,ELK 這種是是 nosql資料庫,建置快速也輕便,但當然其服務的能力也相對單一化

以上是轉職者如我剛踏入此領域的淺見,讀者們有更多想法和疑問,都可以提出來一起討論!感謝大家!時間不早了,我們下次見吧!



留言
avatar-img
留言分享你的想法!
avatar-img
Dex的塵世哲學
5會員
9內容數
Dex的塵世哲學 🏃Python作品集引導,引領踏入大數據和AI 💼歷經半導體、資料科學、軟體開發,建立程式職涯交流,提供理工職涯洞見 我是:程式入門者的引路人 ; 轉職者的職涯諮詢師, 精進者的學習進修顧問 。 我能:協助程式入門、轉職探索、作品集規劃;職涯諮詢和履歷健檢 ; 學習資源提供和技術心得見解。
Dex的塵世哲學的其他內容
2024/08/05
在本篇文章點會以我的觀點和歷程來描述透過Python轉職過程、轉職後的工作選項和薪資狀況,並分享我知道的進修機構和學習單位,提供讀者參考。
Thumbnail
2024/08/05
在本篇文章點會以我的觀點和歷程來描述透過Python轉職過程、轉職後的工作選項和薪資狀況,並分享我知道的進修機構和學習單位,提供讀者參考。
Thumbnail
2024/08/02
最近在上LLM線上課 來分享我所學到的 LangChain LangChian是把ChatGPT API 轉換為物件導向的形式來使用我所學到 LangChain 的五個方法 : Prompt Template / LLMChain / OutputParser / Agent / Conversat
Thumbnail
2024/08/02
最近在上LLM線上課 來分享我所學到的 LangChain LangChian是把ChatGPT API 轉換為物件導向的形式來使用我所學到 LangChain 的五個方法 : Prompt Template / LLMChain / OutputParser / Agent / Conversat
Thumbnail
2024/07/19
Python擁有便攜性和通用性,適用於多種場景,同時具有全球通用性。Python在科技製造業、資料分析、人工智慧等領域有廣泛應用,對於理工科背景者而言有獨特的優勢。透過在線課程、自學書籍、實作專案,以及參與社群和開源專案,理工背景者可以達成從轉職進入Python程式領域的目標。
Thumbnail
2024/07/19
Python擁有便攜性和通用性,適用於多種場景,同時具有全球通用性。Python在科技製造業、資料分析、人工智慧等領域有廣泛應用,對於理工科背景者而言有獨特的優勢。透過在線課程、自學書籍、實作專案,以及參與社群和開源專案,理工背景者可以達成從轉職進入Python程式領域的目標。
Thumbnail
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
本文介紹了國稅局如何運用AI與大數據技術進行精準稅務查核,涵蓋金流、物流與資訊流的整合查核。透過比對交易數據、電子支付記錄與平台銷售行為,國稅局能精確發現漏報行為。案例分析顯示,網拍業者、家庭商業與批發商的稅務查核對象增多,業者需提高稅務合規意識,保持透明的交易記錄並主動申報,避免稅務風險。
Thumbnail
本文介紹了國稅局如何運用AI與大數據技術進行精準稅務查核,涵蓋金流、物流與資訊流的整合查核。透過比對交易數據、電子支付記錄與平台銷售行為,國稅局能精確發現漏報行為。案例分析顯示,網拍業者、家庭商業與批發商的稅務查核對象增多,業者需提高稅務合規意識,保持透明的交易記錄並主動申報,避免稅務風險。
Thumbnail
在現代社會,風險評估已可透過大數據技術進行,但人類選擇與行為仍受心理因素影響。即使數據顯示某些危險發生的概率極低,媒體卻加深了我們的恐懼感,尤其在面對鯊魚攻擊和飛機失事等事件上。本文探討了人們如何受心理學影響,購買保險的心態,以及為何吸菸行為難以改變,儘管有大量的健康風險數據支持。
Thumbnail
在現代社會,風險評估已可透過大數據技術進行,但人類選擇與行為仍受心理因素影響。即使數據顯示某些危險發生的概率極低,媒體卻加深了我們的恐懼感,尤其在面對鯊魚攻擊和飛機失事等事件上。本文探討了人們如何受心理學影響,購買保險的心態,以及為何吸菸行為難以改變,儘管有大量的健康風險數據支持。
Thumbnail
將民營企業、跨國企業、本地銀行、跨國銀行、政府機關在資訊保管與遭盜用時的救濟方法分析他們的風險誰高誰低? ChatGPT=> 不同類型的機構在資訊保管和遭盜用時的風險管理和救濟方法各有不同。讓我們從以下幾個方面進行比較分析,以了解風險的高低: 1. 資訊保管能力 民營企業:民營企業的信息安全
Thumbnail
將民營企業、跨國企業、本地銀行、跨國銀行、政府機關在資訊保管與遭盜用時的救濟方法分析他們的風險誰高誰低? ChatGPT=> 不同類型的機構在資訊保管和遭盜用時的風險管理和救濟方法各有不同。讓我們從以下幾個方面進行比較分析,以了解風險的高低: 1. 資訊保管能力 民營企業:民營企業的信息安全
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
在這個網上共享信息時代,大數據已成為推動許多行業創新的核心力量。從提升客戶體驗到優化運營效率,大數據的應用範圍日益擴大。然而,隨著技術的快速發展,實施大數據項目也帶來了不少挑戰。本文將探討大數據技術的最新趨勢,分析其在不同行業中的實際應用,並討論實施過程中的主要挑戰。
Thumbnail
在這個網上共享信息時代,大數據已成為推動許多行業創新的核心力量。從提升客戶體驗到優化運營效率,大數據的應用範圍日益擴大。然而,隨著技術的快速發展,實施大數據項目也帶來了不少挑戰。本文將探討大數據技術的最新趨勢,分析其在不同行業中的實際應用,並討論實施過程中的主要挑戰。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
Thumbnail
「智慧醫療」不斷躍進為的就是精準治療,現在中醫也有「經脈血壓計」!遠距把脈、病理大數據分析與AI技術;您也誤入「養生陷阱」了嗎?本書除了大家常爭論、疑惑的流行養生話題,案例中還分享很多一般大眾不知道的醫療知識。
Thumbnail
「智慧醫療」不斷躍進為的就是精準治療,現在中醫也有「經脈血壓計」!遠距把脈、病理大數據分析與AI技術;您也誤入「養生陷阱」了嗎?本書除了大家常爭論、疑惑的流行養生話題,案例中還分享很多一般大眾不知道的醫療知識。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News