大數據是甚麼?如何定義大數據?
大數據與人工智慧幾乎是一同線性發展的,AI的成長幾乎是由大數據構建而成。
一、大數據的定義
- 容量(Volume)
資料量達到我們對於運算它有一定的困難,目前大概是10 Tera或是100 Tera。
- 速度(Velocity)
- 多樣性(Variety)
收集到的資料有可能是圖片、影音或各種檔案。所以我們需要對資料進行前處理,才能進行大數據運算。
要做機器學習,首先需要有足夠多資料以及定義好的演算法,交由機器學習的模組,經過運算,得到一個智能模型,具體的算法就是填入正確的參數,得到公式,進行精確的預測或推理。而精確度最主要來自於大數據。
二、創造人工智慧的流程
- 演算法(Algorithm)與大數據(Sample Data)
首先需要有專家定義的演算法與足夠多的資料。
- 機器學習(Learning)
利用機器學習找到最佳化的參數(Find the optimized parameter)。
- 建立模型(Build Model)
建立智能化的模型,包含特定領域的知識,可以用來判斷輸入資料與事件之間的關係。
- AI代理人(AI agent)
將模型包裝成一個可以被呼叫的程式。
5.推理(Inference)
藉由呼叫程式進行實際上AI的運算,來判斷現實中的資料所產生的規則。
我們不可能一直使用同一種資料、同一種模型來預測實際狀況,所以我們會對模型增量,模型是一個可擴充的彈性模型,基本上是AI模型的一個原則。