SageMaker-我該使用Data Wrangler嗎
一.引言
在上篇我們已經學習到怎麼在 SageMaker 上進行簡易訓練，可以說是踏入了第一步， SageMaker 提供了不少工具用來協助使用者能夠更快速的進行訓練，其中 Data Wrangler 便是用於訓練資料處理的工具，那麼，他好用嗎?必須用嗎?
二.Data Wrangler 介紹
- 視覺化數據準備和處理：
- Data Wrangler 提供了直觀的用戶界面，允許用戶拖放操作來進行數據清理、轉換和特徵工程。
- 可以在介面中查看數據分佈、統計信息和數據質量報告。
- 集成多種數據來源：
- 支持從多種數據來源導入數據，包括 Amazon S3、Redshift、RDS、Snowflake 等。
- 可以輕鬆合併和連接多個數據源。
- 多樣的數據轉換操作：
- 提供多種內建的數據轉換和特徵工程操作，如數據篩選、標籤編碼、標準化、缺失值處理等。
- 支持自定義的 Python 或 SQL 腳本進行高級數據處理。
- 自動化和工作流集成：
- 可以將數據準備流程導出為 SageMaker Processing 作業，從而輕鬆集成到機器學習工作流中。
- 支持自動化數據準備管道，並與 SageMaker 其他功能無縫集成，如訓練和部署。
- 可重複和共享：
- 數據處理流程可以保存並重用，還可以與團隊成員共享。
從上方特點來看，適用場景總結如下：
- 非技術用戶或數據科學家希望使用可視化工具進行數據準備和特徵工程。
- 需要從多種數據源導入和合併數據。
- 需要快速迭代和可視化數據準備步驟。
- 需要與 SageMaker 的其他功能無縫集成。
三.原來的數據處理方法
在沒上雲端之前，進行資料前處理以Pytorch框架為例通常使用下列庫處理不同類型的資料 :
- 表格資料 : 使用
pandas進行資料處理和清理，使用sklearn.preprocessing進行標準化和類別編碼 - 影像資料: 使用
torchvision.transform進行模組化的資料前處理 - 文字資料 : 使用
torchtext進行資料集處理和詞彙表建立，使用transformers庫進行預訓練模型的應用 - 聲音資料：使用
torchaudio進行音訊處理和轉換，使用librosa進行特徵提取
這些庫可以靈活的在訓練前甚至訓練途中實時的對資料進行處理並且與Pytorch的DataLoader快速銜接。
四.總結
比較兩種方法，SageMaker Data 有優秀的可視化工具，且與 AWS 生態相容性好，至於這些專業的Python庫有著良好的靈活性，且訓練時通常會一併使用，所以以我的角度而言，SageMaker Data 提供了一個好方法能夠減輕AI工程師的負擔，能夠將一部分資料前處理從工作中無痛分割出來交給他人處理，使其能夠更專心地面對網路訓練中的其他問題。
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
商業簡報不僅僅是呈現數據，更需要深入瞭解數據分析及有效的工具運用。本文探討於Excel中使用不同函數來改善數據處理效率，包括IF、IFS、VLOOKUP、XLOOKUP及INDEX與MATCH的結合，幫助商業人士更好地從數據中提取洞見，助力業務增值，學習優化數據分析過程，讓您的商業簡報更具影響力。
Python資料視覺化在數據分析中扮演關鍵角色，透過視覺化捕捉數據模式、趨勢和異常，透過Matplotlib等工具創建專業圖表變相對簡單和高效。
在當今快速變化的數位時代，企業面臨著前所未有的數據處理需求。為了應對這些挑戰，企業紛紛建立自己的大型語言模型（LLM），利用大量數據進行訓練，讓模型能夠理解並生成自然語言，從而實現人機協作，優化業務流程並提升客戶體驗。
數據分析與解讀
隨著數據的爆炸式增長，能夠分析、解讀和應用數據的能力變得至關重要。這包括熟悉數據分析工具和技術，如統計學、數據挖掘、機器學習等。然而，僅靠短時間的數據分析並不足以提供深入見解。
要熟悉數據分析工具和技術，如統計學、數據挖掘和機器學習，可以從以下幾個方面入手：
基礎知識的學習
本文介紹了AI助手在數據收集和訓練過程中的工作原理和不斷進步的過程。關注的內容包括從公開的網絡資源、書籍、文章等渠道收集數據，數據的清洗和結構化處理，知識庫的增量更新以及訓練算法和模型的優化。如果大家對AI助手的發展還有任何其他感興趣的話題或建議，歡迎隨時告訴我們，讓我們共同探索，攜手進步。
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
數據分析是現代社會的核心技能，適用於各行各業。無論是在市場營銷、財務管理，還是產品開發中，數據分析都扮演著至關重要的角色。提升數據敏感度有助於提高分析的準確性和效率，使我們能夠迅速找到關鍵信息，進而做出明智的決策。本文將探討數據分析訓練方法，提供實用案例，幫助初學者快速掌握數據分析技術。
上一單元，我向你介紹了我使用的七項硬體工具。在這一單元，我接著要和你分享軟體層面，我正在使用的兩款軟體工具，我怎麼使用它們，以及我為什麼選擇它們。當硬體有了，軟體也要跟上，才能發揮好的生產力。
對於許多企業而言，試算表是日常業務和決策過程中不可或缺的工具。它們被用於各種目的，從財務預算和盈虧分析到庫存管理和客戶數據記錄。然而，隨著業務的發展和數據量的增加，許多人會發現自己面臨著試算表管理和維護的挑戰，這些挑戰可能妨礙效率、準確性和生產力。
1. 數據管理的繁瑣性
試算表中數據的輸入
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
商業簡報不僅僅是呈現數據，更需要深入瞭解數據分析及有效的工具運用。本文探討於Excel中使用不同函數來改善數據處理效率，包括IF、IFS、VLOOKUP、XLOOKUP及INDEX與MATCH的結合，幫助商業人士更好地從數據中提取洞見，助力業務增值，學習優化數據分析過程，讓您的商業簡報更具影響力。
Python資料視覺化在數據分析中扮演關鍵角色，透過視覺化捕捉數據模式、趨勢和異常，透過Matplotlib等工具創建專業圖表變相對簡單和高效。
在當今快速變化的數位時代，企業面臨著前所未有的數據處理需求。為了應對這些挑戰，企業紛紛建立自己的大型語言模型（LLM），利用大量數據進行訓練，讓模型能夠理解並生成自然語言，從而實現人機協作，優化業務流程並提升客戶體驗。
數據分析與解讀
隨著數據的爆炸式增長，能夠分析、解讀和應用數據的能力變得至關重要。這包括熟悉數據分析工具和技術，如統計學、數據挖掘、機器學習等。然而，僅靠短時間的數據分析並不足以提供深入見解。
要熟悉數據分析工具和技術，如統計學、數據挖掘和機器學習，可以從以下幾個方面入手：
基礎知識的學習
本文介紹了AI助手在數據收集和訓練過程中的工作原理和不斷進步的過程。關注的內容包括從公開的網絡資源、書籍、文章等渠道收集數據，數據的清洗和結構化處理，知識庫的增量更新以及訓練算法和模型的優化。如果大家對AI助手的發展還有任何其他感興趣的話題或建議，歡迎隨時告訴我們，讓我們共同探索，攜手進步。
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
數據分析是現代社會的核心技能，適用於各行各業。無論是在市場營銷、財務管理，還是產品開發中，數據分析都扮演著至關重要的角色。提升數據敏感度有助於提高分析的準確性和效率，使我們能夠迅速找到關鍵信息，進而做出明智的決策。本文將探討數據分析訓練方法，提供實用案例，幫助初學者快速掌握數據分析技術。
上一單元，我向你介紹了我使用的七項硬體工具。在這一單元，我接著要和你分享軟體層面，我正在使用的兩款軟體工具，我怎麼使用它們，以及我為什麼選擇它們。當硬體有了，軟體也要跟上，才能發揮好的生產力。
對於許多企業而言，試算表是日常業務和決策過程中不可或缺的工具。它們被用於各種目的，從財務預算和盈虧分析到庫存管理和客戶數據記錄。然而，隨著業務的發展和數據量的增加，許多人會發現自己面臨著試算表管理和維護的挑戰，這些挑戰可能妨礙效率、準確性和生產力。
1. 數據管理的繁瑣性
試算表中數據的輸入