【Google Colab Python系列】 資料處理神器 Pandas 起手式
我們都知道AI的模型訓練環節中， 最基礎也是最重要的一環就是「資料」了， 而「資料」要怎麼處理成訓練的養分也是一門重要的工程， 正好在Python的世界裡具有這麼一套神兵利器， 名為「Pandas」， 它是一個快速、強大、靈活且易於使用的開源數據分析和操作工具， 就讓我們好好的來認識一番吧！
乍聽之下我們會以為跟「熊貓」具有關聯性， 實際上關聯性並不大， 通常我們最直觀的就是用Excel來整理資料了對吧， 甚至是資料庫系統， 對！ 不管是哪一種， 目的都是在幫我們儲存，But…當我們要取出來用的時候， 或者要對某個欄位值變更時， 對於Excel來說， 光是開起幾百萬筆的資料就快當機了， 是要怎麼改變欄位資料呢？ 那你可能會說， 怎麼不用資料庫？ 是， 資料庫是很好用沒錯， 搜尋、統計都難不倒它…， 但別忘了， 我們在進行模型訓練之前都需要將資料載入到程式之中並整理成符合訓練的資料格式才能順利進行， 而載入到程式要如何處理這龐大的資料呢？ 這就是 Pandas 擅長的地方了， 不僅免費， 功能又豐富， 使用起來也不是說非常困難， 有什麼理由我們不用它呢？
🗺️ Python Pandas 學習路徑
- 【Google Colab Python系列】 資料處理神器 Pandas 起手式
- 【Google Colab Python系列】 資料處理神器 Pandas 合併之術(join、concat)
- 【Google Colab Python系列】 資料處理神器 Pandas Grouping & Reshapi
- 【🔒 Python實戰營 - Data Science 必修班】Pandas 資料清洗技 - 填補式
- 【🔒 Python實戰營 - Data Science 必修班】Pandas 資料清洗技 - 整形式
安裝
pip install pandas
表格式呈現
今天我們想要幫三位員工建檔， 分別會知曉名字、年齡、性別三個欄位， 那我們可以這樣做。
import pandas as pd
df = pd.DataFrame(
{
"名字": [
"小明",
"張三",
"小花",
],
"年齡": [22, 35, 58],
"性別": ["男", "男", "女"],
}
)
df
專注於某一欄
今天我們想列出年齡， 大概觀察一下分佈範圍時可以這樣做。
df['年齡']
將得到以下的結果：
0 22
1 35
2 58
Name: 年齡, dtype: int64
P.S 如果熟悉操作HashMap或者Dict的朋友相信應該得心應手。
當然我們也可以從頭到尾自行建立。
ages = pd.Series([22, 35, 58], name="年齡")
ages
結果也會如同上面。
更進階一點的來點統計吧
今天我們想要計算出最大年齡時…
df["年齡"].max()
# 58
還有哪些更多的統計方法可以用呢？
df.describe()
除了平均、最大最小以外更有中位數…等， 就根據需求取用囉！
今天的範例都在這裡「📦 pandas/pandas_quickstart.ipynb」歡迎自行取用。
如何使用請參閱「【Google Colab系列】台股分析預備式： Colab平台與Python如何擦出火花？」。
結語
透過幾個簡單的步驟認識一下Pandas這套工具能夠怎麼處理我們的數據， 當然它不只有這麼簡單， 合併、分割、亂數、生成…常常用到的功能， 我們在後續的章節也會逐一的來介紹。
喜歡撰寫文章的你，不妨來了解一下：
Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？
歡迎加入一起練習寫作，賺取知識
更多關於資料處理神器 Pandas 系列文章…
108會員
250Content count
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
你可能也想看
1.加權指數與櫃買指數
週五的加權指數在非農就業數據開出來後，雖稍微低於預期，但指數仍向上噴出，在美股開盤後於21500形成一個爆量假突破後急轉直下，就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後，週二或週三開始有無買單進場支撐，在沒有明確的反轉訊號形成前，小夥伴盡量不要貿然抄底，或是追空
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
睽違一個月，Google Bard 迎來最新更新，此次一次更新許多重要功能，包含支援繁體中文、整合 Google Lens 服務提供使用者上傳圖片、語音朗讀以及其他功能增強等。
Google 於前日（5月23日）公布最新的聊天機器人 Bard 更新：Bard 現在可以與 Google 搜尋引擎互動，依據使用者需求呈現圖片，以圖片形式提供有用的回應。換句話說，使用者可以直接向 Bard 搜尋圖片。每次提供圖片時，Bard 都會附上圖片來源。
幾天前Sundar Pichai與夥伴受訪，對人工智慧做了總整理，這四個重點，能幫助我們重溫人與AI的關係。
作者：MTMG SEO
權重評分指標增加『經驗』
相信很多seo專家都熟悉了E-A-T的概念，這是一個用於評估搜尋引擎是否提供有用和相關數據的系統。但一般人真的會覺得到他們在Google搜尋出來的結果真的是值得信賴的嗎？
如果你是一個非常注重提升自然流量的企業品牌，那你一定要了解接下來文章中介紹的G
商學院社會新鮮人的谷歌面試分享
閱讀這篇文章來深入了解Google Account Manager的面試流程跟技巧！
圖1，圖片引用自pexels
2021/07月第三篇付費訂閱文
大綱
1.製作始於自己的投資組合表需要哪些東西?
2.如何抓取上市、上櫃公司股價資訊，有哪些項目可以用?
這系列是付費訂閱文，後面還會有的內容有，有興趣的朋友可以參考，是以完全對google sheet 新手從0開始的基礎教學，每篇教
現代人遇到問題，就會Google。單身一個人住，回到家覺得空虛寂寞、覺得冷，於是上Google輸入：「排解寂寞」。如果喉嚨痛，會打「喉嚨痛」；發現男友出軌，很想知道原因，會打「男友出軌原因」，還有各式各樣的問題，包括但不限於：健康、家庭、經濟、政治、職場、生日要送什麽禮物、約炮、旅遊建議、學校功課答
最近發現很多艾寶都在計劃年後轉職，常常會私訊詢問我「履歷要怎麼寫？」、「為什麼我的履歷投出去都石沈大海？」其實，在寫履歷時，我們不能只想著「我想說什麼」，而是要想辦法了解人資的需求。最近我剛好在讀一些相關的資料，其中一個Google人資的經驗分享我覺得很有價值，跟大家來分享。
許多人都一直在使用FB當主要的流量池投放廣告，卻忘了善用Google Map 也是一個很有用的資訊，尤其是開設實體店
本篇就以Google Map 為主，將從如何建立商家資訊的方法，至廣告投放的操作，一次說明~
一、Google Map 商家資訊
建立商家資訊的方法有兩種
一種是直接進行商家資訊的
Google 園區城裡城外都各有一群長期以車為家的車床族。城裡的人是為了存錢追求更高的夢想，城外的人只是為了追求過一天算一天的生存。
1.加權指數與櫃買指數
週五的加權指數在非農就業數據開出來後，雖稍微低於預期，但指數仍向上噴出，在美股開盤後於21500形成一個爆量假突破後急轉直下，就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後，週二或週三開始有無買單進場支撐，在沒有明確的反轉訊號形成前，小夥伴盡量不要貿然抄底，或是追空
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
睽違一個月，Google Bard 迎來最新更新，此次一次更新許多重要功能，包含支援繁體中文、整合 Google Lens 服務提供使用者上傳圖片、語音朗讀以及其他功能增強等。
Google 於前日（5月23日）公布最新的聊天機器人 Bard 更新：Bard 現在可以與 Google 搜尋引擎互動，依據使用者需求呈現圖片，以圖片形式提供有用的回應。換句話說，使用者可以直接向 Bard 搜尋圖片。每次提供圖片時，Bard 都會附上圖片來源。
幾天前Sundar Pichai與夥伴受訪，對人工智慧做了總整理，這四個重點，能幫助我們重溫人與AI的關係。
作者：MTMG SEO
權重評分指標增加『經驗』
相信很多seo專家都熟悉了E-A-T的概念，這是一個用於評估搜尋引擎是否提供有用和相關數據的系統。但一般人真的會覺得到他們在Google搜尋出來的結果真的是值得信賴的嗎？
如果你是一個非常注重提升自然流量的企業品牌，那你一定要了解接下來文章中介紹的G
商學院社會新鮮人的谷歌面試分享
閱讀這篇文章來深入了解Google Account Manager的面試流程跟技巧！
圖1，圖片引用自pexels
2021/07月第三篇付費訂閱文
大綱
1.製作始於自己的投資組合表需要哪些東西?
2.如何抓取上市、上櫃公司股價資訊，有哪些項目可以用?
這系列是付費訂閱文，後面還會有的內容有，有興趣的朋友可以參考，是以完全對google sheet 新手從0開始的基礎教學，每篇教
現代人遇到問題，就會Google。單身一個人住，回到家覺得空虛寂寞、覺得冷，於是上Google輸入：「排解寂寞」。如果喉嚨痛，會打「喉嚨痛」；發現男友出軌，很想知道原因，會打「男友出軌原因」，還有各式各樣的問題，包括但不限於：健康、家庭、經濟、政治、職場、生日要送什麽禮物、約炮、旅遊建議、學校功課答
最近發現很多艾寶都在計劃年後轉職，常常會私訊詢問我「履歷要怎麼寫？」、「為什麼我的履歷投出去都石沈大海？」其實，在寫履歷時，我們不能只想著「我想說什麼」，而是要想辦法了解人資的需求。最近我剛好在讀一些相關的資料，其中一個Google人資的經驗分享我覺得很有價值，跟大家來分享。
許多人都一直在使用FB當主要的流量池投放廣告，卻忘了善用Google Map 也是一個很有用的資訊，尤其是開設實體店
本篇就以Google Map 為主，將從如何建立商家資訊的方法，至廣告投放的操作，一次說明~
一、Google Map 商家資訊
建立商家資訊的方法有兩種
一種是直接進行商家資訊的
Google 園區城裡城外都各有一群長期以車為家的車床族。城裡的人是為了存錢追求更高的夢想，城外的人只是為了追求過一天算一天的生存。