如何用Python匯入大批Excel檔案

閱讀時間約 2 分鐘

首先,假設我們要匯入大批Excel檔案,我們可以先將他們都放在一個資料夾中。

例如,我從保險業空開資料庫下載了52個csv檔,先把它們放在一個資料夾如下。

raw-image



接著,我們可以載入套件pandas與os:

import pandas as pd
import os

接下來我們先建立檔案資料夾的位置的變數如下:

filePath = "C:/Users/domin/OneDrive/桌面/方格子/Python資料處理專欄/壽險財務業務指標_截至民國112年度第3季/"

再來,用os中的listdir建立指定資料夾內所有檔案名稱(含副檔名)之列表:

fileList = os.listdir(filePath)
raw-image





接下來我們要將所有檔案都匯入Python中並各自成為一個DataFrame變數,所以我們要用迴圈的方法,將這些檔案一個一個匯入。

但因為這些檔案長相如下,可以看到檔案中各欄的上方都有我們不需要的資訊,所以在匯入這些csv檔時,要將最上方不要的橫列忽略。

raw-image

最再將這些變數放入同一個List當中,這樣就方便我們用pandas的concat功能將這些檔案串起來。

所以,首先我們先寫一個List變數DataList用來裝等一下要放入的DataFrame變數。

DataList = []

接下來我們來寫迴圈,將檔案一個一個匯入,但同時要調整匯入的格式。

for i,n in zip(fileList,range(0,len(fileList))):    
globals()["D"+str(n)] = pd.DataFrame(pd.read_csv(f"{filePath}{i}",header=2))
DataList.append(globals()["D"+str(n)])

最後,我們用pandas的concat功能,將存在變數DataList中的這些DataFrame通通縱向的合併起來成為一個DataFrame。

在合併時,因為這些DataFrame都各自有原來的index,為了讓合併後的index能重新排序,所以可以讓ignore_index=True,這樣能忽視原有的index以重新排序index了。

DataFinal =pd.concat(DataList,ignore_index=True)













4會員
59內容數
我是果農,這裡有我的人資職涯經驗分享,與我菜鳥般的Python資料分析筆記,還有一些讀書心得,希望對大家有幫助。
留言0
查看全部
發表第一個留言支持創作者!
果農的沙龍 的其他內容
如何用Python為某欄做分類,例如:判斷分數是否及格 
如何計算某欄的平均數? 如何計算多個欄位的平均數? 如果想計算不同分組的平均數? 如何用Python計算某欄平均數 利用agg計算平均數 利用groupby建立分組,再用agg計算平均數
如何匯入Excel或CSV檔案? 如何更改欄位名稱? 如何從舊欄位中組合新欄位? 如何擷取舊欄位內容成新欄位? 如何篩選資料?
如何用Python為某欄做分類,例如:判斷分數是否及格 
如何計算某欄的平均數? 如何計算多個欄位的平均數? 如果想計算不同分組的平均數? 如何用Python計算某欄平均數 利用agg計算平均數 利用groupby建立分組,再用agg計算平均數
如何匯入Excel或CSV檔案? 如何更改欄位名稱? 如何從舊欄位中組合新欄位? 如何擷取舊欄位內容成新欄位? 如何篩選資料?
你可能也想看
Google News 追蹤
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
如何用XQ輸出可轉債資料到Excel   其實很多軟體,學著使用,你就可以節省整理資料的時間,之前寫過一篇文章教大家怎麼用XQ來整理可轉債的資料。文章如下: 接下來,我們來談談如何把收盤的資料整理到Excel,如果你想用Excel做一些資料輸出的話。 當你設定好可轉債的資料都在”自選
Thumbnail
根據RFM的資料來分成8種類型的客戶,1.重要價值客戶2.重要保持客戶3.重要發展客戶4.一般發展客戶5.重要挽留客戶6.一般價值客戶7.一般保持客戶8.一般挽留客戶
Thumbnail
RFM模型是最基本的分析,可以讓你知道哪些是常客、哪些人是偶爾來一次,或是根本不常來,藉此針對不同的客群去做不同的策略,達到提升業績的方法。接下來就讓我教你如何運用PYTHON快速做出RFM分析
Thumbnail
因為前陣子公司大規模組織調整,原本負責專案的人員調動得面目全非,客戶不只抱怨陣前換將更嫌棄專案進度青黃不接,已經承諾的工作事項不斷跳票,上線的時間一延再延,兩個月過去沒消沒息,客戶這次按耐不住就發火了。
Thumbnail
不知道如何下筆嗎?用自問自答的方式收集素材吧! 在《九宮格寫作術》一書中,作者推薦用「自問自答」的方式,收集寫文章的材料。 我發現如何用 Notion 這個軟體,更有效的實現九宮格寫作的精神; 就是用 Toggle list 的方式寫下問題,這樣就可以方便收合,讓大綱更清晰。
Thumbnail
雖然可以在微軟上安裝德文輸入法,但是台灣繁體中文鍵盤的鍵位與德文鍵盤不一致,除了上述的幾個特殊字母的鍵位需要記憶外,就連許多常用的符號位置也不同。例如:「?」、「""」、「@」。如果在 Windows 裡用英文輸入法就可以輸入德文字母,就方便多了。
Thumbnail
好久不見的「給文組人的 Formula 用法」系列。 今天的重點是 round, floor, round 的使用方法! ❶ 將數值取整的指令以及用法? ❷ 如何將數值以小數點後兩位取整? ❸ 怎麼用 Notion 分餅乾給小孩?(誤)
Thumbnail
幾年前,偶然的在某社群聽見 Robot Framework 這套開源框架,起初抱持著好奇的心情簡單的玩了一下,不過當時完全不理解,用這種 Keyword 方式去撰寫自動化測試的好處在哪? ( 不過就是…我知識不足罷了XD ) 。 接下來,我就可以跑測試拉~! 接著看 log.html:
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
如何用XQ輸出可轉債資料到Excel   其實很多軟體,學著使用,你就可以節省整理資料的時間,之前寫過一篇文章教大家怎麼用XQ來整理可轉債的資料。文章如下: 接下來,我們來談談如何把收盤的資料整理到Excel,如果你想用Excel做一些資料輸出的話。 當你設定好可轉債的資料都在”自選
Thumbnail
根據RFM的資料來分成8種類型的客戶,1.重要價值客戶2.重要保持客戶3.重要發展客戶4.一般發展客戶5.重要挽留客戶6.一般價值客戶7.一般保持客戶8.一般挽留客戶
Thumbnail
RFM模型是最基本的分析,可以讓你知道哪些是常客、哪些人是偶爾來一次,或是根本不常來,藉此針對不同的客群去做不同的策略,達到提升業績的方法。接下來就讓我教你如何運用PYTHON快速做出RFM分析
Thumbnail
因為前陣子公司大規模組織調整,原本負責專案的人員調動得面目全非,客戶不只抱怨陣前換將更嫌棄專案進度青黃不接,已經承諾的工作事項不斷跳票,上線的時間一延再延,兩個月過去沒消沒息,客戶這次按耐不住就發火了。
Thumbnail
不知道如何下筆嗎?用自問自答的方式收集素材吧! 在《九宮格寫作術》一書中,作者推薦用「自問自答」的方式,收集寫文章的材料。 我發現如何用 Notion 這個軟體,更有效的實現九宮格寫作的精神; 就是用 Toggle list 的方式寫下問題,這樣就可以方便收合,讓大綱更清晰。
Thumbnail
雖然可以在微軟上安裝德文輸入法,但是台灣繁體中文鍵盤的鍵位與德文鍵盤不一致,除了上述的幾個特殊字母的鍵位需要記憶外,就連許多常用的符號位置也不同。例如:「?」、「""」、「@」。如果在 Windows 裡用英文輸入法就可以輸入德文字母,就方便多了。
Thumbnail
好久不見的「給文組人的 Formula 用法」系列。 今天的重點是 round, floor, round 的使用方法! ❶ 將數值取整的指令以及用法? ❷ 如何將數值以小數點後兩位取整? ❸ 怎麼用 Notion 分餅乾給小孩?(誤)
Thumbnail
幾年前,偶然的在某社群聽見 Robot Framework 這套開源框架,起初抱持著好奇的心情簡單的玩了一下,不過當時完全不理解,用這種 Keyword 方式去撰寫自動化測試的好處在哪? ( 不過就是…我知識不足罷了XD ) 。 接下來,我就可以跑測試拉~! 接著看 log.html: