檔案壓縮之自動執行

閱讀時間約 6 分鐘

1. 問題:

            (1)檔案每天新增或經常會產生多個新檔案時 ,會造成檔案數過多之雜亂現象

            (2) 當檔案多或容量大時,沒有作壓縮歸檔處理,將發生浪費硬碟空間,儲存空間不足現象,影響系統效能

            (3) 舊資料檔案沒有規劃好保存處理規則,將不易取回再利用

            (4) 若檔案之壓縮作業,由人工手動處理時,將耗時且效率差

 

 2. 改善:

            (1) 欲作歸檔保存處理之多個檔案,將其檔案名稱等明細出力至txt  file

            (2)依上述txt檔案, 抓取這些檔案,進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可作歸檔管理,並可節省硬碟使用空間

            (3) 上述產出之壓縮檔,規劃作好保存管理,以便將來可容易取回利用,查看舊檔案資料

            (4) 設計自動執行排程,以便將壓縮作業自動化,提升業務工作效率

 

 3.方法:

          3.1 依照使用者設定條件,自動選取欲作壓縮處理之對象檔案明細,取得後將這些欲作壓縮之檔案明細存入txt檔內  

  

  3.2 讀取上述明細txt檔,自動壓縮這些對象檔案,壓縮後,依照使用者之命名規則新出力作成一個新的壓縮檔,並保存於指定目錄。壓縮作業處理完成後,其結果會產生一個log檔,可供參考。

 

  3.3 為實現自動執行,可新設計一個Windows工作排程,自動執行後,將結果自動寄出email 給擔當人員

 

4. 舉例說明:

          4.0 考慮檔案名稱含有中文之編碼方式,需使用  UTF-8

      Windows cmd 設計:

CHCP 65001

 

   4.1 要被壓縮之檔案儲存在哪裡?  

    (1)欲壓縮處理之對象檔案,其路徑目錄如下:

          E:\202205_N0094-Backup\2021_IT\DB_alert\incdir_112889

   如下圖1說明

raw-image

4.2  將上述目錄下之檔案名稱明細內容出力至txt檔內 

         (1) 出力之檔案明細txt檔,其路徑檔名如下:

              D:\TEST\7z_source_file-list.txt,本例有四個檔案將被壓縮

          

        (2)  如何選取將被壓縮之檔案明細,並新出力一個txt檔?

              cmd 設計如下:

   forfiles /P E:\202205_N0094-Backup\2021_IT\DB_alert\incdir_112889   /M *.* /c "cmd /c echo @path>>D:\TEST\7z_source_file-list.txt"

 

        (3)  上述cmd行後,自動新出力一個txt檔,如下圖2 所示

raw-image

4.3  壓縮作業處裡

(1)利用免費壓縮軟體7z  來處裡壓縮

(2)欲壓縮之來源檔案,由上述4.2  txt檔內取得

(3)來源檔案壓縮處理後,新產生一個壓縮7z檔,儲存至指定目錄內,並出力一個處理結果之log file

*新產生之壓縮檔,本例之檔名路徑:

D:\TEST_BK\compress_%date:~-10,4%%date:~-5,2%%date:~-2,2%.7z  

本例壓縮檔檔名是依照日期自動取得檔名

*log file檔名路徑: D:\TEST\7z_log.txt

 

(4) 如何處理壓縮作業?

      cmd 設計:


D:\LIN_Program_Files\7ZipPortable\App\7-Zip64\7z a -mx=3 D:\TEST_BK\compress_%date:~-10,4%%date:~-5,2%%date:~-2,2%.7z @D:\TEST\7z_source_file-list.txt > D:\TEST\7z_log.txt

               

 (5) 上述cmd執行後,新出力之壓縮檔為compress_20231207.7z,將其展開後內含四個檔案,如下圖3 所示

raw-image

(6)本例四個檔案壓縮前 86.9MB,壓縮後  6.8MB,節省80MB

 

4.4  壓縮處裡後,最後將4.2之明細txt 內容清除

* cmd 設計:

     echo. >D:\HTW-IT\DB-7z\7z_source_file-list.txt

 

  4.5  cmd處理時,出現如下錯誤訊息之對應

Command Line Error:

Incorrect item in listfile.

Check charset encoding and -scs switch.

==>修改方法:

(1)   Windows cmd  輸入 CHCP 65001

(2)檔案明細file   7z_source_file-list.txt儲存時,編碼方式需 設為 UTF-8

 

5. 將來構想:

       (1) 各系統舊資料檔案,如每日產出之資料備份檔,資料庫alert file,Windows system log 等等,這些檔案須要定期壓縮歸檔,移至別處儲存,或刪除,不然占用太多硬碟空間,將影響系統效能

      (2) 當應用系統需要取回舊資料,作調查或測試之場合時,可以容易取得舊檔案

       (3) 舊資料保留管理,可達成各系統之服務要求,並可提供稽查備詢

       (4) 資料壓縮後,可以節省硬碟使用空間

       (5) 可排定自動執行壓縮作業,不須人工作業,提升業務效率

----------------recorded by linct------------------




54會員
121內容數
樂趣體驗紀錄,沙龍房間有歌唱,生活,科技
留言0
查看全部
發表第一個留言支持創作者!
linct的沙龍 的其他內容
利用總機每日外線通話紀錄所產出之紀錄檔案,一筆一筆抓出,並加以判斷是否異常,若有意常發生,將擷取該筆異常資料明細出力之,並email給相關管理者
資料庫之備份工作大都是自動執行,但是執行結果是否成功,需要安排人員去檢查,有時疏忽忘記確認作業,致備份工作失敗仍不知道,等到有一天需要回復舊有資料的場合時,才發現找不到過去某段期間的備份資料,造成無法彌補之後果。   2.    改善: 2.1 設計一執行檔,功能為打開備
新系統建構時,可考慮採購建置VM機器,DB機器,備份機器以及網路設備等硬體機器。
設計程式來讀取欲傳送訊息之參數txt檔案,再利用程式自動傳出訊息至LINE群組。能簡易使用於任何場合。
欲傳送之內容,由使用者輸入於文字檔內,執行本執行檔後,指定之LINE群組全員,將會收到推播訊息
上回說明的手動下指令,傳出訊息。為了節省手動輸入之動作,將欲執行的curl指令內容,事先作成執行檔。當需要傳送訊息時,只要按兩下執行檔,便可立刻傳出訊息至LINE群組內之全員 2. 說明 2.1 因每次要傳送內容不同,將這些會變動的訊息資料,輸入後保存 於bat執行檔內
利用總機每日外線通話紀錄所產出之紀錄檔案,一筆一筆抓出,並加以判斷是否異常,若有意常發生,將擷取該筆異常資料明細出力之,並email給相關管理者
資料庫之備份工作大都是自動執行,但是執行結果是否成功,需要安排人員去檢查,有時疏忽忘記確認作業,致備份工作失敗仍不知道,等到有一天需要回復舊有資料的場合時,才發現找不到過去某段期間的備份資料,造成無法彌補之後果。   2.    改善: 2.1 設計一執行檔,功能為打開備
新系統建構時,可考慮採購建置VM機器,DB機器,備份機器以及網路設備等硬體機器。
設計程式來讀取欲傳送訊息之參數txt檔案,再利用程式自動傳出訊息至LINE群組。能簡易使用於任何場合。
欲傳送之內容,由使用者輸入於文字檔內,執行本執行檔後,指定之LINE群組全員,將會收到推播訊息
上回說明的手動下指令,傳出訊息。為了節省手動輸入之動作,將欲執行的curl指令內容,事先作成執行檔。當需要傳送訊息時,只要按兩下執行檔,便可立刻傳出訊息至LINE群組內之全員 2. 說明 2.1 因每次要傳送內容不同,將這些會變動的訊息資料,輸入後保存 於bat執行檔內
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
zip指令用於建立ZIP壓縮檔案,將一個或多個檔案、資料夾打包為一個ZIP檔案
Thumbnail
在日常進行資料處理作業時,應該時常會碰上檔案過大而需要壓縮的情況,如果檔案較多,或是成為工作上的例行作業時,就需要不斷點擊壓縮、重新命名,是相當繁瑣且重複性的流程。這次我們要來分享的是,如何透過 Microsoft Power Automate 進行 RPA 流程開發,自動壓縮大批檔案!
檔案壓縮和解壓縮是日常工作中常見的任務。Python提供了zipfile模組,這使得檔案壓縮和解壓縮變得簡單而直觀。 壓縮檔案 首先,我們將看一下如何使用Python壓縮檔案。我們將使用zipfile模組的ZipFile類來執行此操作。 上述程式碼中,compress_files函式接收兩個參數:f
Thumbnail
既然前面說「學習歷程檔案」跟現在的「備審資料」沒有什麼不同,為什麼大家都一副壓力很大的樣子?讓我們繼續看下去... 三、 這個系統是否會造成更大的壓力與問題呢? 這一題的答案為「是」,的確可能造成學生與家長更大的負擔...
Thumbnail
高塔,多年來一直是G女士心中的最怕,她一看到它們就覺得渾身不自在,急忙掉頭而去。 最後她不得不去尋求醫療幫助。醫師發現,她怕的其實不是塔,而是鐘聲,一聽到鐘聲,她就會渾身發毛。醫師問她是什麼時候開始怕聽到鐘聲的?G也想不起來,只知道是很久很久以前,大概在十幾歲時就有這種現象。
Thumbnail
二十三歲的R小姐,八個月來,經常出現心跳加快、呼吸窘迫、手心冒汗、失眠等焦慮症狀。 她說她從日常生活裡找不到有什麼讓她焦慮的原因,只是有一點特別奇怪:每當要發作時,她腦中就會不意浮現自己與父親裸體相擁的影像,結果就產生上述的症狀。她拼命想抹去那個影像,但它總是每隔一段時間就會自動浮現。
Thumbnail
Q是一個三十出頭的年輕男子,最近七個月來,一直為強迫性的洗手動作所困擾。 雖然一再地洗手,但老是覺得手還沒洗乾淨;一再地想壓制洗手的念頭,但總是忍不住又去洗手,結果一天要洗好幾十次的手,把一雙手都快洗「破」了。最後不只洗手,連其他日常用品如桌子、衣服等,也是一洗再洗,但也都覺得還沒洗乾淨。
Thumbnail
她有一個奇怪的毛病:不敢坐船。不是會暈船,而是懼船,一看到船就覺得頭暈目眩、兩腿發軟、手心冒汗。連在街道上或人家家裡看到船的照片,也會渾身不舒服,常驚恐地連忙避開。   這種毛病為她的日常生活帶來了若干不便與困擾,於是她去尋求精神科醫師的幫助。
Thumbnail
一九六○年,在密歇根某家精神病院的同一棟病房裡住了三個男病人,奇怪的是,三個病人都自稱是耶穌基督。社會心理學家洛基奇(M.Rokeach)曾研究過三位病人,他經常讓三位耶穌聚首一堂,結果三個人都堅稱自己才是唯一的救世主,而對其他兩位耶穌沒有太高的評價,但也不敵視;相反的,頗為關注其他耶穌在做什麼。
Thumbnail
作者推薦本文原因: 如果遇到EXCEL檔案太胖怎麼辦呢? Excel表格通常只有文字內容,按常理來說,應該是佔不了多大空間,但卻不知道為什麼卻總是佔用電腦一堆記憶體,打開和保存檔案的速度也特別的慢,有時候還會導致電腦當掉,非常令人苦惱。 原文來源:檔案太「胖」開啟速度慢?一分鐘壓縮excel檔案優化
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
zip指令用於建立ZIP壓縮檔案,將一個或多個檔案、資料夾打包為一個ZIP檔案
Thumbnail
在日常進行資料處理作業時,應該時常會碰上檔案過大而需要壓縮的情況,如果檔案較多,或是成為工作上的例行作業時,就需要不斷點擊壓縮、重新命名,是相當繁瑣且重複性的流程。這次我們要來分享的是,如何透過 Microsoft Power Automate 進行 RPA 流程開發,自動壓縮大批檔案!
檔案壓縮和解壓縮是日常工作中常見的任務。Python提供了zipfile模組,這使得檔案壓縮和解壓縮變得簡單而直觀。 壓縮檔案 首先,我們將看一下如何使用Python壓縮檔案。我們將使用zipfile模組的ZipFile類來執行此操作。 上述程式碼中,compress_files函式接收兩個參數:f
Thumbnail
既然前面說「學習歷程檔案」跟現在的「備審資料」沒有什麼不同,為什麼大家都一副壓力很大的樣子?讓我們繼續看下去... 三、 這個系統是否會造成更大的壓力與問題呢? 這一題的答案為「是」,的確可能造成學生與家長更大的負擔...
Thumbnail
高塔,多年來一直是G女士心中的最怕,她一看到它們就覺得渾身不自在,急忙掉頭而去。 最後她不得不去尋求醫療幫助。醫師發現,她怕的其實不是塔,而是鐘聲,一聽到鐘聲,她就會渾身發毛。醫師問她是什麼時候開始怕聽到鐘聲的?G也想不起來,只知道是很久很久以前,大概在十幾歲時就有這種現象。
Thumbnail
二十三歲的R小姐,八個月來,經常出現心跳加快、呼吸窘迫、手心冒汗、失眠等焦慮症狀。 她說她從日常生活裡找不到有什麼讓她焦慮的原因,只是有一點特別奇怪:每當要發作時,她腦中就會不意浮現自己與父親裸體相擁的影像,結果就產生上述的症狀。她拼命想抹去那個影像,但它總是每隔一段時間就會自動浮現。
Thumbnail
Q是一個三十出頭的年輕男子,最近七個月來,一直為強迫性的洗手動作所困擾。 雖然一再地洗手,但老是覺得手還沒洗乾淨;一再地想壓制洗手的念頭,但總是忍不住又去洗手,結果一天要洗好幾十次的手,把一雙手都快洗「破」了。最後不只洗手,連其他日常用品如桌子、衣服等,也是一洗再洗,但也都覺得還沒洗乾淨。
Thumbnail
她有一個奇怪的毛病:不敢坐船。不是會暈船,而是懼船,一看到船就覺得頭暈目眩、兩腿發軟、手心冒汗。連在街道上或人家家裡看到船的照片,也會渾身不舒服,常驚恐地連忙避開。   這種毛病為她的日常生活帶來了若干不便與困擾,於是她去尋求精神科醫師的幫助。
Thumbnail
一九六○年,在密歇根某家精神病院的同一棟病房裡住了三個男病人,奇怪的是,三個病人都自稱是耶穌基督。社會心理學家洛基奇(M.Rokeach)曾研究過三位病人,他經常讓三位耶穌聚首一堂,結果三個人都堅稱自己才是唯一的救世主,而對其他兩位耶穌沒有太高的評價,但也不敵視;相反的,頗為關注其他耶穌在做什麼。
Thumbnail
作者推薦本文原因: 如果遇到EXCEL檔案太胖怎麼辦呢? Excel表格通常只有文字內容,按常理來說,應該是佔不了多大空間,但卻不知道為什麼卻總是佔用電腦一堆記憶體,打開和保存檔案的速度也特別的慢,有時候還會導致電腦當掉,非常令人苦惱。 原文來源:檔案太「胖」開啟速度慢?一分鐘壓縮excel檔案優化