R語言-檢視變數及資料型態所佔記憶體容量，零成本提高計算效率
更新於 2020/03/15閱讀時間約 3 分鐘
原始文章
對資料科學家或數據分析師來說，資料量太大、電腦效能不足一直都是個痛，經常要小心翼翼地觀察記憶體使用率是不是快爆炸。然而，就我的觀察，一樣都是撰寫程式，資料科學工作者對於程式碼乾淨、易懂、高效率的追求似乎比其他工程師來得低。(或是我的樣本數不足，以偏概全)
其實，只要善用一些小工具，把檔案很大但用不到的物件清掉，並留意哪一種資料型態(Data Type)的容量較輕巧，就可以在不花錢升級電腦硬體的條件下，提升計算效率，也更有可能執行更複雜的計算。
來吧，直接複製貼上
check_file_size <- function(name){
size <- object.size(get(name))
# 4496535920 bytes = 4496 mb
if(size >= 1000000){
unit_size <- 1000000
unit <- "mb"
}else if(size >= 1000){
unit_size <- 1000
unit <- "kb"
}else{
unit_size <- 1
unit <- "byte"
}
size <- size / unit_size
size <- round(size)
cat(paste0(name, " ", size, " ", unit))
}檢查資料型態(Data Type)的容量大小
# Compare Date and Number
> t1 <- Sys.Data()
> t2 <- 20200101
> check_file_size("t1", unit = "byte")
t1 256 byte
> check_file_size("t2",unit = "byte")
t2 48 byte
# Compare numeric and character for ID
> test <- as.numeric(870576)
> test2 <- as.character(870576)
> check_file_size("test", unit = "byte")
test 48 byte
> check_file_size("test2", unit = "byte")
test2 96 byte
為什麼會看到廣告
21會員
34內容數
留言0
查看全部
你可能也想看
Google News 追蹤
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
對於程式卡頓的問題，如何分析程式碼占用多少記憶體，如何釋放或改寫，可以先用python內建的tracemalloc模組來追蹤 Python 分配的記憶體區塊。
本文將介紹最簡單的用法，來分析一段程式碼占用了多少記憶體。
結果呈現
印出當前使用的記憶體，與峰值記憶體使用量。
程式範例
i
這篇內容，將會講解什麼是資料型態，以及與資料型態相關的知識。包括資料型態的簡介、實數、布林值、 字串、陣列。
我們在學習kafka的過程中最不習慣的就是不管什麼樣的資料， 在kafka的傳輸過程都會是binary的資料格式， 因此我們在撰寫程式的過程中並不是那麼的直觀， 必須將資料從float、int…資料型態轉型成binary才能順利傳送， 那麼基於這樣的前提之下， python這套程式語言可以怎麼做
做研究時，總會擔心計算資源不足的問題。
但是其實，你想做的研究計畫，其預期產生的價值，
跟你所能獲得的計算資源規模，是直接相關的。
人如果在業界，但是無法參與公司的核心研究組，
無法做預期價值夠大的研究計畫，也是拿不到公司的計算資源。
作為一名擁有多年經驗的數據分析師，我深知數據分析的重要性及其對企業決策的影響。然而，數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是：在數據量不足或缺乏流程優化目的時，進行數據分析的局限性。
在數位的時代裡，電腦、手機、相機幾乎已是現代人不可或缺的生活必需品，各種3C的儲存單位也從GB來到TB，文檔、照片、影片和各式各樣的程式、APP，海量的資料佔據每個人的資料庫，混亂的資料庫不僅影響工作效率，也容易打亂思緒，那麼我們該如何開始做數位整理呢？
在現代資訊爆炸的時代，我們每天都會產生大量的檔案。無論是工作、學習還是生活，檔案都扮演著重要的角色。然而，隨著檔案數量的不斷增加，我們也面臨著一個新的挑戰：如何有效地管理檔案。檔案命名是檔案管理的第一步。一個好的檔案命名規則可以幫助我們快速找到所需的檔案，提高工作效率。
本文探討了在使用 pandas 處理資料時應注意的幾個關鍵點，以及如何減少因資料型態問題而產生的錯誤，確保資料的原始意義得以保留。主要包括Pandas 資料處理深入解析，尋找CSV之外的數據儲存方案，以及優化資料處理策略。
為什麼要比較Excel 工作表(Worksheet)
工作中，常常會儲存多個同一目的，但不同時間的工作。或者，有時要檢查兩個人做的EXCEL工作表，是否有所不同。當然，若工作表很小，肉眼看是最快的，但是，如果是庫存的大量資料如1萬筆以上的財務資訊等，這時靠肉眼看，速度實在是太慢了，而且也容易出錯。
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
對於程式卡頓的問題，如何分析程式碼占用多少記憶體，如何釋放或改寫，可以先用python內建的tracemalloc模組來追蹤 Python 分配的記憶體區塊。
本文將介紹最簡單的用法，來分析一段程式碼占用了多少記憶體。
結果呈現
印出當前使用的記憶體，與峰值記憶體使用量。
程式範例
i
這篇內容，將會講解什麼是資料型態，以及與資料型態相關的知識。包括資料型態的簡介、實數、布林值、 字串、陣列。
我們在學習kafka的過程中最不習慣的就是不管什麼樣的資料， 在kafka的傳輸過程都會是binary的資料格式， 因此我們在撰寫程式的過程中並不是那麼的直觀， 必須將資料從float、int…資料型態轉型成binary才能順利傳送， 那麼基於這樣的前提之下， python這套程式語言可以怎麼做
做研究時，總會擔心計算資源不足的問題。
但是其實，你想做的研究計畫，其預期產生的價值，
跟你所能獲得的計算資源規模，是直接相關的。
人如果在業界，但是無法參與公司的核心研究組，
無法做預期價值夠大的研究計畫，也是拿不到公司的計算資源。
作為一名擁有多年經驗的數據分析師，我深知數據分析的重要性及其對企業決策的影響。然而，數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是：在數據量不足或缺乏流程優化目的時，進行數據分析的局限性。
在數位的時代裡，電腦、手機、相機幾乎已是現代人不可或缺的生活必需品，各種3C的儲存單位也從GB來到TB，文檔、照片、影片和各式各樣的程式、APP，海量的資料佔據每個人的資料庫，混亂的資料庫不僅影響工作效率，也容易打亂思緒，那麼我們該如何開始做數位整理呢？
在現代資訊爆炸的時代，我們每天都會產生大量的檔案。無論是工作、學習還是生活，檔案都扮演著重要的角色。然而，隨著檔案數量的不斷增加，我們也面臨著一個新的挑戰：如何有效地管理檔案。檔案命名是檔案管理的第一步。一個好的檔案命名規則可以幫助我們快速找到所需的檔案，提高工作效率。
本文探討了在使用 pandas 處理資料時應注意的幾個關鍵點，以及如何減少因資料型態問題而產生的錯誤，確保資料的原始意義得以保留。主要包括Pandas 資料處理深入解析，尋找CSV之外的數據儲存方案，以及優化資料處理策略。
為什麼要比較Excel 工作表(Worksheet)
工作中，常常會儲存多個同一目的，但不同時間的工作。或者，有時要檢查兩個人做的EXCEL工作表，是否有所不同。當然，若工作表很小，肉眼看是最快的，但是，如果是庫存的大量資料如1萬筆以上的財務資訊等，這時靠肉眼看，速度實在是太慢了，而且也容易出錯。