幫非結構化資料找個家,快速入門MinIO(一):基本概念介紹

閱讀時間約 4 分鐘
之前實習時剛好公司有需要實作MinIO相關自動化腳本的需求,算是把MinIO摸得蠻仔細的,剛好網路上沒有太多相關中文資訊,趁這個機會來介紹一下MinIO,若有興趣就歡迎看下去吧~
來源:MinIO官網

MinIO是什麼?

MinIO是一個使用Golang開發的雲端儲存的開源專案,專注於儲存大量的非結構化的數據,如圖片、影片、文字等任何非結構化的數據,類似於AWS S3的開源版本,可以在影像辨識、NLP模型的訓練及重新部署等情境發揮作用。

MinIO的元件

MinIO最主要的元件共有兩個,分別為Bucket和Object,Object為任一種非結構化數據在MinIO的資料結構,而Bucket則是儲存Object的空間,以實際應用為例,如貓狗辨識專案即可建立一個名為貓狗辨識的Bucket、信用卡號辨識專案即可建立一個名為信用卡號辨識的Bucket(如下圖),Bucket和Object有點類似資料夾和資料夾內存的檔案的關係。
Bucket和Object示意圖

MinIO的資源管理

由於MinIO算是一個檔案管理的工具,因此最重要的就是資源管理,這邊會介紹幾個MinIO提供跟資源管理相關的主要功能。
1. Bucket的容量上限(Quota)
由於伺服器會有容量限制,因此管理者可以幫每個專案使用的Bucket設定容量上限(Quota),藉此限制每個專案能使用的資源,若沒有進行限制,MinIO會預設為無上限的容量。
2. 生命週期(LifeCycle)
由於Bucket內可以再設新增子路徑,因此可以幫每個Bucket內的子路徑下的檔案設定回收的機制,以剛剛貓狗辨識專案為例,假設總共7/1、7/2、7/3三個時間各自上傳了100張圖片,即可將檔案分別放到(貓狗辨識/0701、貓狗辨識/0702、貓狗辨識/0703)三個路徑下,如果希望圖片都不存放超過10天,即可幫這三個路徑各自設定自動回收的天數,三個路徑下的圖片就會分別於7/11、7/12、7/13進行刪除。
3.超過上限的處理方式(FIFO, HARD)
由於前面提到每個Bucket有Quota的限制,因此當上傳檔案超過Qutoa的限制時,MinIO提供兩種處理方式,分別是FIFO和HARD,FIFO代表的就是First-In-First-Out,也就是會自動把最舊的檔案移除,讓新的檔案放入Bucket,但FIFO已於(2022.02.02後的版本)因效能問題被移除,因此只有使用舊的版本時能使用;而HARD的處理方式則是直接禁止新的檔案進行上傳
儲存類型種類

MinIO的權限管理

除了資源管理外,另一個重要功能就是權限管理,特別是在公司內部運用時,哪個小組可以上傳、刪除或取得哪個Bucket的檔案,都是需要被管理的,接下來我們就來介紹吧。
1. 權限種類(Policy)
首先第一個就是權限種類(Policy),相對於RDMS使用的GET、Create、DELETE等方法,在MinIO最常見的元件是Bucket和Object,因此就會有GetObject、DeleteBucket等Policy,詳細的Policy種類可以查看Docs
由於一位User通常會需要多個權限,會需要權限組合因此會使用一個JSON檔案去定義權限組合,如下圖就代表擁有這個Policy的User可以對bucket2下面所有的資源做Action裡面的權限(GetBucketLocation….)
Policy的JSON檔範例
2.群組和使用者(Group and User)
在一般公司最常運用的方式就是某個部門、小組的人同時擁有某個權限組合,在MinIO也提供這種功能,如下圖範例可以定義好如上圖的權限組合(Bucket1 Read Write Policy)和(Bucket1 Read Only Policy)後,可以分別Assign給群組或個人權限,當Assign給群組權限(Group1)時,群組底下的User(Kelly、Amy)就會自動獲得所屬群組的權限。
Policy分配邏輯
以上就是MinIO的最基礎的幾個概念介紹,希望能幫從0開始的新手們了解MinIO最基礎的概念,希望對你有幫助。若還有其他想問的或希望我介紹的,可以用FB私訊或在下面回應,我會盡我所能回答你喔~
之後反應不錯的話,我會再撰寫關於應用和如何用程式實作的範例文章,若有錯誤或不周延的地方,再請各位大神指教、糾正了,謝謝大家~
若覺得有幫助可以追蹤我、按喜歡、收藏,我就會寫出更多相關文章,謝謝你~
若還有其他想問的或希望我介紹的,可以用FB私訊或在下面回應,我會盡我所能回答
你可能還會想看:
為什麼會看到廣告
1會員
37內容數
大學科系選擇技巧、高中升學考試經驗分享
留言0
查看全部
發表第一個留言支持創作者!
吉米富的沙龍 的其他內容
最近剛結束14天替代役的成功嶺新訓生活,畢竟一輩子只有一次的當兵生活,來記錄一下過程留個紀念,順便提供一些建議和準備給未來要服替代役的大家參考,若有興趣的話就看下去吧~ 替代役是甚麼? 首先替代役是一種替代一般常備役(4個月)的方案,大致可以分為一般替代役(6個月)、家庭因素替代役(4個月)、研發替
時間真的過得好快,又到了投暑期實習的季節了。今年來分享一下我去年在台積電暑期實習的面試心得,希望對大家有幫助,若有興趣就看一下吧~ 我的部門是 台積電 企業組織規劃處 的職位,這個部門主要是有關產能規劃、產品定價的部門,簡單來說就是台積電的Operation部門,我是屬於負責這部門會用到的IT系統的
繼上篇「一定要買保險嗎?解析被污名化卻能救一家人的保險意義和用途(買保險入門必看)」之後,接下來我想談談保險比較實務的面向,介紹幾個一般人常會購買的保險,像是壽險、重大傷病險/癌症險、實支實付醫療險、意外險、機汽車險等等。 根據我個人的觀點,提供我認為應該購買的優先次序,以及每種保險類型可能分別適合
碩一寒假意外的在政大金融科技中心上了一系列關於「退休理財」的課程,花了一堆時間唸書後,也順利考到退休理財規劃顧問(RFA)的證照,覺得在這個人人想提早「財富自由」的年代還蠻實用的,因此想開始一個新的系列,分享我認為想打造財富自由的人生前必須要知道的幾個理財觀念。 這系列適用於各個年齡層,但特別適用於
在之前我分享不少有關實習面試的經驗,我之前也有做過總共三份的實習,身旁也有蠻多去過不同公司做了不同職務的朋友,無論是大公司、小公司、新創、外商…..。 無論是大學生或是碩士生,對於該不該去實習?該去什麼公司?對未來職涯有什麼幫助?應該都充滿了各種疑問,網路上的說法也非常多種,這篇我想根據我和我身旁朋
繼上一篇政大交換學生申請(超詳細介紹、備審準備、申請小技巧)後,最近應該差不多開始進入面試的環節了,說實話面試是很謎的一關,我認識有些英文很好的同學,在面試時也沒拿到好成績,今天來分享一下我一共被洗臉六次的面試經驗XD然後也會分享一下一些準備的注意事項。 不過先說我口試表現不太好(我什麼都表現不好Q
最近剛結束14天替代役的成功嶺新訓生活,畢竟一輩子只有一次的當兵生活,來記錄一下過程留個紀念,順便提供一些建議和準備給未來要服替代役的大家參考,若有興趣的話就看下去吧~ 替代役是甚麼? 首先替代役是一種替代一般常備役(4個月)的方案,大致可以分為一般替代役(6個月)、家庭因素替代役(4個月)、研發替
時間真的過得好快,又到了投暑期實習的季節了。今年來分享一下我去年在台積電暑期實習的面試心得,希望對大家有幫助,若有興趣就看一下吧~ 我的部門是 台積電 企業組織規劃處 的職位,這個部門主要是有關產能規劃、產品定價的部門,簡單來說就是台積電的Operation部門,我是屬於負責這部門會用到的IT系統的
繼上篇「一定要買保險嗎?解析被污名化卻能救一家人的保險意義和用途(買保險入門必看)」之後,接下來我想談談保險比較實務的面向,介紹幾個一般人常會購買的保險,像是壽險、重大傷病險/癌症險、實支實付醫療險、意外險、機汽車險等等。 根據我個人的觀點,提供我認為應該購買的優先次序,以及每種保險類型可能分別適合
碩一寒假意外的在政大金融科技中心上了一系列關於「退休理財」的課程,花了一堆時間唸書後,也順利考到退休理財規劃顧問(RFA)的證照,覺得在這個人人想提早「財富自由」的年代還蠻實用的,因此想開始一個新的系列,分享我認為想打造財富自由的人生前必須要知道的幾個理財觀念。 這系列適用於各個年齡層,但特別適用於
在之前我分享不少有關實習面試的經驗,我之前也有做過總共三份的實習,身旁也有蠻多去過不同公司做了不同職務的朋友,無論是大公司、小公司、新創、外商…..。 無論是大學生或是碩士生,對於該不該去實習?該去什麼公司?對未來職涯有什麼幫助?應該都充滿了各種疑問,網路上的說法也非常多種,這篇我想根據我和我身旁朋
繼上一篇政大交換學生申請(超詳細介紹、備審準備、申請小技巧)後,最近應該差不多開始進入面試的環節了,說實話面試是很謎的一關,我認識有些英文很好的同學,在面試時也沒拿到好成績,今天來分享一下我一共被洗臉六次的面試經驗XD然後也會分享一下一些準備的注意事項。 不過先說我口試表現不太好(我什麼都表現不好Q
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
🍀🍀🍀fumi老師:❤️❤️❤️ 🥰🥰🥰當fumi老師問學生說:「想當科學家的原因是什麼呢?」學生回答:「那時的我想要創造一些別人創造不出來的東西。」 🥰🥰🥰在追尋科學的道路上,「勇敢是為了發現自己的能力,智慧是為了了解自己的極限。」這句話深刻地揭示了一個科學家所需具備的品
Thumbnail
題目敘述 Merge Nodes in Between Zeros 給定一個鏈結串列,合併非零區間的節點(以加總的方式合併),輸出合併後的鏈結串列。
Thumbnail
#粉絲名幫幫忙 謝謝學員的先生Oscar的邀請,來到 #仁愛扶輪社 分享 #熟齡穿搭 一到美福大飯店,就被品牌logo吸過去~還特別拍了下來~ 和席間社友們交換名片時,馬上有社友逗趣的問:我和美福是什麼關係 XD 美福的‘美’和莫菲的‘莫’都是字母M設計師們不約而同的在字母上,根據品牌概念做
Thumbnail
顯然散裝航運股價走勢短中期都強於貨櫃航運,和國內焦點全在貨櫃航運相較,就表示國內行情與國際行情,產生嚴重脫序倒置問題。 散戶沒有辦法與潮流對抗,也不要去「蛙臂當貓」,勸你不要加碼、不要回補,就是等反轉時機,你可以停損等,也可以持股等,記得緯創的教訓,「輕信謠言」才是造成你虧損的真正原因。
Thumbnail
在已知的歷史事件-歐塞奇印第安人謀殺案改編,從維基百科可以得知事件資訊上幾乎與電影如出一轍,而所謂的導演馬丁史柯西斯((Martin Scorsese)的作者電影觀點:保持著對原住民的關懷,與卻也沒有太過著墨原民文化傳統,以如此有點政治性議題來說已算是有些淡化。
Thumbnail
對於許多初學者來說,追求財富自由是一條艱難的路。在眾多理財方法中,股票投資被視為追逐被動收入的捷徑,但究竟是不是每個人都適合這條路呢? 本篇文章將探討為何一般人是否能靠股票投資達到財富自由?
Thumbnail
一直以為韓非子是「法家」。 然而,學習了「郭沫若的十批判」才發現, 韓非子在本質上是「法術家」。                                                                 「法」是國家的文字規定,是治理國家的依據; 「術」是確實手段,是方法。
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
🍀🍀🍀fumi老師:❤️❤️❤️ 🥰🥰🥰當fumi老師問學生說:「想當科學家的原因是什麼呢?」學生回答:「那時的我想要創造一些別人創造不出來的東西。」 🥰🥰🥰在追尋科學的道路上,「勇敢是為了發現自己的能力,智慧是為了了解自己的極限。」這句話深刻地揭示了一個科學家所需具備的品
Thumbnail
題目敘述 Merge Nodes in Between Zeros 給定一個鏈結串列,合併非零區間的節點(以加總的方式合併),輸出合併後的鏈結串列。
Thumbnail
#粉絲名幫幫忙 謝謝學員的先生Oscar的邀請,來到 #仁愛扶輪社 分享 #熟齡穿搭 一到美福大飯店,就被品牌logo吸過去~還特別拍了下來~ 和席間社友們交換名片時,馬上有社友逗趣的問:我和美福是什麼關係 XD 美福的‘美’和莫菲的‘莫’都是字母M設計師們不約而同的在字母上,根據品牌概念做
Thumbnail
顯然散裝航運股價走勢短中期都強於貨櫃航運,和國內焦點全在貨櫃航運相較,就表示國內行情與國際行情,產生嚴重脫序倒置問題。 散戶沒有辦法與潮流對抗,也不要去「蛙臂當貓」,勸你不要加碼、不要回補,就是等反轉時機,你可以停損等,也可以持股等,記得緯創的教訓,「輕信謠言」才是造成你虧損的真正原因。
Thumbnail
在已知的歷史事件-歐塞奇印第安人謀殺案改編,從維基百科可以得知事件資訊上幾乎與電影如出一轍,而所謂的導演馬丁史柯西斯((Martin Scorsese)的作者電影觀點:保持著對原住民的關懷,與卻也沒有太過著墨原民文化傳統,以如此有點政治性議題來說已算是有些淡化。
Thumbnail
對於許多初學者來說,追求財富自由是一條艱難的路。在眾多理財方法中,股票投資被視為追逐被動收入的捷徑,但究竟是不是每個人都適合這條路呢? 本篇文章將探討為何一般人是否能靠股票投資達到財富自由?
Thumbnail
一直以為韓非子是「法家」。 然而,學習了「郭沫若的十批判」才發現, 韓非子在本質上是「法術家」。                                                                 「法」是國家的文字規定,是治理國家的依據; 「術」是確實手段,是方法。