幫非結構化資料找個家,快速入門MinIO(一):基本概念介紹

閱讀時間約 4 分鐘
之前實習時剛好公司有需要實作MinIO相關自動化腳本的需求,算是把MinIO摸得蠻仔細的,剛好網路上沒有太多相關中文資訊,趁這個機會來介紹一下MinIO,若有興趣就歡迎看下去吧~
來源:MinIO官網

MinIO是什麼?

MinIO是一個使用Golang開發的雲端儲存的開源專案,專注於儲存大量的非結構化的數據,如圖片、影片、文字等任何非結構化的數據,類似於AWS S3的開源版本,可以在影像辨識、NLP模型的訓練及重新部署等情境發揮作用。

MinIO的元件

MinIO最主要的元件共有兩個,分別為Bucket和Object,Object為任一種非結構化數據在MinIO的資料結構,而Bucket則是儲存Object的空間,以實際應用為例,如貓狗辨識專案即可建立一個名為貓狗辨識的Bucket、信用卡號辨識專案即可建立一個名為信用卡號辨識的Bucket(如下圖),Bucket和Object有點類似資料夾和資料夾內存的檔案的關係。
Bucket和Object示意圖

MinIO的資源管理

由於MinIO算是一個檔案管理的工具,因此最重要的就是資源管理,這邊會介紹幾個MinIO提供跟資源管理相關的主要功能。
1. Bucket的容量上限(Quota)
由於伺服器會有容量限制,因此管理者可以幫每個專案使用的Bucket設定容量上限(Quota),藉此限制每個專案能使用的資源,若沒有進行限制,MinIO會預設為無上限的容量。
2. 生命週期(LifeCycle)
由於Bucket內可以再設新增子路徑,因此可以幫每個Bucket內的子路徑下的檔案設定回收的機制,以剛剛貓狗辨識專案為例,假設總共7/1、7/2、7/3三個時間各自上傳了100張圖片,即可將檔案分別放到(貓狗辨識/0701、貓狗辨識/0702、貓狗辨識/0703)三個路徑下,如果希望圖片都不存放超過10天,即可幫這三個路徑各自設定自動回收的天數,三個路徑下的圖片就會分別於7/11、7/12、7/13進行刪除。
3.超過上限的處理方式(FIFO, HARD)
由於前面提到每個Bucket有Quota的限制,因此當上傳檔案超過Qutoa的限制時,MinIO提供兩種處理方式,分別是FIFO和HARD,FIFO代表的就是First-In-First-Out,也就是會自動把最舊的檔案移除,讓新的檔案放入Bucket,但FIFO已於(2022.02.02後的版本)因效能問題被移除,因此只有使用舊的版本時能使用;而HARD的處理方式則是直接禁止新的檔案進行上傳
儲存類型種類

MinIO的權限管理

除了資源管理外,另一個重要功能就是權限管理,特別是在公司內部運用時,哪個小組可以上傳、刪除或取得哪個Bucket的檔案,都是需要被管理的,接下來我們就來介紹吧。
1. 權限種類(Policy)
首先第一個就是權限種類(Policy),相對於RDMS使用的GET、Create、DELETE等方法,在MinIO最常見的元件是Bucket和Object,因此就會有GetObject、DeleteBucket等Policy,詳細的Policy種類可以查看Docs
由於一位User通常會需要多個權限,會需要權限組合因此會使用一個JSON檔案去定義權限組合,如下圖就代表擁有這個Policy的User可以對bucket2下面所有的資源做Action裡面的權限(GetBucketLocation….)
Policy的JSON檔範例
2.群組和使用者(Group and User)
在一般公司最常運用的方式就是某個部門、小組的人同時擁有某個權限組合,在MinIO也提供這種功能,如下圖範例可以定義好如上圖的權限組合(Bucket1 Read Write Policy)和(Bucket1 Read Only Policy)後,可以分別Assign給群組或個人權限,當Assign給群組權限(Group1)時,群組底下的User(Kelly、Amy)就會自動獲得所屬群組的權限。
Policy分配邏輯
以上就是MinIO的最基礎的幾個概念介紹,希望能幫從0開始的新手們了解MinIO最基礎的概念,希望對你有幫助。若還有其他想問的或希望我介紹的,可以用FB私訊或在下面回應,我會盡我所能回答你喔~
之後反應不錯的話,我會再撰寫關於應用和如何用程式實作的範例文章,若有錯誤或不周延的地方,再請各位大神指教、糾正了,謝謝大家~
若覺得有幫助可以追蹤我、按喜歡、收藏,我就會寫出更多相關文章,謝謝你~
若還有其他想問的或希望我介紹的,可以用FB私訊或在下面回應,我會盡我所能回答
你可能還會想看:
為什麼會看到廣告
1會員
37Content count
大學科系選擇技巧、高中升學考試經驗分享
留言0
查看全部
發表第一個留言支持創作者!
吉米富的沙龍 的其他內容
最近剛結束14天替代役的成功嶺新訓生活,畢竟一輩子只有一次的當兵生活,來記錄一下過程留個紀念,順便提供一些建議和準備給未來要服替代役的大家參考,若有興趣的話就看下去吧~ 替代役是甚麼? 首先替代役是一種替代一般常備役(4個月)的方案,大致可以分為一般替代役(6個月)、家庭因素替代役(4個月)、研發替
時間真的過得好快,又到了投暑期實習的季節了。今年來分享一下我去年在台積電暑期實習的面試心得,希望對大家有幫助,若有興趣就看一下吧~ 我的部門是 台積電 企業組織規劃處 的職位,這個部門主要是有關產能規劃、產品定價的部門,簡單來說就是台積電的Operation部門,我是屬於負責這部門會用到的IT系統的
繼上篇「一定要買保險嗎?解析被污名化卻能救一家人的保險意義和用途(買保險入門必看)」之後,接下來我想談談保險比較實務的面向,介紹幾個一般人常會購買的保險,像是壽險、重大傷病險/癌症險、實支實付醫療險、意外險、機汽車險等等。 根據我個人的觀點,提供我認為應該購買的優先次序,以及每種保險類型可能分別適合
碩一寒假意外的在政大金融科技中心上了一系列關於「退休理財」的課程,花了一堆時間唸書後,也順利考到退休理財規劃顧問(RFA)的證照,覺得在這個人人想提早「財富自由」的年代還蠻實用的,因此想開始一個新的系列,分享我認為想打造財富自由的人生前必須要知道的幾個理財觀念。 這系列適用於各個年齡層,但特別適用於
在之前我分享不少有關實習面試的經驗,我之前也有做過總共三份的實習,身旁也有蠻多去過不同公司做了不同職務的朋友,無論是大公司、小公司、新創、外商…..。 無論是大學生或是碩士生,對於該不該去實習?該去什麼公司?對未來職涯有什麼幫助?應該都充滿了各種疑問,網路上的說法也非常多種,這篇我想根據我和我身旁朋
繼上一篇政大交換學生申請(超詳細介紹、備審準備、申請小技巧)後,最近應該差不多開始進入面試的環節了,說實話面試是很謎的一關,我認識有些英文很好的同學,在面試時也沒拿到好成績,今天來分享一下我一共被洗臉六次的面試經驗XD然後也會分享一下一些準備的注意事項。 不過先說我口試表現不太好(我什麼都表現不好Q
最近剛結束14天替代役的成功嶺新訓生活,畢竟一輩子只有一次的當兵生活,來記錄一下過程留個紀念,順便提供一些建議和準備給未來要服替代役的大家參考,若有興趣的話就看下去吧~ 替代役是甚麼? 首先替代役是一種替代一般常備役(4個月)的方案,大致可以分為一般替代役(6個月)、家庭因素替代役(4個月)、研發替
時間真的過得好快,又到了投暑期實習的季節了。今年來分享一下我去年在台積電暑期實習的面試心得,希望對大家有幫助,若有興趣就看一下吧~ 我的部門是 台積電 企業組織規劃處 的職位,這個部門主要是有關產能規劃、產品定價的部門,簡單來說就是台積電的Operation部門,我是屬於負責這部門會用到的IT系統的
繼上篇「一定要買保險嗎?解析被污名化卻能救一家人的保險意義和用途(買保險入門必看)」之後,接下來我想談談保險比較實務的面向,介紹幾個一般人常會購買的保險,像是壽險、重大傷病險/癌症險、實支實付醫療險、意外險、機汽車險等等。 根據我個人的觀點,提供我認為應該購買的優先次序,以及每種保險類型可能分別適合
碩一寒假意外的在政大金融科技中心上了一系列關於「退休理財」的課程,花了一堆時間唸書後,也順利考到退休理財規劃顧問(RFA)的證照,覺得在這個人人想提早「財富自由」的年代還蠻實用的,因此想開始一個新的系列,分享我認為想打造財富自由的人生前必須要知道的幾個理財觀念。 這系列適用於各個年齡層,但特別適用於
在之前我分享不少有關實習面試的經驗,我之前也有做過總共三份的實習,身旁也有蠻多去過不同公司做了不同職務的朋友,無論是大公司、小公司、新創、外商…..。 無論是大學生或是碩士生,對於該不該去實習?該去什麼公司?對未來職涯有什麼幫助?應該都充滿了各種疑問,網路上的說法也非常多種,這篇我想根據我和我身旁朋
繼上一篇政大交換學生申請(超詳細介紹、備審準備、申請小技巧)後,最近應該差不多開始進入面試的環節了,說實話面試是很謎的一關,我認識有些英文很好的同學,在面試時也沒拿到好成績,今天來分享一下我一共被洗臉六次的面試經驗XD然後也會分享一下一些準備的注意事項。 不過先說我口試表現不太好(我什麼都表現不好Q
你可能也想看
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
顯然散裝航運股價走勢短中期都強於貨櫃航運,和國內焦點全在貨櫃航運相較,就表示國內行情與國際行情,產生嚴重脫序倒置問題。 散戶沒有辦法與潮流對抗,也不要去「蛙臂當貓」,勸你不要加碼、不要回補,就是等反轉時機,你可以停損等,也可以持股等,記得緯創的教訓,「輕信謠言」才是造成你虧損的真正原因。
Thumbnail
在已知的歷史事件-歐塞奇印第安人謀殺案改編,從維基百科可以得知事件資訊上幾乎與電影如出一轍,而所謂的導演馬丁史柯西斯((Martin Scorsese)的作者電影觀點:保持著對原住民的關懷,與卻也沒有太過著墨原民文化傳統,以如此有點政治性議題來說已算是有些淡化。
Thumbnail
對於許多初學者來說,追求財富自由是一條艱難的路。在眾多理財方法中,股票投資被視為追逐被動收入的捷徑,但究竟是不是每個人都適合這條路呢? 本篇文章將探討為何一般人是否能靠股票投資達到財富自由?
Thumbnail
一直以為韓非子是「法家」。 然而,學習了「郭沫若的十批判」才發現, 韓非子在本質上是「法術家」。                                                                 「法」是國家的文字規定,是治理國家的依據; 「術」是確實手段,是方法。
Thumbnail
可能包含敏感內容
正午時分,陽光正熾。 Pete突然驚醒,現在幾點?看了眼掛鐘,十二點了!他怎麼睡到正午的?! 眼睛骨碌轉了一圈。嗷~好像是因爲昨晚有點⋯太過放蕩。 啊!會議室的桌子!Macau來了沒?!Venice不會在起居室玩耍吧!完了完了!那些玩具跟痕跡⋯。 Pete真是欲哭無淚了,Mac
Thumbnail
伴隨細野晴臣歌唱的嗓音,小綠彷彿靠在他的肩上,在她耳邊,他輕輕地、溫柔地哼唱。黑暗之中,她說,我把我的一切,都獻給了他。即使他永遠不會愛我,我也不會感到寂寞。希望無論是之於細野晴臣;或是你;或是未來我會愛上的任何人──我都能保持這樣的情感。
Thumbnail
可能包含敏感內容
「你到底懂不懂,什麼叫做儀式感啦!」本家大少爺-天坤正對著分家大少爺Vegas撒潑。 現在,距離Vegas對Pete求婚已經過了好一陣子,本想慢慢籌備,但總有大大小小的瑣事煩上門來,兩邊的家長(對!就天坤和Pete奶奶)都覺得不能再拖下去,是時候辦個喜事了。 但,天坤做為本家分家的大家長,前來了解狀
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
顯然散裝航運股價走勢短中期都強於貨櫃航運,和國內焦點全在貨櫃航運相較,就表示國內行情與國際行情,產生嚴重脫序倒置問題。 散戶沒有辦法與潮流對抗,也不要去「蛙臂當貓」,勸你不要加碼、不要回補,就是等反轉時機,你可以停損等,也可以持股等,記得緯創的教訓,「輕信謠言」才是造成你虧損的真正原因。
Thumbnail
在已知的歷史事件-歐塞奇印第安人謀殺案改編,從維基百科可以得知事件資訊上幾乎與電影如出一轍,而所謂的導演馬丁史柯西斯((Martin Scorsese)的作者電影觀點:保持著對原住民的關懷,與卻也沒有太過著墨原民文化傳統,以如此有點政治性議題來說已算是有些淡化。
Thumbnail
對於許多初學者來說,追求財富自由是一條艱難的路。在眾多理財方法中,股票投資被視為追逐被動收入的捷徑,但究竟是不是每個人都適合這條路呢? 本篇文章將探討為何一般人是否能靠股票投資達到財富自由?
Thumbnail
一直以為韓非子是「法家」。 然而,學習了「郭沫若的十批判」才發現, 韓非子在本質上是「法術家」。                                                                 「法」是國家的文字規定,是治理國家的依據; 「術」是確實手段,是方法。
Thumbnail
可能包含敏感內容
正午時分,陽光正熾。 Pete突然驚醒,現在幾點?看了眼掛鐘,十二點了!他怎麼睡到正午的?! 眼睛骨碌轉了一圈。嗷~好像是因爲昨晚有點⋯太過放蕩。 啊!會議室的桌子!Macau來了沒?!Venice不會在起居室玩耍吧!完了完了!那些玩具跟痕跡⋯。 Pete真是欲哭無淚了,Mac
Thumbnail
伴隨細野晴臣歌唱的嗓音,小綠彷彿靠在他的肩上,在她耳邊,他輕輕地、溫柔地哼唱。黑暗之中,她說,我把我的一切,都獻給了他。即使他永遠不會愛我,我也不會感到寂寞。希望無論是之於細野晴臣;或是你;或是未來我會愛上的任何人──我都能保持這樣的情感。
Thumbnail
可能包含敏感內容
「你到底懂不懂,什麼叫做儀式感啦!」本家大少爺-天坤正對著分家大少爺Vegas撒潑。 現在,距離Vegas對Pete求婚已經過了好一陣子,本想慢慢籌備,但總有大大小小的瑣事煩上門來,兩邊的家長(對!就天坤和Pete奶奶)都覺得不能再拖下去,是時候辦個喜事了。 但,天坤做為本家分家的大家長,前來了解狀