美好的回憶免上雲! 用家裡電腦 設法用AI讓10萬張家庭照片活起來

閱讀時間約 1 分鐘




輕鬆幫你取得美好的回憶與意想不到的驚喜。

先來聊聊,為什麼我當初會想要做這個項目?

首先,因為家裡的小孩即將從國小畢業,他們正在製作一些畢業紀念冊,想要收集一些有紀念意義的照片。我突然想到,我們家裡有十萬張家庭生活照片,這些照片涵蓋了各式各樣的場景、各個年齡段、各個年份和月份。這些照片存放在我們家裡的 NAS 硬碟裡,始終保持靜止不動、宛如永久被埋藏的回憶。這次是因為小孩有需要,這讓我開始想到如何活化運用,這是我開始這個項目的第一個動機。

RTX 3080 筆電

RTX 3080 筆電


第二個動機是,我發現目前的開源人工智慧技術可以為照片自動加上文字描述。簡單來說,就是我們逐一把照片丟給AI,AI會幫你把照片裡的人事物等細節用文字自動生成描述出來。這種生成式的描述能夠比我們更厲害地找出照片中的每一個細節,有時候也會生成一些不存在的事物,在我粗略微調參數後,大約有 80% 的精準度(其實也夠了!如果真的想用人工來做,大概也沒這個體力)。有時看到這些描述,真的會有種腦洞大開,感到非常神奇。如果照片本身的精彩度是80分,那麼加上AI自動生成的描述,可能輕易就會超過100分。這是吸引我的第二個原因。

10萬張照片的 NAS

10萬張照片的 NAS


阿中哥的 AI 方案幫你實現夢想

我的AI方案可以幫你自動完成每一張照片的文字描述。我要強調的是,這些描述都是由AI自動完成的。AI可以比我們人類的眼睛看得更細緻,甚至能夠挖掘出一些我們難以察覺的細節。這正是讓人覺得神奇、創新、腦洞大開的主要原因。因為這個AI技術是生成式的,每次分析同一張照片時,AI可能都會提供不同的描述,但主要精神是不變的,也就是照片本身的內容不變,但描述卻可以千變萬化,非常厲害,也常常讓我感到非常驚訝。

IBM 伺服器老將出馬,強棒出擊!

IBM 伺服器老將出馬,強棒出擊!


阿中哥的 AI 方案幫你取得美好的回憶與意想不到的驚喜

為了不讓這些美好的回憶一直深藏在我們家的硬碟裡,我決定投入時間來研究這項技術。我先從下載開源的AI模型開始,練習如何使用 API 和 Open Web UI 進行操作。我家剛好也有一台 2~3 年前買的內建 RTX 3080 8 GB VRAM 顯示卡的筆記型電腦,主機擁有 16 GB 的記憶體,執行這些生成式AI模型的速度還可以接受。於是,我就想,為什麼不讓這台電腦幫忙把家庭照片進行逐一描述呢?

於是,我花了大約一週時間,從練習使用生成式AI模型開始,嘗試使用 RAG 檢索增強生成(Retrieval-Augmented Generation),餵給它 5,000 筆的工廠零件資料表,發現它高精準的辨識能力,實在令人嘖嘖稱奇!接著再使用這個能夠識別圖像並生成文字描述的模型。當我看到孩子的照片在我撰寫的網頁程式中展示出來,並且每張照片都有AI生成的描述時,每個描述都讓我大開眼界。隨著我不斷深入研究,越做越有趣,也越做越來勁。

經過AI讀取的照片,照片本身並不會被破壞,因為只是讀取並非寫入。我們要的只是照片的文字描述。因此我設計了一個資料庫,規劃了一個資料表,用 AI 寫了一個 Python 程式,把這些 AI 生成後的照片描述文字通通存起來。這個程式建議在Linux上運行(比較穩定),並且很容易就能掛接我們家裡的10萬張照片。我們家裡有一個 1Gb 的乙太網路,雖然這個速度現在來看已經不算是最快的速度,甚至列為入門等級,但還是夠用。透過這個 1Gb 的乙太網路,搭配我的 Python 程式,在 Linux 上執行 find 命令掃描指定目錄下的所有照片類型,然後將它們逐一傳送給這個 Python 程式進行處理。


IBM 伺服器老將出馬,強棒出擊!

IBM 伺服器老將出馬,強棒出擊!


IBM 伺服器老將出馬,強棒出擊!

我的Python程式會呼叫安裝在配備RTX 3080顯示卡的筆記型電腦上的API,這個API會將照片傳送給AI模型,並將AI生成的文字描述回傳給我的Python程式。由於模型回傳預設的描述是簡體中文,所以我們還需自動化將其轉換成繁體中文,這樣我們才能更方便地閱讀。轉換完成後,我們使用照片的絕對路徑,利用SHA256雜湊算法對照片絕對路徑檔名進行快速哈希處理,並將哈希值一併存入資料庫中,以利日後使用。

在我的方案中,我除了使用配備RTX 3080的筆記型電腦,還有一台 IBM 二手伺服器。這台伺服器擁有 16GB 的 ECC RAM和 500GB 的 SSD,運行著虛擬化系統,裡面的 VM 裝有 HAProxy 並包含 SSL、Ubuntu Linux 等。我們可以從外部連回來,當然這裡我和中華電信申請了一個免費固定IP,這樣我們就可以從外部登入。不論是在家裡、公司、捷運、廁所、房間,甚至客廳地板上,只要有網路,我們就可以透過平板、手機或電腦或客廳電視來瀏覽這些照片。

孩子們可以開始尋找他們的照片,我也會在網頁介面繼續添加新功能,比如照片描述的辨識結果,關鍵字超連結等等。我在這台 RTX 3080 的筆記型電腦上安裝了兩個模型,一個是國科會的模型,另一個是用來識別圖像並生成文字描述的模型。我使用API分別呼叫這兩個模型,一個生成照片的文字描述,另一個則對描述進行關鍵字和分類的辨識。這樣,我們的十萬張照片大約需要一個星期的時間應該可以全部跑完自動生成圖片文字的過程。

接下來是繼續用程式讀取這些生成的文字描述,並以 API 方式傳送給國科會的模型,幫我們全自動生成新的分類和關鍵字。這些分類和關鍵字在網頁相簿中將會非常好用(不用輸入就可以跟隨關鍵字一直衝浪,直到精疲力盡為止)。我們的資料庫也可支援全文檢索,可以方便想用手動搜尋的需要,或直接點擊網頁上的分類、關鍵字連結來查看 AI 自動分類的照片。如此,不管是在家裡還是外面,只要有網路,就能隨時查看這些照片。這台設備是我買的二手中古設備,非常便宜,印象中大約花了 NT$6000 元左右,已經運作非常多年,非常穩定。我家裡的網路是中華電信的,速度又快又穩非常不錯。

這就是我的 AI 方案,如果你也希望實現這個夢想,我希望這些經驗能為你帶來美好的回憶,並讓您的府上獲得更多意想不到的驚喜。

IBM 伺服器-3

IBM 伺服器-3


我如何提供協助?

每個人的情況都不太相同,建議先用 E-Mail 聯絡(網頁下方有我的聯絡信箱),以利給予適切之建議。

我的時間有限,每週一、五、六、日,可提供服務。初期僅限台北市為優先服務區域(我外出搭捷運通勤較快較方便)。


備註:本方案使用的工具清單

1. 開源模型:文字生成式 from 國科會:ryan4559/llama3-taide-lx-8b-chat-alpha1-4bit

2. 開源模型:照片自動辨識成為文字:llava-llama3

3. 開發工具 VScode + Python 3 + ChatGPT4o。

4. 容器工具 Docker Desktop。

5. 開源軟體 Open WebUI。

6. 開源軟體 Ollama + Ollama API。

7. 中華電信 500M 光纖。

8. 中華電信固定 IP 一個。

9. 家用 1Gb 有線區域網路 (5~8 port 交換器)。

10. 家用 Wifi6 無線網路 (Router)。

11. 家用 NAS 3 TB RAID 1 一台。

12. 家用 IBM Server 一台。

13. 家用 RTX 3080 筆電一台。

14. 開源 HAproxy、Ubuntu Linux、MariaDB、PHP 7/8、Codeigniter 4 (CI 4)。

15. 開源 Tailwind CSS / Bootstrap CSS 。


本文來自:阿中小站

美好的回憶免上雲! 用家裡電腦 設法用AI讓10萬張家庭照片活起來

https://eagle.aii.tw/%e5%a5%bd%e5%a5%87%e5%a5%bd%e7%8e%a9%e8%a7%80%e5%af%9f/%e7%94%a8%e5%ae%b6%e8%a3%a1%e9%9b%bb%e8%85%a6-%e8%a8%ad%e6%b3%95%e7%94%a8ai%e8%ae%9310%e8%90%ac%e5%bc%b5%e5%ae%b6%e5%ba%ad%e7%85%a7%e7%89%87%e6%b4%bb%e8%b5%b7%e4%be%86/

16會員
18內容數
客問:我希望了解自己的知識弱點,以便針對性地學習,但我希望評鑑結果是客觀且不受情感影響的,而且最好無涉及個人隱私(幫我保密)。 我答:我們的個人客製化評鑑模組服務提供自動評分和客觀評鑑,所有數據都經過加密處理,可在手機平板或電腦執行,讓您可以安心提升自我,而不必擔心他人評論和壓力,評鑑過程完全無涉個人隱私,確保評鑑
留言0
查看全部
發表第一個留言支持創作者!
勇士劉的沙龍 的其他內容
你可能也想看
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
57
金融科技與生活美學的融合 CUBE App實踐自我理想最近開啟了研究工作,也開始斜槓著手團購、行銷、洽談業務,慢慢想打造一條屬於自己的道路,而工作忙碌之虞,總忘記自己刷卡消費明細、信用卡繳費,還會忽略了最應該的投資理財,也常常在忙碌奔波中忘記信用卡優惠,國泰世華CUBE App給足了這些功能和服務。 日常生活與數位、科技形影不離,同時也拉近彼此距
Thumbnail
2024-07-11
12
美好的回憶~托斯卡尼尼義大利餐廳(竹北) 在追風奇幻島玩了一個下午,孩子們消耗了體力,肚子咕嚕咕嚕的叫,哈🤣 這間位於竹北市,我們剛好選擇的位置靠窗戶,可以俯瞰整個視野,在用餐期間,孩子們遠遠看著高鐵呼嘯而過,很驚喜。燈光美、氣氛佳,主廚用心料理、服務人員親切的態度,值得推薦的好景點。
Thumbnail
美好的回憶是幸福的基石 日內瓦的十二月很熱鬧,滿街滿城張燈結綵喜洋洋。滿城的氣氛是神聖,童話,奇幻,慶典,歡愉的。一年的最後一個月以一場大雪展開序幕。白白的雪,像一陣急雨不停的落,雪花紛飛感覺到聖誕節的氣氛。大街小巷彩燈,聖誕樹,喜洋洋的紅色櫥窗像在拉客人進屋觀賞消費。
Thumbnail
2023-12-31
29
《日本好色#34》楓紅倒影絕美景色~二訪輕井澤帶回滿滿的相片及美好回憶集合了優美景致、歐洲風情、滑雪、購物等諸多條件,輕井澤一直東京近郊最受歡迎的度假勝地之一;夏天氣候涼爽,秋天賞楓,冬天又能滑雪,愛買東西的人都不會錯過車站旁的大型outlet,也難怪距離東京車程約一小時的輕井澤,會吸引大批國內外的遊客到訪。我呢,就來了兩次。
Thumbnail
2023-12-03
22
教養孩子,是父母人生最美好的回憶帶孩子旅遊,往往令家長又愛又怕,本書提到的10年是指孩子5-15歲的這段期間,希望能在孩子有點獨立、又還是黏媽媽的年齡一起旅行,體會相依為命的幸福,也留下些親子間的回憶。 但想到旅途中要應付那情緒不穩定的孩童,還是不免替自己捏一把冷汗,而本書正是在幫助家長們堅定自己的信心,提醒我們為人父母記得用旅
Thumbnail
2023-09-01
3
佳作#20-記一段國小最美好的回憶「學務處報告,恭喜六年四班的候選人當選第二十四屆小市長!」剛廣播完,全班的同學都興高采烈地為我鼓掌,連老師也不例外。我向老師看了一眼,老師對我眨了眨眼,好像在暗示我:「加油!這一年就看你的了!」。 幾天後,我就任小市長,平時我走在路上,開始會有學弟、妹對我指指點點,說:「欸!那個就是小市長。」聽完我
Thumbnail
2023-08-31
4
美好的回憶,本就傷人池塘邊的鴨子與隔壁村文靜的兔子在一起了!整個池塘都被這個消息炸鍋了!如此不同的兩個個體啊!彷彿不怕熱鬧似的!鴨子為了與兔子一起生活,還特別在池塘附近蓋了一間小屋🛖連兔子的家人都搬到附近一起住了,不怕事的人們總是張望著小屋裡的動靜,一天天過了,兩個人總是出入成雙的活動著…. 鴨子有兩個家,一個是與兔
2023-01-08
5
國小最美好的回憶畢業旅行,這個名詞,是所有國小生共同所期待的事,而隨著時光流轉,一眨眼,我就六年級了,在一眨眼,就是畢業旅行的前一天了,我打包好行李,滿心期待地在床上睡著了,一大清早,六點半,我拿起行囊,跨出家門,心中的心情錯中複雜,百感交集,不知是期待,還是緊張??
Thumbnail
2022-12-06
14
幸福來自主動選擇與釀造美好的回憶很多東西可以勾起我們的回憶,最常見的是老相片與信件,其他如塞在抽屜深處朋友送的小紀念品或某一次旅行時買的鑰匙圈……等等,或者聽到一首歌,忽然聞到某個特殊的味道……這些都有可能呼喚出早已被我們遺忘的往事。 雖然有人會消遣說,常常回顧往事,常提當年勇,是老化的象徵,這些話鼓勵人要往前看,不斷開創新的人生
Thumbnail
2022-12-06
9
創造美好的回憶幾個月前的一個晚上接到哥哥的電話,在電話中哥哥問我記不記得幾年前帶媽媽去日本,有沒有買什麼鏈子,我想了很久印象中沒有。 問哥哥怎麼回事,原來是媽媽說之前去日本有買的東西找不到,但是又說不出來是什麼? 跟哥哥問清楚後,原來媽媽從早上想到這件事就開始在找,除了看護,還有哥哥、嫂嫂下班回家也加入尋寶的行列
Thumbnail
2021-11-24
4
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
57
金融科技與生活美學的融合 CUBE App實踐自我理想最近開啟了研究工作,也開始斜槓著手團購、行銷、洽談業務,慢慢想打造一條屬於自己的道路,而工作忙碌之虞,總忘記自己刷卡消費明細、信用卡繳費,還會忽略了最應該的投資理財,也常常在忙碌奔波中忘記信用卡優惠,國泰世華CUBE App給足了這些功能和服務。 日常生活與數位、科技形影不離,同時也拉近彼此距
Thumbnail
2024-07-11
12
美好的回憶~托斯卡尼尼義大利餐廳(竹北) 在追風奇幻島玩了一個下午,孩子們消耗了體力,肚子咕嚕咕嚕的叫,哈🤣 這間位於竹北市,我們剛好選擇的位置靠窗戶,可以俯瞰整個視野,在用餐期間,孩子們遠遠看著高鐵呼嘯而過,很驚喜。燈光美、氣氛佳,主廚用心料理、服務人員親切的態度,值得推薦的好景點。
Thumbnail
美好的回憶是幸福的基石 日內瓦的十二月很熱鬧,滿街滿城張燈結綵喜洋洋。滿城的氣氛是神聖,童話,奇幻,慶典,歡愉的。一年的最後一個月以一場大雪展開序幕。白白的雪,像一陣急雨不停的落,雪花紛飛感覺到聖誕節的氣氛。大街小巷彩燈,聖誕樹,喜洋洋的紅色櫥窗像在拉客人進屋觀賞消費。
Thumbnail
2023-12-31
29
《日本好色#34》楓紅倒影絕美景色~二訪輕井澤帶回滿滿的相片及美好回憶集合了優美景致、歐洲風情、滑雪、購物等諸多條件,輕井澤一直東京近郊最受歡迎的度假勝地之一;夏天氣候涼爽,秋天賞楓,冬天又能滑雪,愛買東西的人都不會錯過車站旁的大型outlet,也難怪距離東京車程約一小時的輕井澤,會吸引大批國內外的遊客到訪。我呢,就來了兩次。
Thumbnail
2023-12-03
22
教養孩子,是父母人生最美好的回憶帶孩子旅遊,往往令家長又愛又怕,本書提到的10年是指孩子5-15歲的這段期間,希望能在孩子有點獨立、又還是黏媽媽的年齡一起旅行,體會相依為命的幸福,也留下些親子間的回憶。 但想到旅途中要應付那情緒不穩定的孩童,還是不免替自己捏一把冷汗,而本書正是在幫助家長們堅定自己的信心,提醒我們為人父母記得用旅
Thumbnail
2023-09-01
3
佳作#20-記一段國小最美好的回憶「學務處報告,恭喜六年四班的候選人當選第二十四屆小市長!」剛廣播完,全班的同學都興高采烈地為我鼓掌,連老師也不例外。我向老師看了一眼,老師對我眨了眨眼,好像在暗示我:「加油!這一年就看你的了!」。 幾天後,我就任小市長,平時我走在路上,開始會有學弟、妹對我指指點點,說:「欸!那個就是小市長。」聽完我
Thumbnail
2023-08-31
4
美好的回憶,本就傷人池塘邊的鴨子與隔壁村文靜的兔子在一起了!整個池塘都被這個消息炸鍋了!如此不同的兩個個體啊!彷彿不怕熱鬧似的!鴨子為了與兔子一起生活,還特別在池塘附近蓋了一間小屋🛖連兔子的家人都搬到附近一起住了,不怕事的人們總是張望著小屋裡的動靜,一天天過了,兩個人總是出入成雙的活動著…. 鴨子有兩個家,一個是與兔
2023-01-08
5
國小最美好的回憶畢業旅行,這個名詞,是所有國小生共同所期待的事,而隨著時光流轉,一眨眼,我就六年級了,在一眨眼,就是畢業旅行的前一天了,我打包好行李,滿心期待地在床上睡著了,一大清早,六點半,我拿起行囊,跨出家門,心中的心情錯中複雜,百感交集,不知是期待,還是緊張??
Thumbnail
2022-12-06
14
幸福來自主動選擇與釀造美好的回憶很多東西可以勾起我們的回憶,最常見的是老相片與信件,其他如塞在抽屜深處朋友送的小紀念品或某一次旅行時買的鑰匙圈……等等,或者聽到一首歌,忽然聞到某個特殊的味道……這些都有可能呼喚出早已被我們遺忘的往事。 雖然有人會消遣說,常常回顧往事,常提當年勇,是老化的象徵,這些話鼓勵人要往前看,不斷開創新的人生
Thumbnail
2022-12-06
9
創造美好的回憶幾個月前的一個晚上接到哥哥的電話,在電話中哥哥問我記不記得幾年前帶媽媽去日本,有沒有買什麼鏈子,我想了很久印象中沒有。 問哥哥怎麼回事,原來是媽媽說之前去日本有買的東西找不到,但是又說不出來是什麼? 跟哥哥問清楚後,原來媽媽從早上想到這件事就開始在找,除了看護,還有哥哥、嫂嫂下班回家也加入尋寶的行列
Thumbnail
2021-11-24
4