水果-沙拉(fruit-SALAD): 水果類別(語義)和藝術(風格)

更新於 發佈於 閱讀時間約 2 分鐘
科學中有藝術,藝術中有科學。

這是A.H.對科普的熱情與目標。這個周末,就來點機器學習的「水果-沙拉」,讓我們欣賞一下機器的藝術力。 

《自然》的《科學資料》(Scientific Data)在2025年2月12日中的資料描述符展示了風格對齊的藝術品資料集(SALAD),以及一個包含10,000張的水果描繪圖像水果-沙拉(fruit-SALAD)範例,為電腦視覺提供了基準資料集。此研究通過各種機器學習模型美學複雜性的量測來表徵資料集,展示了如何透過影像向量的簡單成對比較,來產生穩健的可比較測量[1]。 

不過今天不討論演算法和人類對計算、統計模型中測量向量的相似性、和視覺相似性差異的感知問題。來點輕鬆的,單純就欣賞和開一下眼界,看看AI趨勢下的藝術進展。

影像生成過程概述如下圖:

  1. 使用 Stable Diffusion XL 以手動試錯的方式產生風格參考影像,使用風格描述的文字提示結合「一個蘋果」
  2. 根據每種風格參考圖像,使用diffusion inversion文字提示,產生風格對齊的圖像,反覆運算10個水果類別,每個類別產生100個實例,最終產生10,000張圖像。
  3. 帶有選擇標準範例的手動管理:容忍不影響類別或風格識別的小問題(綠色),並拒絕無法識別或風格不一致的主要問題(紅色)。最後一步包括表徵提取,建立圖像嵌入以進行模型比較。

看完後,今天想吃什麼水果? 小a早餐吃了一顆蘋果。看完後,有沒有覺得似曾相似的AI水果? 話不多說,立馬來張 #與AI協力繪製的蘋果,包含了四個知名藝術大師的風格,猜得出來嗎?

raw-image


[1] Ohm, T., Karjus, A., Tamm, M.V. et al. fruit-SALAD: A Style Aligned Artwork Dataset to reveal similarity perception in image embeddings. Sci Data 12, 254 (2025).

avatar-img
98會員
220內容數
愛因斯坦: "所有的科學都只不過是日常思維的提煉。” 對於A.H.而言,每個人的內在都住著一個好奇的小孩, A.H.藉著寫科普,提煉日常的觀察與理解, 期待科學其實也能成為大家閒話家常的有趣日常。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
A.H.科普(pScience) 的其他內容
話說上回我們聊到,AI“智慧”目前有#特定領域限定的發展趨勢,在生物醫學和生命科學領域遙遙領先。而最新《科學》美國史丹佛大學的一項對近600人研究(2025年2月20日) 開發了一個用於免疫診斷的機器學習的架構( Mal-ID),可以解釋人類血液樣本中B細胞和T細胞受體(BCR和TCR)的可變序列。
人類多功能幹細胞(hPSCs),包括人類胚胎幹細胞(hESC)和人類誘導多能幹細胞(hiPSC)。它可以在培養物中無限期地自我更新,同時保持成為人體中幾乎任何細胞類型的能力。而幹細胞研究史上重大科學進展的時程、以及hPSCs與多巴胺關係。。。
2025年1月30日, 美國著名科學家Eric Jeffrey Topol在《科學》的一篇題為「用AI學習的生命科學語言」(Learning the language of life with AI)的文章簡述展望了AI在生命科學領域大型語言模型(LLLM)的進展與願景。。。
上回我們對AI打敗了神經科學家嘖嘖稱奇,這回AI卻在博士級的歷史考試中被當了? 難道說,AI的“智慧”有“特定領域限定”? 2025年1月21日維也納複雜性科學中心(Complexity Science Hub,CSH)發布了一則新聞: 「ChatGPT 能通過博士級歷史考試嗎?」副標題回答說。。。
為慶祝怦然驚嚇的人生整理篇I (燙衣服)、II(烘衣物)、III(清地板)入選即時精選,小a加碼限時公開發佈一天: 美國研究關於室內空氣品質的知識本體,協助讀者了解和室內空氣品質概念和相關變數。。。
2024年,AI在科學界似乎進入,大鳴大放火花四放的驚喜狀態。先是兩位AI諾貝爾獎得主,然後AI打敗了神經科學家,藉著《自然》在12月連續討論了AI機器人如何改變科學家的研究和生活,並乾脆直稱大型語言模型為「AI科學家」、接著餵食AI大量的結構化資料集。現在,更妙的是達成了。。。
話說上回我們聊到,AI“智慧”目前有#特定領域限定的發展趨勢,在生物醫學和生命科學領域遙遙領先。而最新《科學》美國史丹佛大學的一項對近600人研究(2025年2月20日) 開發了一個用於免疫診斷的機器學習的架構( Mal-ID),可以解釋人類血液樣本中B細胞和T細胞受體(BCR和TCR)的可變序列。
人類多功能幹細胞(hPSCs),包括人類胚胎幹細胞(hESC)和人類誘導多能幹細胞(hiPSC)。它可以在培養物中無限期地自我更新,同時保持成為人體中幾乎任何細胞類型的能力。而幹細胞研究史上重大科學進展的時程、以及hPSCs與多巴胺關係。。。
2025年1月30日, 美國著名科學家Eric Jeffrey Topol在《科學》的一篇題為「用AI學習的生命科學語言」(Learning the language of life with AI)的文章簡述展望了AI在生命科學領域大型語言模型(LLLM)的進展與願景。。。
上回我們對AI打敗了神經科學家嘖嘖稱奇,這回AI卻在博士級的歷史考試中被當了? 難道說,AI的“智慧”有“特定領域限定”? 2025年1月21日維也納複雜性科學中心(Complexity Science Hub,CSH)發布了一則新聞: 「ChatGPT 能通過博士級歷史考試嗎?」副標題回答說。。。
為慶祝怦然驚嚇的人生整理篇I (燙衣服)、II(烘衣物)、III(清地板)入選即時精選,小a加碼限時公開發佈一天: 美國研究關於室內空氣品質的知識本體,協助讀者了解和室內空氣品質概念和相關變數。。。
2024年,AI在科學界似乎進入,大鳴大放火花四放的驚喜狀態。先是兩位AI諾貝爾獎得主,然後AI打敗了神經科學家,藉著《自然》在12月連續討論了AI機器人如何改變科學家的研究和生活,並乾脆直稱大型語言模型為「AI科學家」、接著餵食AI大量的結構化資料集。現在,更妙的是達成了。。。
你可能也想看
Google News 追蹤
Thumbnail
台灣是水果王國,一年四季都盛產水果,例如春季有桑葚、梅子、李子、枇杷,夏季有西瓜、芒果、荔枝、百香果,秋季有柚子、柿子、蘋果、火龍果,冬天有草莓、柳丁、柑橘、蜜棗,而芭樂、香蕉、番茄、葡萄更是一年四季都生產,今天和大家分享六首以水果為名的歌曲:
大學,我跟S上完課從學校回到租屋處時,路程中看到Y進去水果行,於是我們也跟著Y的後面進去。Y買了幾顆西瓜,S考慮著要不要買水蜜桃,因為價錢有些難以下手,最後不了了之。 隔天上課,我再次路過那間水果行,做出原本打算好的預謀,走了進去。
Thumbnail
「品橘」兩個字你會想到什麼?要不就是各種柑橘類水果一字排開,一一欣賞品嘗,要不就某種橘子做出來的美食甜點擺滿桌,試試看各自風味如何,總之,第一時間想的應該是吃下肚吧。用藝術來品橘呢?看見一盤水果以為畫畫課就只等於靜物寫生嗎?實則不然,一枝畫筆能抵達的境界超乎想像。
甜點特派員的徵文 身為愛吃甜食的人類,看到這個企劃就也想來試著寫看看,文筆沒有很好請見諒 水果檸檬巧克力熔岩蛋糕
Thumbnail
企業在訂立員工守則或公司流程的過程都還比立法院立法嚴謹太多了!
Thumbnail
「A是B/B在A」主題為讓小朋友了解許多事情與物品像是一串一串的連結,讓孩子們能理解一樣物品背後會有很多連結。 認識柑橘類水果,哪個是柳丁?哪個是
Thumbnail
好久沒寫今日早餐,今天星期日的早餐主角是水果,都是小Q姑姑拿回來的,早餐就來個水果大餐。 今日早餐 彩色蕃茄 夏雪芒果 白櫻桃 桂冠奶黃包/芝麻包/炸薯條/德國香腸/杏鮑菇 夏雪芒果果肉顏色偏黃,味道比較像土芒果,還蠻甜。 彩色蕃茄最近蠻常吃,吃起來和一般蕃茄差不多就是顏色繽紛。
Thumbnail
在上一週的節目中,我們介紹了4組在英語中和水果相關的有趣片語和它們的例句。而在英語之中,這樣跟食物有關連的趣味片語還有不少,今天我們就來聊一聊英語中和西點相關的一些有趣用法,也希望大家都能夠喜歡。 『3分
Thumbnail
今天下午下班後,我搭公車去圖書館拿預約書,接著再去美術社買水彩紙,因為很想吃甜點,但又忍住不吃精緻的點心,怕對身體有負擔,所以我就決定買水果。
Thumbnail
這個週末一直都在書桌前「認真」「用功」。 ✍ 愛我所畫,夢我所愛 圖。文/布恣芽朵
Thumbnail
台灣是水果王國,一年四季都盛產水果,例如春季有桑葚、梅子、李子、枇杷,夏季有西瓜、芒果、荔枝、百香果,秋季有柚子、柿子、蘋果、火龍果,冬天有草莓、柳丁、柑橘、蜜棗,而芭樂、香蕉、番茄、葡萄更是一年四季都生產,今天和大家分享六首以水果為名的歌曲:
大學,我跟S上完課從學校回到租屋處時,路程中看到Y進去水果行,於是我們也跟著Y的後面進去。Y買了幾顆西瓜,S考慮著要不要買水蜜桃,因為價錢有些難以下手,最後不了了之。 隔天上課,我再次路過那間水果行,做出原本打算好的預謀,走了進去。
Thumbnail
「品橘」兩個字你會想到什麼?要不就是各種柑橘類水果一字排開,一一欣賞品嘗,要不就某種橘子做出來的美食甜點擺滿桌,試試看各自風味如何,總之,第一時間想的應該是吃下肚吧。用藝術來品橘呢?看見一盤水果以為畫畫課就只等於靜物寫生嗎?實則不然,一枝畫筆能抵達的境界超乎想像。
甜點特派員的徵文 身為愛吃甜食的人類,看到這個企劃就也想來試著寫看看,文筆沒有很好請見諒 水果檸檬巧克力熔岩蛋糕
Thumbnail
企業在訂立員工守則或公司流程的過程都還比立法院立法嚴謹太多了!
Thumbnail
「A是B/B在A」主題為讓小朋友了解許多事情與物品像是一串一串的連結,讓孩子們能理解一樣物品背後會有很多連結。 認識柑橘類水果,哪個是柳丁?哪個是
Thumbnail
好久沒寫今日早餐,今天星期日的早餐主角是水果,都是小Q姑姑拿回來的,早餐就來個水果大餐。 今日早餐 彩色蕃茄 夏雪芒果 白櫻桃 桂冠奶黃包/芝麻包/炸薯條/德國香腸/杏鮑菇 夏雪芒果果肉顏色偏黃,味道比較像土芒果,還蠻甜。 彩色蕃茄最近蠻常吃,吃起來和一般蕃茄差不多就是顏色繽紛。
Thumbnail
在上一週的節目中,我們介紹了4組在英語中和水果相關的有趣片語和它們的例句。而在英語之中,這樣跟食物有關連的趣味片語還有不少,今天我們就來聊一聊英語中和西點相關的一些有趣用法,也希望大家都能夠喜歡。 『3分
Thumbnail
今天下午下班後,我搭公車去圖書館拿預約書,接著再去美術社買水彩紙,因為很想吃甜點,但又忍住不吃精緻的點心,怕對身體有負擔,所以我就決定買水果。
Thumbnail
這個週末一直都在書桌前「認真」「用功」。 ✍ 愛我所畫,夢我所愛 圖。文/布恣芽朵