【Hugging Face】Ep.7 以文生圖的魔幻製圖師(Text To Image)
更新於 發佈於 閱讀時間約 5 分鐘
我們過往介紹了幾個關於文字AI應用的篇章：
- 【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
- 【Hugging Face】Ep.6 解決問題的專業級破關知識家(Question Answering)
但單獨的文字應用似乎不太能滿足千變萬化的應用時代，相信常常我們都有在Line、Facebook看到過梗圖吧！ 但這些梗圖都非常的陽春，通常在我們給予的背景圖上加註文字，就產生很多的問候圖，非常的呆板，那如果AI能夠理解我們的意圖並繪製出圖片不就更完美了嗎？ 很幸運的我們搭上了AI發展的時代列車，這樣的技術也越趨成熟，各式各樣的模型也都有高手經過微調放置在網路上開源共享，這個篇章我們就會實際以技術角度來進行使用，並測試看看效果如何。
圖片來源
我們需要哪些素材？
由於目前效果最好的莫過於「stable-diffusion」了，它是2022年發布的深度學習文字到圖像生成模型， 因此我們也會以它來進行任務，但此模型對於「中文」的識別來說並不友善 😔 ， 那我們能怎麼做呢？
當然可以對該模型進行Fine Tune， But…數據哪裡來？
除了自行Fine Tune之外還有別的思路嗎？ 當然有！ 我們在「【Hugging Face】Ep.2 初探新手村, 打造專屬的翻譯官」有介紹了如何搭建一個翻譯官， 那這位翻譯官不就能夠幫助我們將中文翻譯成中文了嗎？ 透過簡單的AI工具庫組合技巧就能夠幫我們完成中文語句產生圖像的任務了， 如此一來需要的素材大致如下：
- 翻譯AI: Helsinki-NLP/opus-mt-zh-en
- 文字生成圖片AI: runwayml/stable-diffusion-v1-5
怎麼找這些模型呢？
在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過HuggingFace平台如何精準的找出我們需要的模型。
安裝套件
!pip install diffusers
!pip install transformers
我們先看看尚未翻譯過的成果
from diffusers import StableDiffusionPipeline
import torch
t2i = StableDiffusionPipeline.from_pretrained('runwayml/stable-diffusion-v1-5')
t2i = t2i.to("cpu")
prompt = "一個在窗戶上的蘋果"
image = t2i(prompt).images[0]
image
圖片來源
我們期望有蘋果、有窗， But…怎麼會是這樣呢？ 這是什麼鬼?
仔細看了官方說明文件有指出: 「該模型主要使用英文字幕進行訓練，在其他語言中效果不佳。」
圖片來源
既然如此我們何不搭個翻譯官，幫我們將中文翻譯成英文再讓以文產圖機器人更容易理解呢？
透過翻譯讓AI更理解我們的需求
我們就在產生圖片之前加掛翻譯功能， 將我們的中文語句翻譯成英文， 再讓Text-to-Image AI理解我們真正的意圖。
翻譯
透過翻譯， 讓我們將中文轉換成英文。
from transformers import pipeline
# 使用翻譯任務
translator = pipeline("translation", model='Helsinki-NLP/opus-mt-zh-en')
t = translator('一個在窗戶上的蘋果')
prompt = t[0]['translation_text']
重新生成圖片
image = t2i(prompt).images[0]
image
圖片來源
看起來正常多了， 有窗、有蘋果， 基本上都滿足我們提出的需求。
今天的範例都在這裡「📦huggingface/huggingface_text2image.ipynb」歡迎自行取用。
如何使用請參閱「【Google Colab系列】台股分析預備式： Colab平台與Python如何擦出火花？」。
結語
藉由Hugging Face平台， 我們可以親手打造各式各樣的AI機器人， 上面也已經有許多前輩分享的模型可供使用， 對於我們來說只要站在巨人的肩膀上即可， 也期望有朝一日我們也能訓練出對這世界更有幫助的AI模型。
喜歡撰寫文章的你，不妨來了解一下：
Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入？
歡迎加入一起練習寫作，賺取知識！
更多關於【Hugging Face 系列】…
- 【Hugging Face】Ep.1 平凡人也能玩的起的AI平台
- 【Hugging Face】Ep.2 初探新手村, 打造專屬的翻譯官
- 【Hugging Face】Ep.3 前往Datasets掏金趣
- 【Hugging Face】Ep.4 文字與模型的轉換器Tokenizer
- 【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
- 【Hugging Face】Ep.6 解決問題的專業級破關知識家(Question Answering)
- 【Hugging Face】Ep.7 以文生圖的魔幻製圖師(Text To Image)
- 【Hugging Face】Ep.8 專業的標準化推理家(Inference API)
- 【Hugging Face Dataset】❗ 使用Process時請注意硬碟空間…
118會員
267內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部本篇參與的主題活動
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
AI生成圖片是一個挑戰性的任務，雖然AI能理解文字需求，但仍無法完全想像心中的理想畫面。使用中文描述AI的生成效果約為5成到6成，而加入擬人化的描述可以讓AI更好地理解需求。無論如何，AI生成圖片仍面臨許多挑戰，需要更多的研究與嘗試。
本文下方連結的文章，利用Stable Diffusion生成512 * 512大小的圖片。
輸入的文字是 dog flying in space，此模型需輸入英文句子才會準確生成。
參考文獻
連結該作者在Hugging Face公開的模型去做使用。
本文是在Colab上執行。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下：
!pip -q install transformers
AnyText是一款先進的圖像AI工具，利用深度學習技術，根據你輸入的文字描述生成圖像，更棒的是，它能生成繁體中文，而且能指定文字生成的位置。
上圖是根據彩色故事腳本生成的照片與草圖。
運用圖生圖的原理，把AI視覺故事腳本的其中一個畫面。擷取出來。
輸入重新繪製這張圖片
AI 會自然根據草圖，重新繪製元素一樣的精細畫面。
Enhance This HiDiffusion SDXL是一個AI模型，結合HiDiffusion和SDXL兩種圖像生成模型，可以根據既有影像和文字描述生成新的圖像，可用來提高圖像解析度、修復瑕疵、轉換風格和自由創造新的圖像。
在 AI 應用中，圖像、語音、文字三種可以說是主要應用，其中我一直以來都是專注於圖像上的研究，對於另兩種僅止於淺嚐，接下來就往音訊上研究看看，先從入門級的Text-To-Speech (TTL) 入場並一個個嘗試其他類型的應用，那麼，就讓我們開始吧。
隨著人工智能技術的發展，AI 繪圖已經變得常見。Fast Stable Diffusion XL on TPUv5e 是在 Hugging Face 平臺上建立的演示模型，使用 TPU v5e 運行 SDXL 模型，大幅提高了圖像生成速度，生成一張 1024x1024 圖像只需約 10 秒。
「AI 表情符號產生器」的工具採用了 Stable Diffusion 技術，能夠將文字轉換為生動的表情符號。每日提供 6 個免費生成額度，只需輸入提示詞，就可以生成獨特且高品質的表情符號。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
AI生成圖片是一個挑戰性的任務，雖然AI能理解文字需求，但仍無法完全想像心中的理想畫面。使用中文描述AI的生成效果約為5成到6成，而加入擬人化的描述可以讓AI更好地理解需求。無論如何，AI生成圖片仍面臨許多挑戰，需要更多的研究與嘗試。
本文下方連結的文章，利用Stable Diffusion生成512 * 512大小的圖片。
輸入的文字是 dog flying in space，此模型需輸入英文句子才會準確生成。
參考文獻
連結該作者在Hugging Face公開的模型去做使用。
本文是在Colab上執行。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下：
!pip -q install transformers
AnyText是一款先進的圖像AI工具，利用深度學習技術，根據你輸入的文字描述生成圖像，更棒的是，它能生成繁體中文，而且能指定文字生成的位置。
上圖是根據彩色故事腳本生成的照片與草圖。
運用圖生圖的原理，把AI視覺故事腳本的其中一個畫面。擷取出來。
輸入重新繪製這張圖片
AI 會自然根據草圖，重新繪製元素一樣的精細畫面。
Enhance This HiDiffusion SDXL是一個AI模型，結合HiDiffusion和SDXL兩種圖像生成模型，可以根據既有影像和文字描述生成新的圖像，可用來提高圖像解析度、修復瑕疵、轉換風格和自由創造新的圖像。
在 AI 應用中，圖像、語音、文字三種可以說是主要應用，其中我一直以來都是專注於圖像上的研究，對於另兩種僅止於淺嚐，接下來就往音訊上研究看看，先從入門級的Text-To-Speech (TTL) 入場並一個個嘗試其他類型的應用，那麼，就讓我們開始吧。
隨著人工智能技術的發展，AI 繪圖已經變得常見。Fast Stable Diffusion XL on TPUv5e 是在 Hugging Face 平臺上建立的演示模型，使用 TPU v5e 運行 SDXL 模型，大幅提高了圖像生成速度，生成一張 1024x1024 圖像只需約 10 秒。
「AI 表情符號產生器」的工具採用了 Stable Diffusion 技術，能夠將文字轉換為生動的表情符號。每日提供 6 個免費生成額度，只需輸入提示詞，就可以生成獨特且高品質的表情符號。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。