Flux.1 免費開源文生圖模型介紹及使用指南 @ 4060Ti 16G

更新於 2024/08/20閱讀時間約 6 分鐘

Flux.1 是一款免費開源的模型,用於文生圖
說起文生圖,最近的突破就是文字在 AI 的圖像中終於可控了,以前總是一堆奇怪的文字

本次使用的虛擬機

raw-image

RAM: 16GB

GPU: 4060Ti 16G

OS:Ubuntu 22.04 LTS

Driver:555.42.02

CUDA Version: 12.1


安裝 ComfyUI

  1. git clone https://github.com/comfyanonymous/ComfyUI
  2. 將 SD 放到 models/checkpoints
  3. 將 VAE 放到 models/vae

在 Conda 虛擬環境上安裝套件

(base) sung@gpu:~/ComfyUI$ conda create -n flux
Channels:
- defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done

(base) sung@gpu:~/ComfyUI$ conda activate flux
(flux) sung@gpu:~/ComfyUI$ pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(flux) sung@gpu:~/ComfyUI$ pip install -r requirements.txt

ComfyUI 中文化

  1. cd ComfyUI/Custom_nodes
  2. git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation

下載 Flux 模型

(flux) sung@gpu: cd ComfyUI/models/unet
(flux) sung@gpu:~/ComfyUI/models/unet$ (flux) sung@gpu:~/ComfyUI/models/unet$ wget https://huggingface.co/Kijai/flux-fp8/resolve/main/flux1-dev-fp8.safetensors

下載 CLIP 模型 (Text Encoder)

comfyanonymous/flux_text_encoders at main (huggingface.co)

  • FP16,需要 32G VRAM
  • 我們所選用的 FP8 版本

(flux) sung@gpu:~/ComfyUI/models/clip$ wget https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp8_e4m3fn.safetensors
(flux) sung@gpu:~/ComfyUI/models/clip$ wget https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors

下載 VAE 模型

(flux) sung@gpu:~$ cd ComfyUI/models/vae
(flux) sung@gpu:~/ComfyUI/models/vae$ wget https://huggingface.co/black-forest-labs/FLUX.1-schnell/resolve/main/ae.safetensors

啟動 ComfyUI

(flux) sung@gpu:~/ComfyUI$ python3 main.py --listen
Total VRAM 15985 MB, total RAM 15952 MB
pytorch version: 2.2.2+cu121
Set vram state to: NORMAL_VRAM
Device: cuda:0 NVIDIA GeForce RTX 4060 Ti : cudaMallocAsync
Using pytorch cross attention
****** User settings have been changed to be stored on the server instead of browser storage. ******
****** For multi-user setups add the --multi-user CLI argument to enable multiple user profiles. ******
[Prompt Server] web root: /home/sung/ComfyUI/web

Import times for custom nodes:
0.0 seconds: /home/sung/ComfyUI/custom_nodes/websocket_image_save.py

Starting server

To see the GUI go to: http://0.0.0.0:8188

執行 Sample 例子

Flux.1 ComfyUI Guide, workflow and example – ComfyUI-WIKI 可以下載 Sample JSON

使用 Flux under 12GB VRAM

raw-image
  1. 下載後,從 ComfyUI 進行載入 (Load)
  2. 如果需要的話,調整其他參數
  3. 點選 Queue Prompt 後進行圖片的生成













遇到的問題

模型載入到一半死掉?

通常是 VRAM 不足夠模型去跑,或者是產出的圖片太大,導致 VRAM 使用超過

第一次載入要多久?

raw-image

解析度不夠可以怎麼調整?

raw-image
raw-image

調整 Steps 使多可以使畫面變得清晰




raw-image


參考資料

Flux Examples | ComfyUI_examples (comfyanonymous.github.io)

Flux.1 ComfyUI Guide, workflow and example – ComfyUI-WIKI

avatar-img
2會員
2內容數
實戰大於理論,理論不行 GPT 來補!
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
S.Feng 沙龍 的其他內容
這篇文章詳細介紹瞭如何將智能開關接入 Home Assistant 系統的刷機過程。文章中提供了詳細的接線步驟及拆解方法,幫助使用者輕鬆完成刷機,並最終在 Home Assistant 中正常運行。無論您是否為新手,這篇指南都將引導您順利完成智能家居的設定。
這篇文章詳細介紹瞭如何將智能開關接入 Home Assistant 系統的刷機過程。文章中提供了詳細的接線步驟及拆解方法,幫助使用者輕鬆完成刷機,並最終在 Home Assistant 中正常運行。無論您是否為新手,這篇指南都將引導您順利完成智能家居的設定。
你可能也想看
Google News 追蹤
Thumbnail
投資新手大多從身邊市場開始著手,選擇台股市場入門,單筆投資或台股定期定額投資,隨著經驗累積,進入美股市場也是好選擇,這篇文章帶你前進美股投資,證券開戶選擇國內券商複委託,使用美股定期定額投資,並以國泰 CUBE App為例說明。 內容目錄: 1.一站式開戶:以國泰世華 CUBE App 為例
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
之前試 FLUX 是透過 TensorArt 的 AI 工具,不過這樣的方式~操作上跟原本我的操作習慣是分開的,有點小小困擾。 這幾天,有人,把 FLUX 模型放上 TensorArt 了! 喔! 我試了一下,還不錯用,比用 AI Tools 那邊方便多,也習慣多了!
Thumbnail
Flux 也蠻出色的,畫腳丫子的成功率也蠻高(比起以前 SD 而言,哈哈!)。 上圖、下圖的提示詞都是: Create an image of a 30-year-old Asian Office Lady with a height of about 5'4" (163 cm)...
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
了解如何使用 Cloudflare Workers AI 與 Whisper 建立免費開源的語音辨識功能。本文詳細說明註冊步驟、部署流程及程式碼修改,讓你輕鬆將語音轉換成文字。
Thumbnail
其實,我建議,用編輯軟體(如: Canva 或 Photopea )處理文字可能比較方便(尤其想寫中文的話)。 我想介紹一個最近出現,在 TensorArt 中就能使用的生圖新技術 FLUX。我不確定稱他為 "新技術" 是否恰當,畢竟我不是 AI 繪圖這方面的專家,很難精準的說它是啥的,請見諒
Global Info Research announces the release of the report “Global Heavy Duty Rosin Flux Remover Market 2024 by Manufacturers, Regions, Type and Applica
Thumbnail
Fluxus,又稱激浪派,是在 1960 年代興起的前衛運動,強調將藝術與日常生活緊密聯繫。無論是實物作品還是表演作品,激浪派的作品往往展現了對藝術本身的批判態度,並將過程置於成品之上。
Thumbnail
本文提供如何使用 Google Colab 結合 Faster Whisper 來提升語音辨識速度與準確性,包含安裝指南與使用方法。探索如何將語音轉換為文本,並對檔案進行不同格式的輸出。
Thumbnail
本篇筆記了如何使用Google Colab和OpenAI的Whisper Large V3進行免費且開源的語音辨識。涵蓋從基礎設定到實際運用的步驟,適合初學者和技術愛好者輕鬆學習語音辨識技術。
Thumbnail
我喜歡富樂市,在於他們硬是在一個老宅重生的店裡,硬是把餐點做出法式餐廳水準,口袋餅堅持要火烤,cream cheese莫名的堅持,半熟太陽蛋用鑄鐵TURK鍋現煎,配菜只有簡單的小黃瓜片、蘿蔔絲、甜菜絲,我無法理解為什麼同樣是生菜,有的店家可以味同塑膠片,富樂市可以保存得清爽多汁。
Thumbnail
投資新手大多從身邊市場開始著手,選擇台股市場入門,單筆投資或台股定期定額投資,隨著經驗累積,進入美股市場也是好選擇,這篇文章帶你前進美股投資,證券開戶選擇國內券商複委託,使用美股定期定額投資,並以國泰 CUBE App為例說明。 內容目錄: 1.一站式開戶:以國泰世華 CUBE App 為例
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
之前試 FLUX 是透過 TensorArt 的 AI 工具,不過這樣的方式~操作上跟原本我的操作習慣是分開的,有點小小困擾。 這幾天,有人,把 FLUX 模型放上 TensorArt 了! 喔! 我試了一下,還不錯用,比用 AI Tools 那邊方便多,也習慣多了!
Thumbnail
Flux 也蠻出色的,畫腳丫子的成功率也蠻高(比起以前 SD 而言,哈哈!)。 上圖、下圖的提示詞都是: Create an image of a 30-year-old Asian Office Lady with a height of about 5'4" (163 cm)...
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
了解如何使用 Cloudflare Workers AI 與 Whisper 建立免費開源的語音辨識功能。本文詳細說明註冊步驟、部署流程及程式碼修改,讓你輕鬆將語音轉換成文字。
Thumbnail
其實,我建議,用編輯軟體(如: Canva 或 Photopea )處理文字可能比較方便(尤其想寫中文的話)。 我想介紹一個最近出現,在 TensorArt 中就能使用的生圖新技術 FLUX。我不確定稱他為 "新技術" 是否恰當,畢竟我不是 AI 繪圖這方面的專家,很難精準的說它是啥的,請見諒
Global Info Research announces the release of the report “Global Heavy Duty Rosin Flux Remover Market 2024 by Manufacturers, Regions, Type and Applica
Thumbnail
Fluxus,又稱激浪派,是在 1960 年代興起的前衛運動,強調將藝術與日常生活緊密聯繫。無論是實物作品還是表演作品,激浪派的作品往往展現了對藝術本身的批判態度,並將過程置於成品之上。
Thumbnail
本文提供如何使用 Google Colab 結合 Faster Whisper 來提升語音辨識速度與準確性,包含安裝指南與使用方法。探索如何將語音轉換為文本,並對檔案進行不同格式的輸出。
Thumbnail
本篇筆記了如何使用Google Colab和OpenAI的Whisper Large V3進行免費且開源的語音辨識。涵蓋從基礎設定到實際運用的步驟,適合初學者和技術愛好者輕鬆學習語音辨識技術。
Thumbnail
我喜歡富樂市,在於他們硬是在一個老宅重生的店裡,硬是把餐點做出法式餐廳水準,口袋餅堅持要火烤,cream cheese莫名的堅持,半熟太陽蛋用鑄鐵TURK鍋現煎,配菜只有簡單的小黃瓜片、蘿蔔絲、甜菜絲,我無法理解為什麼同樣是生菜,有的店家可以味同塑膠片,富樂市可以保存得清爽多汁。