Flux.1 免費開源文生圖模型介紹及使用指南 @ 4060Ti 16G

S.Feng-avatar-img
發佈於AI
更新於 發佈於 閱讀時間約 6 分鐘

Flux.1 是一款免費開源的模型,用於文生圖
說起文生圖,最近的突破就是文字在 AI 的圖像中終於可控了,以前總是一堆奇怪的文字

本次使用的虛擬機

raw-image

RAM: 16GB

GPU: 4060Ti 16G

OS:Ubuntu 22.04 LTS

Driver:555.42.02

CUDA Version: 12.1


安裝 ComfyUI

  1. git clone https://github.com/comfyanonymous/ComfyUI
  2. 將 SD 放到 models/checkpoints
  3. 將 VAE 放到 models/vae

在 Conda 虛擬環境上安裝套件

(base) sung@gpu:~/ComfyUI$ conda create -n flux
Channels:
- defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done

(base) sung@gpu:~/ComfyUI$ conda activate flux
(flux) sung@gpu:~/ComfyUI$ pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(flux) sung@gpu:~/ComfyUI$ pip install -r requirements.txt

ComfyUI 中文化

  1. cd ComfyUI/Custom_nodes
  2. git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation

下載 Flux 模型

(flux) sung@gpu: cd ComfyUI/models/unet
(flux) sung@gpu:~/ComfyUI/models/unet$ (flux) sung@gpu:~/ComfyUI/models/unet$ wget https://huggingface.co/Kijai/flux-fp8/resolve/main/flux1-dev-fp8.safetensors

下載 CLIP 模型 (Text Encoder)

comfyanonymous/flux_text_encoders at main (huggingface.co)

  • FP16,需要 32G VRAM
  • 我們所選用的 FP8 版本

(flux) sung@gpu:~/ComfyUI/models/clip$ wget https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp8_e4m3fn.safetensors
(flux) sung@gpu:~/ComfyUI/models/clip$ wget https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors

下載 VAE 模型

(flux) sung@gpu:~$ cd ComfyUI/models/vae
(flux) sung@gpu:~/ComfyUI/models/vae$ wget https://huggingface.co/black-forest-labs/FLUX.1-schnell/resolve/main/ae.safetensors

啟動 ComfyUI

(flux) sung@gpu:~/ComfyUI$ python3 main.py --listen
Total VRAM 15985 MB, total RAM 15952 MB
pytorch version: 2.2.2+cu121
Set vram state to: NORMAL_VRAM
Device: cuda:0 NVIDIA GeForce RTX 4060 Ti : cudaMallocAsync
Using pytorch cross attention
****** User settings have been changed to be stored on the server instead of browser storage. ******
****** For multi-user setups add the --multi-user CLI argument to enable multiple user profiles. ******
[Prompt Server] web root: /home/sung/ComfyUI/web

Import times for custom nodes:
0.0 seconds: /home/sung/ComfyUI/custom_nodes/websocket_image_save.py

Starting server

To see the GUI go to: http://0.0.0.0:8188

執行 Sample 例子

Flux.1 ComfyUI Guide, workflow and example – ComfyUI-WIKI 可以下載 Sample JSON

使用 Flux under 12GB VRAM

raw-image
  1. 下載後,從 ComfyUI 進行載入 (Load)
  2. 如果需要的話,調整其他參數
  3. 點選 Queue Prompt 後進行圖片的生成













遇到的問題

模型載入到一半死掉?

通常是 VRAM 不足夠模型去跑,或者是產出的圖片太大,導致 VRAM 使用超過

第一次載入要多久?

raw-image

解析度不夠可以怎麼調整?

raw-image
raw-image

調整 Steps 使多可以使畫面變得清晰




raw-image


參考資料

Flux Examples | ComfyUI_examples (comfyanonymous.github.io)

Flux.1 ComfyUI Guide, workflow and example – ComfyUI-WIKI

avatar-img
2會員
2內容數
實戰大於理論,理論不行 GPT 來補!
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
S.Feng 沙龍 的其他內容
這篇文章詳細介紹瞭如何將智能開關接入 Home Assistant 系統的刷機過程。文章中提供了詳細的接線步驟及拆解方法,幫助使用者輕鬆完成刷機,並最終在 Home Assistant 中正常運行。無論您是否為新手,這篇指南都將引導您順利完成智能家居的設定。
這篇文章詳細介紹瞭如何將智能開關接入 Home Assistant 系統的刷機過程。文章中提供了詳細的接線步驟及拆解方法,幫助使用者輕鬆完成刷機,並最終在 Home Assistant 中正常運行。無論您是否為新手,這篇指南都將引導您順利完成智能家居的設定。
你可能也想看
Google News 追蹤
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
之前試 FLUX 是透過 TensorArt 的 AI 工具,不過這樣的方式~操作上跟原本我的操作習慣是分開的,有點小小困擾。 這幾天,有人,把 FLUX 模型放上 TensorArt 了! 喔! 我試了一下,還不錯用,比用 AI Tools 那邊方便多,也習慣多了!
Thumbnail
Flux 也蠻出色的,畫腳丫子的成功率也蠻高(比起以前 SD 而言,哈哈!)。 上圖、下圖的提示詞都是: Create an image of a 30-year-old Asian Office Lady with a height of about 5'4" (163 cm)...
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
了解如何使用 Cloudflare Workers AI 與 Whisper 建立免費開源的語音辨識功能。本文詳細說明註冊步驟、部署流程及程式碼修改,讓你輕鬆將語音轉換成文字。
Thumbnail
其實,我建議,用編輯軟體(如: Canva 或 Photopea )處理文字可能比較方便(尤其想寫中文的話)。 我想介紹一個最近出現,在 TensorArt 中就能使用的生圖新技術 FLUX。我不確定稱他為 "新技術" 是否恰當,畢竟我不是 AI 繪圖這方面的專家,很難精準的說它是啥的,請見諒
Thumbnail
Fluxus,又稱激浪派,是在 1960 年代興起的前衛運動,強調將藝術與日常生活緊密聯繫。無論是實物作品還是表演作品,激浪派的作品往往展現了對藝術本身的批判態度,並將過程置於成品之上。
Thumbnail
本文提供如何使用 Google Colab 結合 Faster Whisper 來提升語音辨識速度與準確性,包含安裝指南與使用方法。探索如何將語音轉換為文本,並對檔案進行不同格式的輸出。
Thumbnail
本篇筆記了如何使用Google Colab和OpenAI的Whisper Large V3進行免費且開源的語音辨識。涵蓋從基礎設定到實際運用的步驟,適合初學者和技術愛好者輕鬆學習語音辨識技術。
Thumbnail
我喜歡富樂市,在於他們硬是在一個老宅重生的店裡,硬是把餐點做出法式餐廳水準,口袋餅堅持要火烤,cream cheese莫名的堅持,半熟太陽蛋用鑄鐵TURK鍋現煎,配菜只有簡單的小黃瓜片、蘿蔔絲、甜菜絲,我無法理解為什麼同樣是生菜,有的店家可以味同塑膠片,富樂市可以保存得清爽多汁。
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
之前試 FLUX 是透過 TensorArt 的 AI 工具,不過這樣的方式~操作上跟原本我的操作習慣是分開的,有點小小困擾。 這幾天,有人,把 FLUX 模型放上 TensorArt 了! 喔! 我試了一下,還不錯用,比用 AI Tools 那邊方便多,也習慣多了!
Thumbnail
Flux 也蠻出色的,畫腳丫子的成功率也蠻高(比起以前 SD 而言,哈哈!)。 上圖、下圖的提示詞都是: Create an image of a 30-year-old Asian Office Lady with a height of about 5'4" (163 cm)...
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
了解如何使用 Cloudflare Workers AI 與 Whisper 建立免費開源的語音辨識功能。本文詳細說明註冊步驟、部署流程及程式碼修改,讓你輕鬆將語音轉換成文字。
Thumbnail
其實,我建議,用編輯軟體(如: Canva 或 Photopea )處理文字可能比較方便(尤其想寫中文的話)。 我想介紹一個最近出現,在 TensorArt 中就能使用的生圖新技術 FLUX。我不確定稱他為 "新技術" 是否恰當,畢竟我不是 AI 繪圖這方面的專家,很難精準的說它是啥的,請見諒
Thumbnail
Fluxus,又稱激浪派,是在 1960 年代興起的前衛運動,強調將藝術與日常生活緊密聯繫。無論是實物作品還是表演作品,激浪派的作品往往展現了對藝術本身的批判態度,並將過程置於成品之上。
Thumbnail
本文提供如何使用 Google Colab 結合 Faster Whisper 來提升語音辨識速度與準確性,包含安裝指南與使用方法。探索如何將語音轉換為文本,並對檔案進行不同格式的輸出。
Thumbnail
本篇筆記了如何使用Google Colab和OpenAI的Whisper Large V3進行免費且開源的語音辨識。涵蓋從基礎設定到實際運用的步驟,適合初學者和技術愛好者輕鬆學習語音辨識技術。
Thumbnail
我喜歡富樂市,在於他們硬是在一個老宅重生的店裡,硬是把餐點做出法式餐廳水準,口袋餅堅持要火烤,cream cheese莫名的堅持,半熟太陽蛋用鑄鐵TURK鍋現煎,配菜只有簡單的小黃瓜片、蘿蔔絲、甜菜絲,我無法理解為什麼同樣是生菜,有的店家可以味同塑膠片,富樂市可以保存得清爽多汁。