以下是一個 在家用一張 RTX4090 訓練 Stable Diffusion 模型的完整實戰指南。
目前很多獨立創作者、AI畫師、遊戲工作室在用的方法。 RTX4090（24GB VRAM）其實非常適合做這件事。 🚀
一、先理解：4090 能做到什麼
GPU：NVIDIA GeForce RTX 4090能力大概如下：
原因：
像 Stable Diffusion XL 這種模型本身需要 數百 GPU 訓練。
所以家用方式是：
Base Model
+
微調
二、4090 訓練的最佳方案
推薦架構：
Stable Diffusion XL
+
LoRA
LoRA = Low Rank Adaptation
優點：
- 訓練快
- VRAM需求低
- 模型只有 50–200MB
三、硬體與系統要求
最低配置：
系統：
Ubuntu 22.04
或
Windows 11
Linux會更穩定。
四、安裝 AI 訓練環境
安裝 Python：
Python 3.10
建立虛擬環境：
python -m venv sd_env
啟動：
Windows
sd_env\Scripts\activateLinux
source sd_env/bin/activate
五、安裝訓練框架
目前最常用：
- kohya-ss
下載：
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
安裝依賴：
pip install -r requirements.txt
安裝 PyTorch：
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
六、下載基礎模型
最常用：
- Stable Diffusion XL
下載來源：
- Hugging Face
模型：
sd_xl_base_1.0.safetensors
放到：
models/
七、準備訓練資料集
這是 最重要的一步。
資料量建議：
圖片規格：
1024x1024
PNG / JPG
資料夾：
dataset/
img1.png
img1.txt
八、建立圖片標籤
每張圖片需要 caption。
例：
Tang dynasty swordsman
wuxia warrior
ancient Chinese armor
dramatic lighting
自動標籤工具：
- BLIP
- DeepDanbooru
九、開始訓練 LoRA
範例命令：
accelerate launch train_network.py \
--pretrained_model_name_or_path=sdxl \
--train_data_dir=dataset \
--resolution=1024 \
--output_dir=lora \
--network_dim=128 \
--train_batch_size=2 \
--max_train_steps=3000 \
--learning_rate=1e-4
重要參數：
建議：
3000–6000 steps
十、4090 訓練時間
以 300 張資料集為例：
VRAM 使用：
18GB – 22GB十一、測試模型
生成 UI：
- AUTOMATIC1111
- ComfyUI
Prompt：
Tang dynasty wuxia heroine
standing on mount huashan
dramatic lighting
載入 LoRA：
<lora:wuxia_style:1>
十二、進階玩法（高手）
加入：
- ControlNet
可以控制：
例如：
劍法姿勢
飛簷走壁
打鬥
十三、4090 能建立什麼 AI 系統
一張 4090 可以建立：
AI 武俠角色生成器
AI 古風場景生成器
AI 漫畫生成器
AI 遊戲角色生成器
甚至可以做：
AI 動畫
AI 漫畫
AI 電影分鏡
十四、4090 創作者典型 workflow
很多 AI 創作者 pipeline：
ChatGPT ↓PromptStable Diffusion
↓
生成圖片ControlNet
↓
控制姿勢Upscale
↓
4K 圖像
十五、特別建議
如果計畫寫 唐玄宗武俠小說，其實可以做一件非常特別的事：
建立 「武俠世界 AI 模型」。
資料集：
華山
敦煌
絲路商隊
唐宮
胡人武士
拜火教
角色：
公孫嫣
軋犖山
康延年
最後可以直接生成：
公孫嫣 standing on huashan cliff
Tang dynasty wuxia heroine
這等於 AI 把你的小說世界視覺化。
