我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
創意是指透過直覺思考、腦力激盪及其他想像力驅動的方法來創造新想法的過程,生成式創意則利用生成式 AI 技術創建內容,包括文本、文本轉圖像、圖像轉文本,以及圖像轉圖像的創作。自動化生成式創意進一步推進了生成式創意的發展,消除了對人工設計提示的需求,實現完全自動化,本章旨在展示如何建構這類工具,並定義一個自動化創意架構。
本章將覆蓋的架構圖如下:

- No Prompt:自動化功能 (如 Python 程式碼) 將通過現今經典的生成式 AI 檢索增強生成 (RAG) 過程,實現文檔檢索、解析和搜索的自動化,傳統的基於規則的解析和查詢程式設計將減少用戶的操作,將其行為限制為點擊和運行功能,傳統的網頁設計原型將為應用程序的開發提供基礎
- Generative AI - Prompt Generation:提示不再直接生成內容,而是用來生成鏈式生成模型的提示,從人工設計的提示轉向生成式 AI 生成的提示,能幫助用戶避免耗時且需要反覆試驗的提示創建過程,這是一種新的檢索增強生成 (RAG) 方式,其中自動化系統會檢索和解析文檔 (如上述的步驟 1),以創建提示,這些提示將作為其他生成式 AI 模型的輸入,Llama 和 GPT-4 將取代人工提示設計過程,雖然這種流程需要開發投入,但它能免除最終用戶在資源和預算有限時尋找合適提示的負擔
- Generative AI - Image Creation:本章專注於計算機視覺,其生態系統的目標是將生成式 AI 的文字輸出鏈接到文字生成圖像的輸入,用於 Midjourney、Microsoft Designer (包括 DALL-E 和 GPT 模型) 以及 Stable Diffusion
- Response Generation:輸出的成果將包括圖像生成的結果和圖文結合的創作成果,構建這一生態系統需要一定的開發工作,但最終的應用應該對終端使用者簡化為「點擊並運行」的操作模式
















