適合面向ChatGPT編程的架構示例詳解
新的需求
我們前面爬蟲的需求呢，有些平臺說因為引起爭議，所以不讓發(fā)，好吧，那我們換個需求，本來那個例子也不好擴展了。最近AI畫圖也是比較火的，那么我們來試試做個程序幫我們生成AI畫圖的prompt。
首先講一下AI話題的prompt的關鍵要素，大部分的AI畫圖都是有一個個由逗號分割的關鍵字，也叫subject，類似下面這樣：
a cute cat, smile, running, look_at_viewer, full_body, side_view,
然后還有negative prompt，就是你不想出現(xiàn)的關鍵字，跟上面的寫法一樣，只是寫下來表示不希望它畫出來的，比如我們想畫一堆貓的圖片，不想出現(xiàn)狗，不想出現(xiàn)人，我們可以這么寫：
dog, human,
這樣大概率就不會出現(xiàn)狗和人了（當然也不一定，懂得都懂）。
這些prompt扔給AI，我們可能得到下面這么一張圖：
但也可能會得到下面這么一張圖：
后面這張讓人san值狂減啊有沒有，所以說關鍵字的使用上還是有些學問的，我得好好研究研究。一研究我才發(fā)現(xiàn)，這玩意生成速度太慢了，我做一個試驗幾秒鐘過去了，然后才能做下一個。這就把我鎖在這電腦前面了，走也不是，等也不是。我大好的人生怎么能浪費在這些事情上？啊不高~興！
這時我想到，我是個程序員啊。那假如，我有一個可以排列組合各種關鍵字幫我生成prompt的程序，讓它一個個去試驗，最后我只要看看哪個圖片比較靠譜，反過來看看哪些關鍵字組合更好用，豈不是美滋滋？
領域知識
那么說干就干，開始之前要了解一下領域知識。
首先是關鍵字，在這個需求里只是基礎知識，沒有什么難的，大概有下面幾條規(guī)則：
- 內(nèi)容，這些關鍵字呢，說是關鍵字，其實你寫一句話也沒人管你。簡化處理，我們這里就只用詞和短語。另外，空格可以用下劃線代替，這樣可能會避免被分詞，具體我也不確定，沒有深入研究。但是這個不重要，可以完全看成兩種關鍵字去排列組合好了。
- 關鍵字是可以有權重的，通常的表達方式是：
(a cute cat:1.5)
這個很重要，通常我們想嘗試好的方式，需要給每個關鍵字設置權重。
LoRA，英文全稱Low-Rank Adaptation of Large Language Models，直譯為大語言模型的低階適應，這是微軟的研究人員為了解決大語言模型微調(diào)而開發(fā)的一項技術，在我們這個場景下就是我們多了一種關鍵字，這種關鍵字大概是這么寫：
<lora:wanostyle_2_offset:1>, monkey d luffy,
- 它多了一些尖括號，也有權重，同時他會被其他關鍵字觸發(fā)，比如上面這個就可以畫個海賊王風格的路飛出來。
- 但總的來說，對關鍵字本身的建模影響不大
接著我們來了解一下排列組合的邏輯，這個將是我們的關鍵難點。
- 在這個領域，影響生成的因素主要有幾個：
- 模型
- sample
- step
- 寬高
- seed
- negative prompt
- prompt
- 在prompt中我們的關鍵字還可以根據(jù)使用目的分類，比如于生成畫面風格的、用于生成背景的、用于生成人物的、用于成表情的等等
- 在prompt中，關鍵字的擺放順序有時候還會造成點不同。
- 還有更復雜的Control Net，這個例子里我們先不考慮。
- 生成的時候，某些關鍵字要獲得最好的效果，可能自己對模型、sample以及其他關鍵字的存在和權重都有自己的要求，比某關鍵字在某模型下權重為0.3，而在另一個模型下權重需要0.7。比如路飛會帶草帽，那么這個人物出現(xiàn)的時候，必須配上帽的關鍵字才對味，而其他的人物就不要跟草帽組合了，又浪時間又沒有意義。所以組合上要考慮各種因素之間的互斥和強依賴等場景。
架構設計
好，這大概是一個比較復雜的需求了?；氐缴掀恼逻z留的問題，聊聊當我們面對一個比較復雜的需求，而且我們接下來要用ChatGPT把它實現(xiàn)的時候，我們應該怎么設計架構。
管道架構
在這個需求里，我們首先要知道，這類AI都是有REST API的，比如說stable diffusion WebUI，就有一個自己的API，他們的API接受一個固定格式的JSON，其結構大概是這個樣子：
{
"prompt": "",
"negative_prompt": "",
"controlnet_input_image": [],
"controlnet_mask": [],
"controlnet_module": "",
"controlnet_model": "",
"controlnet_weight": 1,
"controlnet_resize_mode": "Scale to Fit (Inner Fit)",
"controlnet_lowvram": true,
"controlnet_processor_res": 512,
"controlnet_threshold_a": 64,
"controlnet_threshold_b": 64,
"controlnet_guidance": 1,
"controlnet_guessmode": true,
"enable_hr": false,
"denoising_strength": 0.5,
"hr_scale": 1.5,
"hr_upscale": "Latent",
"seed": -1,
"subseed": -1,
"subseed_strength": -1,
"sampler_index": "",
"batch_size": 1,
"n_iter": 1,
"steps": 20,
"cfg_scale": 7,
"width": 512,
"height": 512,
"restore_faces": true,
"override_settings": {},
"override_settings_restore_afterwards": true
}
那么這就是類似他們的意圖描述，可以把它看成一種DSL。
而在我們這個領域里，我們要做的是排列組合，那么對于排列組合，我們要設計我們排列組合的意圖描述，這可以看成另一種DSL，這種DSL只作簡單排列組合，不做復雜的互斥和強依賴邏輯的計算，其結構可能是這個樣子：
- base_share_composite_intentions:
base:
steps: 10
batch_size: 1
width: 512
height: 512
cfg_scale: 7
sampler: "Euler a"
seed: -1
restore_faces: true
output_folder: output/txt2img
file_full_name_strategy: date_seed_name_strategy
sd_host: http://localhost:7860
negative_prompt: a dog
poly:
- template_prompt:
template: >
a cat,
${ view_angle }
${ portrait }
${ facial_expressions }
${ pose }
meta:
- view_angle:
- side_view,
- front_view,
portrait:
- full body,
facial_expressions:
- (smile:1.5),
- (smile:1.2),
- smile,
pose: ""
- view_angle:
- front_view,
portrait:
- ""
facial_expressions:
- smile,
pose:
- run,
- jump,
- rolling,
steps: 20
然后在這個DSL之上，我們可以再做一個DSL，這個DSL用于處理復雜的互斥和強依賴邏輯的計算，前面說了那么多，真正這個地方到底有多復雜我也想不清楚。那干脆，搞個模板引擎來吧，這就什么都能干了，慢慢搞明白了再封裝。最終其結構可能是這個樣子：
<%
const randomNum = Math.floor(Math.random() * 900000000) + 100000000;
var intention = {
is_override_settings: true,
seed: randomNum,
}
%>
<% var status = {
charas:{
values_of_chara_$ref: [
"cats.yml#Abyssinian",
"cats.yml#cats_in_boots",
],
current_chara_index: 0,
next_chara(){
this.current_chara_index++;
}
},
themes:{
values_of_theme: [
{
$ref: "outdoor"
},
],
current_theme_index: 0,
next_theme(){
this.current_theme_index++;
},
reset_theme(){
this.current_theme_index = 0;
}
}
}
%>
<%
common_theme_file = "common/chara_based_themes.yml"
%>
<% while (status.charas.current_chara_index < status.charas.values_of_chara_$ref.length) { %>
- base_share_composite_intentions:
common:
theme:
base:
steps: 20
batch_size: 1
width: 512
height: 512
cfg_scale: 7
sampler: "DPM++ 2M Karras"
seed: <%- intention.seed %>
restore_faces: false
output_folder: output/txt2img
file_full_name_strategy: date_seed_name_strategy
sd_host: http://localhost:7860
<% if(intention.is_override_settings){ %>
override_settings:
CLIP_stop_at_last_layers: 2
eta_noise_seed_delta: 31337
<%}%>
negative_prompt: >
dog, human, bad anatomy, EasyNegative,paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality,
poly:
<% while (status.themes.current_theme_index < status.themes.values_of_theme.length) { %>
- $p_ref:
$ref: "<%-common_theme_file%>#<%- status.themes.values_of_theme[status.themes.current_theme_index].$ref%>"
params:
base_prompt_features:
$p_ref:
$ref: <%- status.charas.values_of_chara_$ref[status.charas.current_chara_index] %>
params:
is_full_chara: true
chara_weight: 0.2
pose:
sit
facial_expressions:
(smile:1.1),(open mouth),
- $p_ref:
$ref: "<%-common_theme_file%>#<%- status.themes.values_of_theme[status.themes.current_theme_index].$ref%>"
params:
base_prompt_features:
$p_ref:
$ref: <%- status.charas.values_of_chara_$ref[status.charas.current_chara_index] %>
params:
is_full_chara: true
chara_weight: 0.6
pose:
run
facial_expressions:
(smile:1.2),(closed mouth),
<% status.themes.next_theme(); %>
<% } %>
<% status.themes.reset_theme(); %>
<% status.charas.next_chara(); %>
<% } %>
于是我們有了三個DSL，他們層層轉換，最終驅動AI畫圖。那么我們的程序可能就會是下面這個樣子：
可以看出，這樣我們就得到了大名鼎鼎的管道架構，經(jīng)常使用Linux/Unix命令行的人，可能已經(jīng)體會過管道架構恐怖的擴展能力，這次我們只能說，是Linux/Unix哲學再一次展現(xiàn)出威力。
我們之前講了，ChatGPT可以快速寫出一些小程序，但是長一點的總是會出錯，那么其實除了從規(guī)模上進行分解將任務復雜度降低之外，通過抽象建立分層的DSL也是一種降低復雜度的方案。
分層架構
說到分層，其實從另一個角度看，我們這個架構也是一個分層架構。
可以看到，我們可以輕易地替換調(diào)用不同REST API的代碼以做到對于不同AI的適配，實現(xiàn)了隔離。
同理，不但意圖執(zhí)行可以切換，意圖描述也可以跟著切換：
既可以有技術維度上的擴展，也可以有業(yè)務維度上的擴展：
所以從這個角度來說，每一個管段，都是可以看作是一層。
類分層神經(jīng)網(wǎng)絡的架構
而到這還不算完，具體在執(zhí)行的時候，可能受環(huán)境的影響，可能受上層意圖影響等等，總之是需要進行每一層的路徑選擇的。這種選擇，可能是由另一個引擎來完成的。那么最終我們的架構的完整形態(tài)他可能是這個樣子的：
當然其運行視圖可能是這樣的：
到此，我們得到了我們架構比較完整的形態(tài)，他是一個集成了管道架構和分層架構，在一個派發(fā)引擎的支撐下的一個類分層神經(jīng)網(wǎng)絡的結構。（還別說，這個結果還挺有點分形的味道）
總結一下
跟上一篇文章比起來，我們這篇文章的代碼寫的更少了（難道這就是ChatGPT時代的宿命嗎^_^）。
我們引入了一個新需求，這個新需求有更多的排列組合邏輯在其中，其測試也更容易在本地完成?；谶@個復雜的排列組合邏輯的問題域，我們在開始之前做了一個架構設計。因為我們這篇文章是用ChatGPT寫程序，這個架構設計自然是為了能用ChatGPT把這個復雜的程序給寫出來，所以我們整篇文章只講了應該設計一個怎樣的架構。
之所以這么設計架構，是因為ChatGPT只能做簡單程序的代碼編寫，但是我們不能因此放棄使用它。畢竟人類社會也沒有因為蒸汽機車不如馬耐顛所以放棄蒸汽機車繼續(xù)用馬車，我們?yōu)榱耸褂盟膬?yōu)勢為他修了路。那么放到軟件領域，就是要為它設計適合它的架構，以最大限度的發(fā)揮它的優(yōu)勢，規(guī)避它的劣勢。
所以我們采用了分層架構+管道架構兩種架構模式的組合搭建了一個類分層神經(jīng)網(wǎng)絡的架構。盡管這個架構要達到最完美的形態(tài)，我們需要把那個派發(fā)引擎做出來，但是即便沒有那個派發(fā)引擎，剩下的兩個模式的組合也足以使得我們可以在橫向上按照代碼規(guī)模進行分解，在縱向上按照抽象層次進行分解，從而把需求的復雜度分解為一個個可以由ChatGPT完成的任務了。
那么接下來，我們就可以動手工作了，我們下一篇文章講講開發(fā)這其中的每一個節(jié)點有什么套路。
以上就是適合面向ChatGPT編程的架構示例詳解的詳細內(nèi)容，更多關于面向ChatGPT編程架構的資料請關注腳本之家其它相關文章！
相關文章
前端算法之TypeScript包含min函數(shù)的棧實例詳解
這篇文章主要為大家介紹了前端算法之TypeScript包含min函數(shù)的棧實例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-09-09
這篇文章主要為大家介紹了TypeScript逆變之條件推斷和泛型的應用示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
TypeScript Module Resolution解析過程
這篇文章主要為大家介紹了TypeScript Module Resolution解析過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
這篇文章主要為大家介紹了Three.js?粗糙度貼圖與金屬度貼圖使用介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-12-12
這篇文章主要為大家介紹了TypeScript保姆級基礎教程示例詳解，主要為大家介紹了typescript的類型，函數(shù)，對象，接口等基礎示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助2022-07-07
Spartacus中navigation?item?reducer實現(xiàn)解析
這篇文章主要為大家介紹了Spartacus中navigation?item?reducer實現(xiàn)解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-07-07
這篇文章主要介紹了js獲得當前系統(tǒng)日期時間以及過去系統(tǒng)日期時間的方法,涉及javascript操作日期時間的相關技巧,示例代碼如下，需要的朋友可以參考下2017-04-04
詳解什么是TypeScript里的Constructor?signature
這篇文章主要介紹了什么是TypeScript里的Constructor?signature詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
這篇文章主要為大家介紹了typescript?type類型使用梳理總結,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-08-08
Manipulation-TypeScript?DOM操作示例解析
這篇文章主要為大家介紹了DOM?Manipulation-TypeScript?DOM操作示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03