銀河小宇宙 銀河小宇宙GALAXY MINI-VERSE
LAB / MAKE / 實驗

SD 退潮之後,我還需要訓練自己的模型嗎?

From Eight Computers to One Laptop: What Custom Training Still Means to Me

From Eight Computers to One Laptop: What Custom Training Still Means to Me

2023 年 Stable Diffusion 如火如荼發展的時候,我有一段時間幾乎天天都在研究它。那時候的生成式 AI 還不像現在這麼方便,想把一個模型調成自己想要的樣子,往往需要理解 checkpoint、模型權重、訓練集、learning rate、epoch 等一堆原本設計師幾乎不會碰到的東西。我其實也沒有完全弄懂,只是覺得很興奮:原來除了「使用別人的 AI」,我竟然還可以開始訓練自己的模型。

後來終於把第一個模型跑完了。

我當時選的是一組接近 Sasaki 景觀效果圖語言的訓練資料,希望看看能不能讓 Stable Diffusion 學會某種我熟悉的專業視覺風格。螢幕上密密麻麻全是進度、epoch、step、loss 和 checkpoint,整個過程跑了幾個小時。最後終於看到那一句 Training finished / 訓練完成,其實非常有成就感。

結果呢?

說不上多好。

有些圖確實開始出現我期待的構圖、植物層次與景觀效果圖氣質,但離真正可以拿來工作的程度還有很長一段距離。現在回頭看,當時的資料選擇、標註方式、訓練參數和模型理解都有很多問題,但那時候反而沒有太失望。因為第一次訓練成功,本身就已經讓我覺得非常有趣。

才剛開始嘛。

很多參數不懂,就再慢慢學。

2023 年第一次完成 Stable Diffusion 自訂模型訓練。現在重新看這個滿是參數與進度條的畫面,反而有一種很強烈的時代感。


看著這些「無字天書」,我突然想到二十多年前的八台電腦

那次訓練過程中,我看著命令列視窗裡一行一行跳出的數字,突然想到二十多年前做碩士論文的情景。

我的碩士研究和景觀生態有關,當時希望模擬松鼠在台中大坑地區不同景觀環境中的移動路徑。今天看來,這很像一種很早期的計算模擬,但在那個年代,要真正把理論變成可以運算的東西並不容易。好友 Homling Hsu 根據我的研究架構與評價標準,利用 AutoCAD 的程式語言 AutoLISP,替我寫出一套模擬松鼠在景觀環境中移動的程式。

我一直記得那幾天。我借了東海建築系大約八台電腦,同時開著跑運算,幾乎沒有關機,跑了一兩天才得到上萬筆資料,最後再把這些結果疊回空間圖層進行評價。那個年代如果沒有懂程式的人幫忙,我自己幾乎不可能完成。某種程度上,如果沒有好友當年的支援,我的碩士論文可能真的會變得非常艱難。

二十多年後,我坐在一台筆記型電腦前面,又一次看著機器大量運算。

只是這一次,不再是模擬松鼠怎麼穿過山林,而是在讓一個生成模型試著理解一種設計圖像的特徵。

我突然覺得這件事很奇妙。

我們今天很習慣說「AI 革命」,好像人工智慧是在 ChatGPT、Midjourney 出現的那一天突然誕生。但其實計算、模擬、機器學習這條路已經走了非常久。真正改變的,一方面是模型,另一方面其實也是算力。二十多年前要借八台電腦、跑一兩天才能完成的事情,後來可以在一台筆電裡進行;而到了今天,很多以前連自己的顯示卡都要操到滿載才能做的事情,甚至只需要打開瀏覽器。

技術的進步,有時候不是讓以前的事情消失,而是讓它慢慢從少數人的專業能力,變成每個人都可以使用的功能。


但到了今天,還有人在乎「自己訓練模型」嗎?

這其實是我最近重新看到這張照片時,第一個想到的問題。

2023 年的時候,能夠自己訓練一個 Stable Diffusion 模型,確實是一件很酷的事情。DreamBooth、LoRA、Checkpoint、ControlNet,大家研究參數、交換模型、比較工作流。我自己也花了不少時間去理解這些原理。

但只過了幾年,整個生成式 AI 的使用方式已經完全不同。

現在很多平台只要丟一張或幾張參考圖片,就可以維持人物、產品、場景甚至某種視覺語言的一致性。Runway 的 References 就能從少數參考圖延伸出一致角色與場景;而 Adobe Firefly 到 2026 年甚至把 Custom Models 變成正式的產品方向,讓使用者直接上傳自己的圖像素材,訓練特定人物、插畫風格、品牌視覺、產品攝影與 3D 類型內容。換句話說,我們當年辛苦在命令列裡研究的「讓模型學會我的東西」,今天正在慢慢變成一般創作者也能操作的標準功能。

Stable Diffusion 本身也並沒有因此消失。LoRA 仍然是一種非常有效率的微調方式,只需要調整相對少量的模型權重,就能得到很小、方便儲存與組合的自訂模型;這類開源工作流對需要高度控制、批次製作、本地部署或特殊製作流程的人仍然很重要。

只是對一般設計師來說,問題已經改變了。

以前我們問的是:

我要怎麼訓練一個模型?

現在更值得問的反而是:

我為什麼要訓練它?

如果只是希望圖片「像某個風格」,今天可能根本不值得花幾個小時重新訓練。一張參考圖、Style Reference 或現成模型,也許幾分鐘就能做到八成效果。

但如果我要的是一套長期使用、具有一致性,而且真正屬於自己的視覺系統,那答案就完全不同。


所以我後來發現,真正重要的可能不是「自己的模型」,而是「自己的資料」

這也是我現在對 2023 年那次實驗最大的重新理解,當年我以為自己正在學的是「模型訓練」。現在回頭看,我真正碰到的其實是另一件更加長期的事情:如何讓 AI 學習一套我自己選擇、整理與認可的資料。

這兩件事情看起來很像,其實不完全一樣。

模型一直會換。Stable Diffusion 1.5、SDXL、Flux、Firefly,過幾年還會有新的模型。今天學會的一套參數,明年可能就不用了;今天非常流行的工作流,也可能很快被一個新的按鈕取代。

但自己的資料不一樣。

如果一個設計師二十年來做過幾百個項目,累積了自己的手稿、方案、植物配置、構造節點、效果圖、材料、攝影、失敗案例與設計判斷,這些東西不會因為某一款 AI 工具消失而失去價值。

反而可能愈來愈重要。

因為所有人都能使用同一個大模型之後,真正形成差異的,很可能不是誰先學會下一個軟體,而是誰擁有大模型本來沒有的東西。包括:自己的作品、自己的案例、自己的資料、自己的知識以及自己的判斷紀錄。

這些才是模型沒有辦法從公共網路上完整取得的部分。

現在像 Firefly Custom Models 仍然把「使用自己的品牌資產訓練模型」當成核心能力,本身也說明了這件事:自訂訓練並沒有消失,而是從「技術玩家自己煉模型」逐漸走向「讓 AI 理解組織或個人的獨特資料」。因此,如果今天重新回答「訓練自己的資料庫到底對不對」,我的答案會是:

方向是對的,但今天已經不需要執著於『自己訓練一個大模型』。

真正值得做的,是建立一套乾淨、有結構、有來源,而且真正屬於自己的資料集。未來是拿它訓練 LoRA、Custom Model,還是直接作為 Reference,甚至交給另一種還沒出現的模型,其實都可以再決定。

資料才是可以跨越工具世代留下來的東西。


如果今天再訓練一次,我不會再用「模仿某家公司」作為終點

還有一件事,是幾年後重新回看這個實驗時,我覺得值得補充的。

當時選 Sasaki 效果圖風格來測試,很單純就是技術實驗。因為它的景觀視覺語言辨識度高,我很好奇模型究竟能不能學到這些特徵。但如果今天重新做一次,我的選擇可能會不同,我會更想訓練自己的東西。

把自己過去二十多年做過的景觀設計、草圖、效果圖、攝影、AI 實驗與現在慢慢形成的「銀河小宇宙」視覺語言整理起來,建立一套自己的資料集。

一方面是著作權與來源會乾淨很多;另一方面,更重要的是,我已經不再那麼有興趣讓 AI 幫我「變成某某設計公司」。

我反而比較想知道:

如果把我自己二十多年看到、畫過、設計過、拍過的東西全部整理給 AI,它最後會看到一個什麼樣的「我」?

這個問題比模仿任何風格都更有意思。


從八台電腦,到一台筆電,再到今天的一張參考圖

所以現在重新看 2023 年那個黑色命令列畫面,我其實一點都不覺得那段時間白學了。

今天我可能已經不需要再為了得到一種風格,守在電腦前看三四個小時的 epoch 跑完。

但正因為真的訓練過一次,我才比較能理解生成模型並不是魔法。它在學什麼、資料為什麼重要、為什麼會過擬合、為什麼不同訓練集會形成不同結果,這些經驗後來都變成我理解 AI 的一部分。

技術會一直變。

AutoLISP 幾乎已經離開我的日常工作;Stable Diffusion 當年那些手動訓練流程,也不再是我每天關心的事情。

但二十多年前那八台電腦,和 2023 年這台跑 Stable Diffusion 的筆電,其實都讓我學到同一件事情:

工具真正有價值的地方,從來不是讓我們追上最新技術,而是讓原本做不到的事情,開始有機會被做到。

現在 AI 把門檻又往下降了一大截。

接下來真正值得累積的,可能已經不是下一個工具。

而是那些只有我們自己擁有的東西。