什麼是 AI 影片中的角色漂移?

深入定義 AI 影片中的角色漂移:哪些特徵會漂移、為何會發生、現有工具為何無法原生解決,以及 2026 年真正可行的解法。

·7 min read·definition

角色漂移指的是 AI 生成角色的外觀在每個鏡頭間細微變化,到了第六、第七個鏡頭時,你看到的已是另一個人。

這是敘事型 AI 影片短片、短劇、品牌故事目前在多數工具上跑不起來的最大原因。

本文精準定義角色漂移、解釋為何發生、深入分析其成因,並涵蓋 2026 年真正能解決問題的技術。

精確的定義

角色漂移指的是跨多個 AI 生成影片鏡頭中,角色定義身份的特徵發生非自願、漸進式的變化,而使用者本意是希望這些特徵保持不變。

漂移是非自願的使用者想要一致性。它是漸進的每個鏡頭只變一點點。它影響的是定義身份的特徵讓一個人能被認出是他自己的特徵。

漂移不同於:

漂移是當你想要同一個人,卻得到另一個人的時候。

哪些特徵會漂移?

從我們整理的數千筆公開工具生成結果來看,漂移通常影響這些特徵:

  1. 眼睛顏色最常見的漂移。棕色變成淡褐再變成綠色,幾個鏡頭就漂走。
  2. 眼型單眼皮變雙眼皮、窄變寬。
  3. 下顎線尖變柔、方變圓。
  4. 髮際線後退或前進、分線改變。
  5. 膚色偏暖或偏冷 5 至 10%。
  6. 臉部比例眼距、鼻嘴比例、下巴長度。
  7. 髮色黑變棕變深棕。
  8. 身體比例身高、體型、體態。
  9. 辨識特徵痣、疤痕、配件出現或消失。
  10. 風格特性寫實到略微風格化的呈現。

其中有些一眼就看得出來。其他(眼距、鼻嘴比例)則屬於潛意識感知觀眾感覺哪裡怪怪的,但說不出是什麼變了。

為何會發生漂移?

三個結構性原因。

1. 生成式影片模型是無狀態的

當你生成第 1 個鏡頭時,模型把提示詞轉成潛在表示、執行擴散流程、輸出影格。內部狀態並未保留。當你用同一個提示詞生成第 2 個鏡頭時,模型從頭開始。

新一輪生成是相似但不相同,因為擴散採樣具隨機性。即使提示詞相似,每次生成都是模型潛在空間中不同的隨機路徑。

2. 提示詞描述類別,而非身份

像「30 歲亞洲女性,黑色齊肩短髮」這樣的提示詞描述的類別包含數百萬種有效的人。模型每次都挑一個。沒有更具體的指示,就無法鎖定特定的人。

部分工具接受參考圖。這對前 2 至 3 個鏡頭有幫助,但模型會逐漸偏重提示詞而非參考圖,漂移又重新出現。

3. 漂移跨鏡頭累積

即使每個鏡頭只有微小差異也會累積。如果每個鏡頭從原始參考漂移 3%,到第 10 個鏡頭你已偏離 30%。到第 20 個鏡頭,角色已認不出來。

漂移的數學是指數的,不是線性的。

為何現有工具無法原生解決?

多數 AI 影片工具(Runway Gen-3、Pika 2.0、Sora、Kling、Veo 3、Seedance 2.0)都針對單鏡頭品質做最佳化。研發資源都投入到讓每個生成盡可能漂亮。多鏡頭一致性是另一個問題,需要另一套架構,而這對基礎模型本身一直不是優先事項。

最接近原生解決的工具(Sora、Seedance),在我們的測試中仍從第 3 至 4 個鏡頭起出現明顯漂移。

哪些技術真正解決漂移?

五種做法,依效果排序:

1. 相同提示詞 + 相同種子(多半無效)

理論:相同輸入應產生相同輸出。

實際:現代影片模型有隨機元素(噪聲排程、注意力 dropout)並不完全遵守種子。即使輸入相同,幀層級仍會出現差異。

結果:能微幅減少漂移,但無法消除。

2. 每個鏡頭都附參考圖(約 3 個鏡頭內有效)

理論:每個提示詞都附上參考圖以錨定角色。

實際:第 1 至 3 個鏡頭有效,第 4 至 6 個鏡頭漂移,第 8 至 10 個鏡頭崩潰。

結果:對短內容有幫助,敘事內容會失敗。

3. 每個角色微調 LoRA(有效但無法擴展)

理論:用角色照片訓練小型客製模型,所有鏡頭都用它。

實際:對圖像生成效果很好。對影片來說,需要 20 張以上照片,每個角色訓練耗時 30 分鐘至 2 小時,無法良好泛化到動作,也無法在多角色之間組合。

結果:可達到生產級一致性,但工作流程無法擴展。

4. IP-Adapter/純參考圖條件控制(中等效果)

理論:把參考圖特徵注入模型注意力層,繞過提示詞。

實際:5 至 10 個鏡頭內可達中等一致性,20 個鏡頭以上崩潰,姿勢大幅變化時也會崩。

結果:對中等長度內容穩固,全長敘事會失敗。

5. 角色即資產架構(當前最先進)

理論:把角色視為一級的持久化資產,以 embedding 形式儲存,而不是放在提示詞細節中。把 embedding 直接注入模型條件控制。搭配根據漂移模式目錄自動產生的負向提示詞。

實際:這正是 Juying 等工具圍繞建構的做法。在我們的測試中,這種做法能在 30 個以上鏡頭中維持高度一致性。

結果:敘事內容可達到生產級一致性。

如何在任何工具中測試漂移

三個快速測試:

測試 130 鏡頭測試:在 30 個不同場景(不同光線、角度、情緒)中生成同一角色。排成網格,把臉並排比對。應該明顯是同一個人。

測試 2端到端測試:直接比對第 1 個與第 30 個鏡頭。應該無法分辨他們不是同一人。

測試 3重用測試:今天生成一個角色。明天帶不同腳本回來,能否不重新建立就重用同一個角色?

三個測試都通過的工具,已在生產層級解決漂移問題。任何一項失敗,就還沒解決。

常見問題

角色漂移和「恐怖谷」一樣嗎?

不一樣。恐怖谷指的是單一人物呈現中細微的不對勁。漂移指的則是多次呈現中的身份變化。

漂移會影響非人類角色嗎?

會。漂移影響動畫角色、風格化角色、動物,甚至物件。任何具有定義身份特徵的東西都會漂移。

我能在後製中修復漂移嗎?

部分可以。你可以對個別鏡頭做換臉或合成,但人力密集,大規模套用會看起來很假。在生成階段解決漂移遠優於事後修補。

影片越長漂移越嚴重嗎?

是的。漂移會累積,所以 5 分鐘影片比 30 秒影片漂移更嚴重,其他條件相同時。這也是長片 AI 影片如此困難的原因之一。

漂移本質上無解嗎?

不是。角色即資產架構有效。挑戰在於工程上要做得好建構正確的 embedding 抽取、正確的漂移模式目錄、正確的一致性檢查迴圈。投入此層的工具能在生產層級解決漂移。

重點結論

角色漂移不是模型問題是架構問題。更大的影片模型不會解決它;只會產出更高品質的漂移。解法在於模型之上的層:身份如何儲存、檢索、注入到生成中。

如果你正在挑選 AI 影片工具,且工作涉及同一角色出現在多個鏡頭,該問的問題是:

「你的工具如何跨生成儲存與檢索角色身份?」

若答案是「我們用參考圖」漂移會發生。若答案是「我們把 embedding 儲存為持久化角色資產,並注入到條件控制中」漂移已大幅解決。

相關閱讀

試試原生解決漂移的工具Juying提供免費方案。