生成視頻效果優于其他模型
為陸豐等地區用戶提供了全套網頁設計制作服務,及陸豐網站建設行業解決方案。主營業務為成都網站設計、成都網站制作、陸豐網站設計,以傳統方式定制建設網站,并提供域名空間備案等一條龍服務,秉承以專業、用心的態度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
迪士尼驚現“返老還童”大法!
輸入一段視頻,演員分分鐘就能變年輕,變老也不在話下。效果是醬嬸兒的:
而且下一步,迪士尼準備將這種AI算法用到電影中去。
化妝師的飯碗?!?/p>
迪士尼這個新的AI算法名叫FRAN ,至于對比過往類似的模型,它的效果可謂是上了一個臺階。
幀與幀過渡生硬、易受人物動作幅度影響、忽略背景……這些問題FRAN統統都解決掉了!
真有說得這么厲害?不妨來一起康康~
具體原理
迪士尼的AI算法效果如何,對比以往的模型,效果就高下立判了!
過往模型在改變年齡的過程中往往都聚焦在人臉身上,會忽略掉人像后面的背景,比如DLFS直接就扣掉了背景圖。
并且幀與幀之間的過渡也不是很流暢。
反觀迪士尼的新AI算法,在背景處理這塊做的就比較自然了。
FRAN可以地保留演員的既有的外觀,即使在頭部動作幅度很大時或光線變化的情況下也能如此。
除此之外,FRAN的靈活性也更強了,可以任意調節想要的年齡,比如下面這個視頻,拖動進度條就能迅速體驗下從年輕到年老的效果。
值得一提的是,FRAN還允許后期人員對生成的視頻進行二次調整,使整個視頻更加自然,這個過程也是視覺工作的一個重要組成部分。
話說回來,那FRAN又是怎樣達到這樣的效果的呢?
涉及到兩個問題:
一是數據集問題,用于訓練模型的數據怎么解決?當然,用真實的人臉數據(年輕~年老)來訓練肯定是不現實的,畢竟也沒那么多數據。
在這里,迪士尼利用當前SOTA模型生成的人臉圖像作為數據,用這些數據來訓練FRAN。
第二個問題是神經網絡的架構,FRAN采用的是U-Net架構。
在生成的過程中,FRAN會預測面部的哪些像素點會隨著年齡的增長而改變,比如增加或去除皺紋,然后這些結果會作為額外的視覺信息通道覆蓋在原來的臉上。
在這個過程中,還可以選擇使用預先訓練好的人臉分割網絡:biSeNetV2,并設置局部的輸入和輸出年齡值,來限制皮膚區域的再老化,使生成的效果更好。
不過值得注意的是,在年齡跨度較大時,比如從童年到老年,FRAN可能就會失靈了,畢竟它整體的大邏輯是添加和祛除皺紋。
壓力給到師
迪士尼計劃將AI技術用在電影制作中也不是兩天了,大家也都知道,做視覺是真燒錢,不僅燒錢,還費時間。
兩年前,迪士尼就曾開發過一款換臉技術,效果直接看圖:
并且在面部捕捉方面,迪士尼也是下了狠功夫,今年早些時候,它還推出了不用刮胡子就能進行面部捕捉的新技術。
最近呢,迪士尼除了公布FRAN這個AI算法外,還公布了一個可以制作不同形態、不同風格煙霧的AI。
迪士尼這邊開發AI技術是開發得如火如荼,不知道那邊師的心態如何,畢竟這些AI未來可是要干他們的活啊。
關于AI搶師飯碗,你覺得未來會出現嗎?
參考鏈接:
[1]https://gizmodo.com/disney-ai-art-vfx-visual-effects-de-age-younger-older-1849835548
[2]https://www.youtube.com/watch?v=Zp1ApcdyAjk
本文來自微信公眾號“量子位”(ID:QbitAI),作者:pine,36氪經授權發布。