導(dǎo)讀:實現(xiàn)這些的,是一種基于StyleGAN2的新技術(shù)——StyleFlow,根據(jù)指定條件,就可以生成人臉。
當(dāng)年輕的馬斯克換上女裝,是這個亞子。

好清秀的姑娘啊~
而若加上胡子,就瞬間變成另一種“風(fēng)味”。

還可以看看馬斯克過幾年禿頭的樣子。(手動狗頭)

害,馬斯克還是馬斯克,還是那個“地球新首富”。
實現(xiàn)這些的,是一種基于StyleGAN2的新技術(shù)——StyleFlow,根據(jù)指定條件,就可以生成人臉。
除了上面這些換女裝、變禿、畫胡子等功能,還集成了換姿勢、調(diào)整光照、改變表情等效果,甚至還可以用在車上。

根據(jù)條件生成人臉
我們知道,由于GAN潛伏空間內(nèi)部的相互作用,通常對一個屬性條件進(jìn)行編輯的時候會很容易導(dǎo)致其他屬性不必要的而變化。本文正是基于這個背景下,提出了StyleFlow。
具體來說,探討了兩個方面的問題:屬性條件取樣和屬性控制編輯。
第一,屬性條件取樣。對具有特定屬性的高質(zhì)量真實圖像進(jìn)行取樣;
第二,屬性控制編輯。對給定的圖像進(jìn)行編輯,使編輯后的圖像具有目標(biāo)屬性,同時最好地保留源圖像的特性。
StyleFlow所推斷的路徑是以輸入圖像為條件,因此可以適應(yīng)各個人臉的獨特性。
首先從源圖像開始使用反向推理,通過CNF塊的序列進(jìn)行正向推理來支持屬性條件編輯。

圖中,z表示先驗分布的變量,w表示StyleGAN的中間權(quán)重向量。
還要注意的是,逆向推理和正向推理是由一個ODE求解器來實現(xiàn)的,它來評估時間變量上的CNF函數(shù)。

其中,屬性向量at為條件學(xué)習(xí)函數(shù)是關(guān)鍵,既可以正向推理,也可用于反向推理。
隨后,使用StyleFlow的屬性條件采樣,通過重新采樣Z0 定義他們的屬性。

最終,研究人員使用StyleGAN的人臉和汽車潛伏空間對我們的方法進(jìn)行了評估,并在真實照片和StyleGAN生成的圖像上展示了沿各種屬性的細(xì)粒度的分離編輯。
例如,對于人臉,改變了相機(jī)姿勢、照明變化、表情、面部頭發(fā)、性別和年齡。

還可以一對多的批量化操作。

最后通過大量的定性和定量比較,以及與已有的技術(shù)相比,研究人員證明了StyleFlow的優(yōu)越性。

背后的團(tuán)隊
這項技術(shù)由阿卜杜拉國王科技大學(xué)(KAUST)、Adobe共同研發(fā),第一作者是來自KAUST的Rameen Abdal。
研發(fā)團(tuán)隊中還有一位華人面孔——朱培豪。

他本科畢業(yè)于東北大學(xué)自動化專業(yè),隨后前往中國科學(xué)院大學(xué)學(xué)習(xí)計算機(jī)科學(xué)。
碩士畢業(yè)后,來到阿卜杜拉國王科技大學(xué)計算視覺中心攻讀博士。
除了生成人臉,還能造車?
最后,分享一下這項技術(shù)的“造車”的效果~
旋轉(zhuǎn)任意角度。

普通車秒變SUV~

雖然這些Demo里沒有特斯拉的效果,但還是要問一句:
So,馬斯克感興趣嗎?(手動狗頭)