Adobe與學者研新技術把Selfie自拍變「他拍」　魔術修圖效果驚人

自拍也能變為他拍，魔幻修圖界又出新招式，但效果實在感人。

智能手機的出現，讓攝影變成了一項大眾藝術，也讓越來越多的人愛上「自拍」。但自拍照常常存在構圖問題，比如不自然的肩膀姿勢、佔據一小半鏡頭的手臂，或者極其詭異的視角。要想解決這個問題，可以選擇隨身攜帶三腳架或自拍棍，也可以選擇隨身攜帶一個朋友作為攝影師（該方法對單身狗極其不友好）。

或者，你還可以選擇相信後期修圖的藝術。近日，來自Adobe研究院、柏克萊分校（UC Berkeley）、魯汶大學（Catholic University of Leuven）的研究者開發了一種「自拍」變「他拍」的新技術，通過識別目標的姿勢並生成身體的紋理，在給定的自拍背景中完善和合成人物。

在這篇論文中，研究者提出了一種叫做「Unselfie（非自拍）」的圖片轉換方法，能夠將自拍照中的人物，轉變為手臂、肩膀、軀幹都比較放鬆舒展的「他拍圖像」 。它會把所有舉起的手臂調整為向下，然後調整服裝細節，最後填充好所有暴露出來的背景區域。

點圖看看該技術的神奇修圖效果：

除了用來修飾社交媒體上的自拍照，這項技術還有很多應用方式，如果你急需一張證件照，而無人能幫你拍攝，那這項技術就能派上用場。

當然，這個方法目前還不太成熟，除了效果一般之外，偶爾還有翻車的時候，比如生成Fig. 10這樣的圖像：

「自拍」轉「他拍」的三大挑戰

總的來說，「自拍」轉「他拍」存在三大挑戰：沒有成對的訓練數據（自拍—他拍圖像對）；一個自拍姿勢可能對應多個他拍姿勢；改變姿勢會在背景中留下空洞，因此在轉換過程中要填補這些空洞。研究者嘗試用之前的幾種方法來解決挑戰，但實驗結果表明，這些方法會產生明顯的偽影，其紋理細節也會由於外觀信息的高度壓縮而丟失。因此，他們提出借助合成「自拍-他拍」圖像對和自監督學習的方法來解決上述問題。

具體來說，研究者提出了一種利用他拍圖像合成對應自拍圖像的方法，他們利用非參數化最近姿態搜索模塊來檢索最接近給定他拍圖像的自拍圖像，然後合成對應的自拍照。他們還在推理過程中應用了一個最近姿態搜索模塊。給定一個自拍姿態輸入，模型會檢索出與之匹配度最高的他拍姿態，然後利用這個姿態來合成最後的他拍效果。合成的輸出的結果不止一個，用戶可以從中選擇，這就解決了上面提到的挑戰2。

利用上述步驟合成的成對數據可以直接用來訓練一個有監督的人像生成網絡，但實驗結果顯示，明顯的偽影問題依然沒有解決。之前的各種方法對於合成的成對訓練數據與真實自拍測試數據之間的像素級domain gap非常敏感。受到CVPR 2019 論文《Coordinate-based texture inpainting for pose-guided image generation》的啟發，研究者使用基於坐標的修補方法在UV 空間中修補身體紋理，空間中大部分是不變的原始身體姿態，因此在面臨合成數據的瑕疵時更具魯棒性。此外，基於坐標的修補方法可以重新利用可見像素，從而獲得更清晰的結果。

【相關圖輯】「P圖神手」kanahoooo為網友修圖　點圖看看前後驚人對比：

為了應對挑戰3，研究者使用了一個基於合成網絡的門控卷積層來完善身體外觀和填補背景空白，並保持人體與背景之間的平滑過渡。總的來說，為了解決「unselfie」任務，研究者提出了三段式pipeline：首先在數據庫中搜索最相近的他拍姿勢，然後執行基於坐標的身體紋理修補，最後使用合成模塊來細化結果，並在背景上合成它們。

實驗結果

研究者在定性評估、用戶研究和定量評估三方面將他們提出的方法與以往類似方法進行了比較。下圖表明，與之前的DPIG和PATN方法相比，Unselfie方法生成了更逼真的人體姿勢和背景。

由於沒有對應自拍照的ground truth 他拍照，因而不能使用SSIM 之類的指標。所以，為了定量比較該方法與其他基準方法的成像結果，研究者使用了FID 和KID 兩項指標。結果顯示，定量比較中的FID 和KID 結果與用戶研究保持一致，該方法顯著優於其他方法。

方法局限

不過，該方法在以下幾個方面依然存在局限。首先，對於具有挑戰性的自拍姿勢或角度來說，最近姿態搜索模塊可能難以找到與之匹配的他拍姿態，這導致合成圖像中的手臂或肩膀相較於頭部區域過細或過寬。這一問題在top-1結果中出現的比例少於10%，並且用戶通常可以從top-5結果中找到良好的兼容姿勢。

此外，剛才Fig.10示例也暴露出了背景合成的局限。不過，針對此問題，研究者也展示了利用已有模型對圖像背景進行修復的示例，從而證明了在大規模數據集上訓練的圖像修復模型的好處。

最後，系統在DensePose 檢測中容易出錯。如Fig.10（右）所示，DensePose沒有檢測到她的手臂在前方。所以，合成模塊在結果中依然保留了她的手臂。

【相關圖輯】內地精靈樣網紅再被揭發極驚嚇真身　神級P圖超大碼身材變Barbie（點圖放大瀏覽）：

【相關圖輯】Cammi謝芷蕙P圖技巧進化到連片都無真相　胸仲大過個頭（點圖放大瀏覽）：

【本文轉自「機器之心」，微信公眾號：almosthuman2014】