基于姿态的时装图像合成研究

发布时间：2021-10-15 03:58

　　随着人工智能技术在服装时尚领域的深入,服装图像的合成技术成为了当今社会的一个热点研究方向。服装图像包含丰富的语义信息和细节信息,如何根据目标姿态合成服装图像是一个挑战性难题。提出一种新的服装图像合成框架,提出一种姿态与生成对抗网络相结合的图像合成方法。该方法首先通过一种形状编码从原始服装图像提取语义掩模图,从目标图像中提取目标姿态以及pose mask,将它们作为与语义编码器的输入,通过语义生成器合成新的语义掩模图;然后从原始图像提取纹理特征并与语义掩模图融合生成纹理特征图;最后将纹理特征图和语义掩模图融入到纹理生成器中合成新的服装图像。实验结果表明,与其他主流方法相比,此方法在图像合成质量以及定量评估指标上有明显提升。 

【文章来源】：现代计算机. 2020,(28)

【文章页数】：6 页

【部分图文】：

服装图像合成框架

为了避免昂贵的姿态注释，本文利用了最新的姿态估计器[9]来获取近似的人体姿态，即目标姿态pt。模型学习将每个关键点映射到人体的某个位置，将姿态pt编码为若干个heatmaps，每个heatmaps在对应关键点周围半径为4的像素中填充1，其他位置则填充0（请参看图2，目标姿态）。由于只有语义掩模图和目标姿态作为输入，如果目标人体服装图像和原人体服装图像背景不同，则模型生成背景较困难。为了减轻背景变化的影响，于是添加了另一个姿态掩模图Mpt，从而赋予了人体比背景更多的权重。姿态掩模Mpt的前景设置为1，背景设置为0，是通过将人体部位和运用一组形态学运算计算得出，以便使其易于覆盖目标图像中的整个人体（参看图2）。2.1.3编辑模块

语义编码器的网络结构定义为：p3,c7s1-16,d32,d64,d128,d128,d128,d128,d128,R128,R128,R128,R128,R128,R128,R128,R128,R128,fc8；语义生成器的网络结构定义为：d128,d128,d128,d128,d128,d64,d32,d16,p3,c7s1-18。其中c7s1-k表示一个具有k个filters且步幅为1的7*7卷积块，dk表示一个具有k个filters且步幅为2的3*3卷积块，Rk表示一个残差块，包含两个具有k个filters的3*3卷积块。pk表示在所有边界上的填充3。fck表示具有k个滤波器的完全连接层。图4 服装VAE-GAN模型


本文编号：3437380