腾讯 AI 实验室在姿势引导人物图像合成方面取得新突破

CTOnews.com 11 月 4 日消息，腾讯 AI 实验室近日推出了渐进式条件扩散模型（PCDMs），在姿态引导人物图像合成方面取得重大突破。

PCDMs 由先验条件扩散模型、修复条件扩散模型和完善条件扩散模型三个关键阶段组成，解决了应对源图像与目标图像的姿态不一致问题，以及在生成高质量、逼真图像方面的挑战。

PCDMs 在 DeepFashion 和 Market1501 数据集上的各项指标，明显优于其他 SOTA 方法，且在小尺度数据集 Market1501（128*64）上的 SSIM 指标得到最高的 0.3169，比第二名 PIDM 高出 3.8%。

在先验条件扩散模型第一阶段，在给定源图像和姿势坐标作为条件的情况下，先验条件扩散模型采用一个变换网络来预测目标姿势下的全局特征。

在修复条件扩散模型第二阶段，进一步完善第一阶段的全局特征，建立源图像和目标图像之间密集对应关系，该阶段可确保跨多个维度（包括图像、姿势和特征）进行对齐，对于实现逼真的结果至关重要。

在完善条件扩散模型第三阶段：在前一阶段生成初始粗粒度目标图像后，细化条件扩散模型介入以提高图像质量和纹理细节。

此阶段利用先前生成的粗粒度图像作为条件，进一步提高图像保真度并确保纹理一致性，涉及修改第一个卷积层，并使用图像编码器从源图像中提取特征。采用交叉注意力机制将纹理特征注入网络，便于纹理修复和细节增强。

CTOnews.com在此附上论文地址：https://arxiv.org/pdf/2310.06313.pdf

GitHub 地址：https://github.com/muzishen/PCDMs