关于权重的问题

[YZX-codesky]

请问，发布的权重是在mead数据集还是在HDTF数据集上训练的？

[tanshuai0219]

EDTalk.pt 是在MEAD和HDTF两个数据集上都用了
EDTalk_lip_pose.pt 只在HDTF上训练的

[YZX-codesky]

感谢你的回复，能否提供一下论文中使用的训练测试集的划分列表吗？

[tanshuai0219]

感谢你的回复，能否提供一下论文中使用的训练测试集的划分列表吗？

https://github.com/tanshuai0219/EDTalk/tree/main/data_preprocess/lists

这里面有哈，在readme里也写了数据预处理的流程

[DESEOUMAIGA]

@tanshuai0219 hi，感谢你的工作，我想咨询一下，训练EG的时候用的是原图到原图，但是在disentangle mouth和pose的时候，会做嘴巴部分的“重组”，Encoder能适用这种变化吗？特别是当交换的两个图片，一个是侧脸一个是正脸，强行“重组”不会导致Encoder“失效”吗？

[tanshuai0219]

@tanshuai0219 hi，感谢你的工作，我想咨询一下，训练EG的时候用的是原图到原图，但是在disentangle mouth和pose的时候，会做嘴巴部分的“重组”，Encoder能适用这种变化吗？特别是当交换的两个图片，一个是侧脸一个是正脸，强行“重组”不会导致Encoder“失效”吗？

可以适应的哈，encoder 有很强的泛化能力的，包括处理一下 类似于漫画风、雕塑等等的image 的能力还是可以的。