一个奇怪的问题

[JSYdiyishuai]

使用不同音频测试，口型是训练音频的口型，请问一下这是什么问题？使用过hubert、wenet、和synctalk的ave提取音频特征，发现都有这个问题，训练loss都很正常，也试过关闭sync_loss。

[Liwenru88]

同样的问题 训练集和验证集都很正常 但是用其它音频 口型就对不上

[JSYdiyishuai]

同样的问题 训练集和验证集都很正常 但是用其它音频 口型就对不上

另外我做了个测试，pred = net(img_concat_T, audio_feat)[0]，audio_feat无论是什么全0或全1，似乎都影响不了最后生成的口型

[anliyuan]

目前我还没遇到过这个问题，可以详细写一下复现流程

[JSYdiyishuai]

目前我还没遇到过这个问题，可以详细写一下复现流程

流程基本如下：
1.只是clone了这个仓库，没有做任何修改
2.cd data_utils；python process.py ./my_video --asr hubert
3. cd ..; python train.py --dataset_dir ./my_video/ --save_dir ./checkpoints/1/ --asr hubert
4. python inference.py --asr hubert --dataset ./my_video/ --audio_feat new.npy --save_path ./tmp.mp4 --checkpoint ./checkpoints/1/195.pth
5. ffmpeg -i tmp.mp4 -i new.wav -c:v libx264 -c:a aac tmp_aud.mp4

可以提供你的训练视频和权重吗？