Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

重新训练模型,复现quick start中的例子 #7

Open
JYC1012 opened this issue Nov 17, 2024 · 2 comments
Open

重新训练模型,复现quick start中的例子 #7

JYC1012 opened this issue Nov 17, 2024 · 2 comments

Comments

@JYC1012
Copy link

JYC1012 commented Nov 17, 2024

您好,请教一下,我使用您提供的数据处理方法处理了数据集,重新进行训练。随后我尝试使用自己训练的模型生成您demo中展示的例子,发现没有文本控制的能力。

default.mp4

请问是否有可能是我的训练参数设置的问题?
在我的训练设置中,我并更改脚本中的任何默认的参数设置
image

这里的guidacnce_param是否就是您文章中提到的控制文本条件和音频条件之间平衡的参数,
image

在您提供的模型训练时,该参数是怎么设置的?或许在训练阶段并没有使用该平衡参数。

感谢您的工作,期待您的解答!!!

@JYC1012 JYC1012 changed the title 使用自己训练的模型,发现模型没有文本控制能力。 重新训练模型,复现quick stat中的例子 Nov 17, 2024
@JYC1012 JYC1012 changed the title 重新训练模型,复现quick stat中的例子 重新训练模型,复现quick start中的例子 Nov 17, 2024
@YoungSeng
Copy link
Owner

感谢提问,视频结果确实显示只有语音驱动手势生成;这是完全重新训练的结果吗?感觉audio2gesture和之前上传的预训练模型结果好像,但是text2motion坏掉了,感觉可以检查一下推理阶段的代码以及重新训练的话检查text2motion数据集的代码?

@Tbot-sp
Copy link

Tbot-sp commented Dec 20, 2024

作者及提问者你好,这个问题,我发现问题出在最后的h5.train_file中,检查了下,里面只有语音的beat数据,没有human的;

进一步原因在于,第一次跑process_dataset.sh中,--HUMANML3D_smplx_path $HumanML3D_path/motion_joints_vecs_3 \ 路经写成了这个,但第一次跑的时候,其实还没有motion_joints_vecs_3,
而应该是HUMANML3D_smplx_path $HumanML3D_path/processed_motion(我改成这个发现是能够跑通的)

等到跑第二次process_dataset.sh的时候,才应该改为$--HUMANML3D_smplx_path $HumanML3D_path/motion_joints_vecs_3 \

这样,最终generate的h5_train才会有humanML3D的数据集,希望作者帮忙看看我说的是否正确的,大谢!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants