Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

糟糕的贴图效果 #3

Closed
yanfeiwong opened this issue Jan 26, 2025 · 4 comments
Closed

糟糕的贴图效果 #3

yanfeiwong opened this issue Jan 26, 2025 · 4 comments

Comments

@yanfeiwong
Copy link

相比官方在HF的空间,本地运行的贴图效果差劲,存在错误和伪影。

@YanWenKun
Copy link
Owner

官方仓库里也在讨论这个问题:
Tencent/Hunyuan3D-2#42

等等看有什么讨论结果吧

看到一个回复是接一个 4X 放大模型,有点意外,却也合理

@yanfeiwong
Copy link
Author

官方仓库里也在讨论这个问题: Tencent/Hunyuan3D-2#42

等等看有什么讨论结果吧

看到一个回复是接一个 4X 放大模型,有点意外,却也合理

Multiview_Diffusion_Net这里可以把self.view_size设置成1024似乎会好一点,但是会大幅增加生成时间。另外如果把这个节点的结果独立出来,允许用户用自己的模型/提示词去优化/超分辨率/修改这个Multiview结果,最后再接入烘焙过程会不会更好?就是说,保存Multiview结果,然后增加mesh + 自定义Multiview => 带贴图的mesh 的功能。

@yanfeiwong
Copy link
Author

官方仓库里也在讨论这个问题: Tencent/Hunyuan3D-2#42
等等看有什么讨论结果吧
看到一个回复是接一个 4X 放大模型,有点意外,却也合理

Multiview_Diffusion_Net这里可以把self.view_size设置成1024似乎会好一点,但是会大幅增加生成时间。另外如果把这个节点的结果独立出来,允许用户用自己的模型/提示词去优化/超分辨率/修改这个Multiview结果,最后再接入烘焙过程会不会更好?就是说,保存Multiview结果,然后增加mesh + 自定义Multiview => 带贴图的mesh 的功能。

Hunyuan3D-2\hy3dgen\texgenpipelines.py\Hunyuan3DPaintPipeline_call_

        multiviews = self.models['multiview_model'](image_prompt, normal_maps + position_maps, camera_info)
        
        #保存这里的multiviews和下面用到的一些中间变量用于贴图自定义和修改?

        for i in range(len(multiviews)):
            multiviews[i] = multiviews[i].resize(
                (self.config.render_size, self.config.render_size))

        texture, mask = self.bake_from_multiview(multiviews,
                                                 selected_camera_elevs, selected_camera_azims, selected_view_weights,
                                                 method=self.config.merge_method)

@YanWenKun
Copy link
Owner

如果把这个节点的结果独立出来,允许用户用自己的模型/提示词去优化/超分辨率/修改这个Multiview结果,最后再接入烘焙过程会不会更好?

是的,类似的对 MV 的中间处理也在 3D-Pack 里用了很久了,我看最近 ComfyUI 扩展那边似乎有动作,可以期待一下更新:
https://github.com/kijai/ComfyUI-Hunyuan3DWrapper/blob/main/nodes.py

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants