Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Regarding Custom Resource Handling #26

Open
alphazhugit opened this issue Nov 12, 2024 · 11 comments
Open

Regarding Custom Resource Handling #26

alphazhugit opened this issue Nov 12, 2024 · 11 comments

Comments

@alphazhugit
Copy link

alphazhugit commented Nov 12, 2024 •
edited
Loading

First of all, thank you to the author for sharing. The demo works fine for me, and it runs smoothly without any issues. However, the instructions regarding the preparation of custom resources seem a bit brief. I'm not sure where the UIDs come from, and I would appreciate a more comprehensive guide on how to fully customize and run resources. For example, after drawing a character, what should I use to process the required resources? Even the step-by-step guide seems to be dealing with existing resources, and I'm a bit confused about the configs and UIDs... 😫
@Papripa
Copy link

Papripa commented Nov 12, 2024

首先感谢作者的分享，然后demo我都是ok的，跑通没问题。但是关于自定义的资源准备相关的说明感觉有点简略，那些uid怎么来的，希望能补充一个完整的自定义资源跑通的说明吧，比如首先我画了一个小人，然后用什么处理所需要的资源，即使setp by step似乎也是在处理已有的资源，那些config，那些uid。。。我看的有点混乱。。。。😫

请问你在install tinycudann的时候有遇到#include不行的问题吗？或者说你的gcc版本是多少方便说一下吗 我一直这里失败

@alphazhugit
Copy link
Author

首先感谢作者的分享，然后demo我都是ok的，跑通没问题。但是关于自定义的资源准备相关的说明感觉有点简略，那些uid怎么来的，希望能补充一个完整的自定义资源跑通的说明吧，比如首先我画了一个小人，然后用什么处理所需要的资源，即使setp by step似乎也是在处理已有的资源，那些config，那些uid。。。我看的有点混乱。。。。😫

请问你在install tinycudann的时候有遇到#include不行的问题吗？或者说你的gcc版本是多少方便说一下吗 我一直这里失败

我没走官方的环境，我是python3.10 torch2.0.0+cuda118 nvcc也是118 gcc是114 tinycudann的话我不知道你怎么装的 直接pip似乎是不行，我是拉的官方仓库用的setup装的

@alphazhugit alphazhugit changed the title 关于自定义资源处理 Regarding Custom Resource Handling Nov 13, 2024
@Papripa
Copy link

Papripa commented Nov 13, 2024

首先感谢作者的分享，然后demo我都是ok的，跑通没问题。但是关于自定义的资源准备相关的说明感觉有点简略，那些uid怎么来的，希望能补充一个完整的自定义资源跑通的说明吧，比如首先我画了一个小人，然后用什么处理所需要的资源，即使setp by step似乎也是在处理已有的资源，那些config，那些uid。。。我看的有点混乱。。。。😫

请问你在install tinycudann的时候有遇到#include不行的问题吗？或者说你的gcc版本是多少方便说一下吗 我一直这里失败

我没走官方的环境，我是python3.10 torch2.0.0+cuda118 nvcc也是118 gcc是114 tinycudann的话我不知道你怎么装的 直接pip似乎是不行，我是拉的官方仓库用的setup装的

谢谢你！

@alphazhugit
Copy link
Author

首先感谢作者的分享，然后demo我都是ok的，跑通没问题。但是关于自定义的资源准备相关的说明感觉有点简略，那些uid怎么来的，希望能补充一个完整的自定义资源跑通的说明吧，比如首先我画了一个小人，然后用什么处理所需要的资源，即使setp by step似乎也是在处理已有的资源，那些config，那些uid。。。我看的有点混乱。。。。😫

请问你在install tinycudann的时候有遇到#include不行的问题吗？或者说你的gcc版本是多少方便说一下吗 我一直这里失败

我没走官方的环境，我是python3.10 torch2.0.0+cuda118 nvcc也是118 gcc是114 tinycudann的话我不知道你怎么装的 直接pip似乎是不行，我是拉的官方仓库用的setup装的

谢谢你！

如果你跑通了自定义数据希望能传授一下经验，自定义数据如何准备之类的😄

@Papripa
Copy link

Papripa commented Nov 13, 2024 via email

@AbyssBadger0
Copy link

首先感谢作者的分享，然后demo我都是ok的，跑通没问题。但是关于自定义的资源准备相关的说明感觉有点简略，那些uid怎么来的，希望能补充一个完整的自定义资源跑通的说明吧，比如首先我画了一个小人，然后用什么处理所需要的资源，即使setp by step似乎也是在处理已有的资源，那些config，那些uid。。。我看的有点混乱。。。。😫

请问你在install tinycudann的时候有遇到#include不行的问题吗？或者说你的gcc版本是多少方便说一下吗 我一直这里失败

我没走官方的环境，我是python3.10 torch2.0.0+cuda118 nvcc也是118 gcc是114 tinycudann的话我不知道你怎么装的 直接pip似乎是不行，我是拉的官方仓库用的setup装的

谢谢你！

如果你跑通了自定义数据希望能传授一下经验，自定义数据如何准备之类的😄

我使用自定义数据集成功了，希望可以帮到你，步骤如下：
1.将自己需要处理的图片处理为标准的512*512的大小，等比例缩放，空余的地方使用透明底
2.计算这张处理好的图片的md5作为新文件夹的名称，将这个文件夹建在preprocessed中，并且在这个文件夹中创建一个char文件夹
3.将第一步处理好的图片复制到第二步char文件夹中，重命名为“texture_with_bg.png”，再对这张图片进行扣背景处理处理后的图片命名为“texture.png”，将用来扣背景的蒙版保存为图片命名为“mask.png”（角色为白色，背景为黑色）要注意除了mask.png为L单通道，其余图片为RGBA四通道
4.同样的你需要在下方的两个json文件中加入你计算的md5的字符串
至此，你就获得了和demo一样的数据集，跟着指引跑就行了

image

@Papripa
Copy link

Papripa commented Nov 15, 2024 via email

@AbyssBadger0 AbyssBadger0 mentioned this issue Nov 15, 2024
Open
@alphazhugit
Copy link
Author

首先感谢作者的分享，然后demo我都是ok的，跑通没问题。但是关于自定义的资源准备相关的说明感觉有点简略，那些uid怎么来的，希望能补充一个完整的自定义资源跑通的说明吧，比如首先我画了一个小人，然后用什么处理所需要的资源，即使setp by step似乎也是在处理已有的资源，那些config，那些uid。。。我看的有点混乱。。。。😫

请问你在install tinycudann的时候有遇到#include不行的问题吗？或者说你的gcc版本是多少方便说一下吗 我一直这里失败

我没走官方的环境，我是python3.10 torch2.0.0+cuda118 nvcc也是118 gcc是114 tinycudann的话我不知道你怎么装的 直接pip似乎是不行，我是拉的官方仓库用的setup装的

谢谢你！

如果你跑通了自定义数据希望能传授一下经验，自定义数据如何准备之类的😄

我使用自定义数据集成功了，希望可以帮到你，步骤如下： 1.将自己需要处理的图片处理为标准的512*512的大小，等比例缩放，空余的地方使用透明底 2.计算这张处理好的图片的md5作为新文件夹的名称，将这个文件夹建在preprocessed中，并且在这个文件夹中创建一个char文件夹 3.将第一步处理好的图片复制到第二步char文件夹中，重命名为“texture_with_bg.png”，再对这张图片进行扣背景处理处理后的图片命名为“texture.png”，将用来扣背景的蒙版保存为图片命名为“mask.png”（角色为白色，背景为黑色）要注意除了mask.png为L单通道，其余图片为RGBA四通道 4.同样的你需要在下方的两个json文件中加入你计算的md5的字符串 至此，你就获得了和demo一样的数据集，跟着指引跑就行了

image

非常感谢你提供的步骤，按照你的步骤我成功完成了自定义数据的准备，也就是步骤二的所有资源，然后我继续看了步骤三，似乎绑定和Retargeting工作还是需要手动在三维软件操作对吧？然后我就突然不知道这个项目到底解决了什么问题，2D资源处理似乎仅仅是一个去轮廓和去背景（还是引用的三方项目），模型绑定和Retargeting也是需要美术人员去处理，emmmm。。。。

@Papripa
Copy link

Papripa commented Nov 18, 2024

对你要去maximo上自己去手动rigging。 然后把你感兴趣的animation的fbx文件下载下来放到文件夹里面。第三步是根据你的每一个fbx的每一帧以及在前面生成的不同方向的color、depth等渲染每一帧，然后把所有桢放在一个gif里面。这是因为生成的3d模型没有纹理，想要有纹理的动画实际是每一帧渲染然后放在一起的。

@LordLiang
Copy link
Owner

你好，感谢反馈，很抱歉前段时间比较忙没有及时来回答问题。我已经在readme加入了更详细的步骤介绍。如果有问题可以继续提问。由于rig和retarget不是本项目研究重点，所以就偷懒使用了现成的mixamo在线工具，这个工具还是比较友好的，只需要点几个关键点，个人感觉不太需要具备美术专业技能。我们的后续工作将尝试把这一步自动化掉。

@alphazhugit
Copy link
Author

你好，感谢反馈，很抱歉前段时间比较忙没有及时来回答问题。我已经在readme加入了更详细的步骤介绍。如果有问题可以继续提问。由于rig和retarget不是本项目研究重点，所以就偷懒使用了现成的mixamo在线工具，这个工具还是比较友好的，只需要点几个关键点，个人感觉不太需要具备美术专业技能。我们的后续工作将尝试把这一步自动化掉。

哈，没事已经在其他人帮助下完成了整套流程，不过还是感谢更新更详细的说明。对于绑定流程自动化在我看来其实是很有必要的（我其实一开始看到这个项目以为是自动化完成的😄），这样的话从输入到输出整套流程就显得更完整，rig过程我用了Blender的ARP插件来完成也很简单，但其实如果想要更好需要更专业的人去刷权重，总之期待更新~

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
4 participants
@alphazhugit @LordLiang @AbyssBadger0 @Papripa