Functions to measure the memory usage

[JiaxiangRen]

您好，感谢您的工作，我这里有两个问题。
1.您是否能提供衡量类似于figure2和table2中memory usage的函数，或者给予一些提示如何去实现。nvidia-smi好像不能正确的反应真正的显存占用。
2.table2中的memory是指的每个gpu平均的呢还是总共的显存占用？

[KaiLv69]

您好。

1. 可以参考How to calculate the used GPU memory for each part as in the paper? #36
2. 指的是每个GPU平均的显存占用。