训练需要的显存，显卡数量和训练时间？

[huangb23]

如题，这两个模型加起来20B 应该得用A100-80G训练了吧？ 方便给一个训练样本数，显卡数量和训练时间吗？

[erwold]

实际上Qwen2VL-7B只需要开放最后一层训练，外加一个connector将Qwen2VL-7B的特征维度对齐到Flux；Flux每个stage只训练部分层；每个stage训练的时候，所有可训练参数加起来，大概不到2B
更具体的训练配置：8xA100，3百万张图片，batchsize=128，100k steps

[huangb23]

需要多少天呢？A100是80G的吗

[saynn]

实际上Qwen2VL-7B只需要开放最后一层训练，外加一个connector将Qwen2VL-7B的特征维度对齐到Flux；Flux每个stage只训练部分层；每个stage训练的时候，所有可训练参数加起来，大概不到2B 更具体的训练配置：8xA100，3百万张图片，batchsize=128，100k steps

请问FLUX每个stage只训练部分层，是出于什么原因呢？

[FangGet]

@erwold 请问您FLUX开放部分层训练的时候，对某一层而言，是所有参数都开放，还是只开放某些MLP呢？