Llama2

[xiezipeng-ML]

• libai sft model_0000499(base on Llama-2-7b-hf):

{
    'results': {
        'hellaswag': {'acc': 0.5746863174666401, 'acc_stderr': 0.004933800927560528, 'acc_norm': 0.759609639514041, 'acc_norm_stderr': 0.004264472071282531}
    }, 
    'versions': {
        'hellaswag': 0
    }, 
    'config': {
        'model': 'llama', 'batch_size': 1, 'device': 'cuda:0', 'num_fewshot': 0, 'limit': None, 'bootstrap_iters': 100000
        }
}

• Llama-2-7b-chat-hf

hf-causal (pretrained=/data/home/xiezipeng/hf_models/meta-llama/Llama-2-7b-chat-hf), limit: None, provide_description: False, num_fewshot: 0, batch_size: None
|  Task   |Version| Metric |Value |   |Stderr|
|---------|------:|--------|-----:|---|-----:|
|hellaswag|      0|acc     |0.5778|±  |0.0049|
|         |       |acc_norm|0.7553|±  |0.0043|

[L1aoXingyu]

batch_size 只能跑 1 吗

[xiezipeng-ML]

在A100上测的 2dp+4pp，batch_size最大只能是2

[Ldpe2G]

在A100上测的 2dp+4pp，batch_size最大只能是2

有没有试过其他的并行组合，比如 pp + tp ，还有 activation_checkpoint 有打开吗？

[xiezipeng-ML]

测了下2dp+2tp+2pp最大只能micro_batch_size=2，activation_checkpoint 稍后支持一下

[L1aoXingyu]

_apply 接口一般不在外面调用，考虑改成 apply 或者导出一个新接口