LoRA adapter_model.bin not generated

[soonchangAI]

Faced the following error when running evaluate.sh on meta-llama/Llama-3.2-1B-Instruct with 100 of Lamini training set.
GPU: Titan, dtype: float16
Checkpoint /media/cybertron/fa54fcb6-b5e1-492e-978a-6389519c168a/research25/model_checkpoints/llama_exp1/adapter_model.bin not found
Hi I ran the evaluate.sh after running the prune.sh.
where I set the lora_weights in evaluate.sh to the same as output_dir for prune.sh.

output_dir = lora_weights = /media/cybertron/fa54fcb6-b5e1-492e-978a-6389519c168a/research25/model_checkpoints/llama_exp1/

When load the adapter_model.safetensors, they are empty.
Following are the generated files after prune.sh is completed, I did find any adapter_model.bin
/media/cybertron/fa54fcb6-b5e1-492e-978a-6389519c168a/research25/model_checkpoints/llama_exp1
├── README.md
├── _custom_modules
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── alpha_pattern
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── auto_mapping
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── base_model_name_or_path
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── bias
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── checkpoint-50
│ ├── README.md
│ ├── _custom_modules
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── alpha_pattern
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── auto_mapping
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── base_model_name_or_path
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── bias
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── enable_lora
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── fan_in_fan_out
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── inference_mode
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── init_lora_weights
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── layer_replication
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── layers_to_transform
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── loftq_config
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── lora_alpha
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── lora_dropout
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── megatron_config
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── megatron_core
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── merge_weights
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── modules_to_save
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── optimizer.pt
│ ├── peft_type
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── r
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── rank_pattern
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── revision
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── rng_state.pth
│ ├── runtime_config
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── scheduler.pt
│ ├── target_modules
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── task_type
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ ├── trainer_state.json
│ ├── training_args.bin
│ ├── use_dora
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ └── use_rslora
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── enable_lora
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── fan_in_fan_out
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── inference_mode
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── init_lora_weights
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── layer_replication
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── layers_to_transform
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── loftq_config
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── lora_alpha
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── lora_dropout
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── megatron_config
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── megatron_core
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── merge_weights
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── modules_to_save
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── peft_type
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── r
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── rank_pattern
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── revision
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── runtime_config
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── target_modules
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── task_type
│ ├── adapter_config.json
│ └── adapter_model.safetensors
├── use_dora
│ ├── adapter_config.json
│ └── adapter_model.safetensors
└── use_rslora
├── adapter_config.json
└── adapter_model.safetensors

[soonchangAI]

@WoutDeRijck Hi, can you help?

[soonchangAI]

Found a fix for preventing saving empty adapter weights tloen/alpaca-lora#597