PRE_SEQ_LEN=128LR=2e-2NUM_GPUS=1torchrun --standalone --nnodes=1 --nproc-per-node=$NUM_GPUS mainpy --do_train --train_file AdvertiseGentrainjson --validation_file AdvertiseGendevjson -

SET PRE_SEQ_LEN=128 SET LR=2e-2 SET NUM_GPUS=1

torchrun --standalone --nnodes=1 --nproc-per-node=%NUM_GPUS% main.py ^ --do_train ^ --train_file AdvertiseGen/train.json ^ --validation_file AdvertiseGen/dev.json ^ --preprocessing_num_workers 10 ^ --prompt_column content ^ --response_column summary ^ --overwrite_cache ^ --model_name_or_path THUDM/chatglm2-6b ^ --output_dir output/adgen-chatglm2-6b-pt-%PRE_SEQ_LEN%-%LR% ^ --overwrite_output_dir ^ --max_source_length 64 ^ --max_target_length 128 ^ --per_device_train_batch_size 1 ^ --per_device_eval_batch_size 1 ^ --gradient_accumulation_steps 16 ^ --predict_with_generate ^ --max_steps 3000 ^ --logging_steps 10 ^ --save_steps 1000 ^ --learning_rate %LR% ^ --pre_seq_len %PRE_SEQ_LEN% ^ --quantization_bit