micro zapusk no cross

.ipynb_checkpoints/micro_no_cross-checkpoint.py

@@ -103,6 +103,7 @@ class MultiTaskBert(BertPreTrainedModel):
 
 # Создание модели
 base_model = MultiTaskBert.from_pretrained('bert-base-uncased').to(device)
+base_model.save_pretrained('./micro_no_cross_fine_tuned/base')  # Сохраняет модель и её веса
 
 # Настройка LoRA.
 # Явно исключаем сохранение модулей, не адаптированных LoRA (например, классификаторов),
@@ -179,7 +180,7 @@ plt.show()
 # trainer.save_model('./fine-tuned-bert-lora_new')
 # tokenizer.save_pretrained('./fine-tuned-bert-lora_new')
 # Сохранение модели, адаптеров LoRA и токенизатора
-base_model.save_pretrained('./micro_no_cross_fine_tuned/base')  # Сохраняет модель и её веса
+# base_model.save_pretrained('./micro_no_cross_fine_tuned/base')  # Сохраняет модель и её веса
 tokenizer.save_pretrained('./micro_no_cross_fine_tuned')  # Сохраняет токенизатор
 # model.save_pretrained("./micro_no_cross_fine_tuned")
 model.save_pretrained("./micro_no_cross_fine_tuned/lora")

micro_no_cross.py

@@ -103,6 +103,7 @@ class MultiTaskBert(BertPreTrainedModel):
 
 # Создание модели
 base_model = MultiTaskBert.from_pretrained('bert-base-uncased').to(device)
+base_model.save_pretrained('./micro_no_cross_fine_tuned/base')  # Сохраняет модель и её веса
 
 # Настройка LoRA.
 # Явно исключаем сохранение модулей, не адаптированных LoRA (например, классификаторов),
@@ -179,7 +180,7 @@ plt.show()
 # trainer.save_model('./fine-tuned-bert-lora_new')
 # tokenizer.save_pretrained('./fine-tuned-bert-lora_new')
 # Сохранение модели, адаптеров LoRA и токенизатора
-base_model.save_pretrained('./micro_no_cross_fine_tuned/base')  # Сохраняет модель и её веса
+# base_model.save_pretrained('./micro_no_cross_fine_tuned/base')  # Сохраняет модель и её веса
 tokenizer.save_pretrained('./micro_no_cross_fine_tuned')  # Сохраняет токенизатор
 # model.save_pretrained("./micro_no_cross_fine_tuned")
 model.save_pretrained("./micro_no_cross_fine_tuned/lora")