obuch with cross and graphic SAVING LORA

.ipynb_checkpoints/testingkek-checkpoint.py

@@ -58,4 +58,19 @@ with torch.no_grad():
         attention_mask=inputs['attention_mask'],
         token_type_ids=inputs.get('token_type_ids', None)  # Обработка необязательного аргумента
     )
-    print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()})
\ No newline at end of file
+    print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()})
+
+# Проверка загруженных LoRA параметров
+print("\n=== Проверка LoRA ===")
+lora_params = [name for name, _ in model.named_parameters() if 'lora' in name]
+if lora_params:
+    print(f"✅ LoRA загружено! Найдено {len(lora_params)} параметров")
+    print("Примеры параметров:", lora_params[:4])
+else:
+    print("❌ LoRA не загружено!")
+
+# Проверка влияния LoRA
+base_output = base_model(**inputs)  # Без LoRA
+lora_output = model.bert(**inputs)  # С LoRA
+diff = (lora_output.last_hidden_state - base_output.last_hidden_state).abs().mean()
+print(f"\nСреднее изменение выхода BERT (должно быть >0): {diff.item():.4f}")
\ No newline at end of file

testingkek.py

@@ -58,4 +58,19 @@ with torch.no_grad():
         attention_mask=inputs['attention_mask'],
         token_type_ids=inputs.get('token_type_ids', None)  # Обработка необязательного аргумента
     )
-    print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()})
\ No newline at end of file
+    print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()})
+
+# Проверка загруженных LoRA параметров
+print("\n=== Проверка LoRA ===")
+lora_params = [name for name, _ in model.named_parameters() if 'lora' in name]
+if lora_params:
+    print(f"✅ LoRA загружено! Найдено {len(lora_params)} параметров")
+    print("Примеры параметров:", lora_params[:4])
+else:
+    print("❌ LoRA не загружено!")
+
+# Проверка влияния LoRA
+base_output = base_model(**inputs)  # Без LoRA
+lora_output = model.bert(**inputs)  # С LoRA
+diff = (lora_output.last_hidden_state - base_output.last_hidden_state).abs().mean()
+print(f"\nСреднее изменение выхода BERT (должно быть >0): {diff.item():.4f}")
\ No newline at end of file