diff --git a/.ipynb_checkpoints/testingkek-checkpoint.py b/.ipynb_checkpoints/testingkek-checkpoint.py index cc630edb39b70a6cd88ab959b6171c1c3ae4bb19..d925f06914117dc14934c43d135a1e0ab12bc135 100644 --- a/.ipynb_checkpoints/testingkek-checkpoint.py +++ b/.ipynb_checkpoints/testingkek-checkpoint.py @@ -58,4 +58,19 @@ with torch.no_grad(): attention_mask=inputs['attention_mask'], token_type_ids=inputs.get('token_type_ids', None) # Обработка необязательного аргумента ) - print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()}) \ No newline at end of file + print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()}) + +# Проверка загруженных LoRA параметров +print("\n=== Проверка LoRA ===") +lora_params = [name for name, _ in model.named_parameters() if 'lora' in name] +if lora_params: + print(f"✅ LoRA загружено! Найдено {len(lora_params)} параметров") + print("Примеры параметров:", lora_params[:4]) +else: + print("❌ LoRA не загружено!") + +# Проверка влияния LoRA +base_output = base_model(**inputs) # Без LoRA +lora_output = model.bert(**inputs) # С LoRA +diff = (lora_output.last_hidden_state - base_output.last_hidden_state).abs().mean() +print(f"\nСреднее изменение выхода BERT (должно быть >0): {diff.item():.4f}") \ No newline at end of file diff --git a/testingkek.py b/testingkek.py index cc630edb39b70a6cd88ab959b6171c1c3ae4bb19..d925f06914117dc14934c43d135a1e0ab12bc135 100644 --- a/testingkek.py +++ b/testingkek.py @@ -58,4 +58,19 @@ with torch.no_grad(): attention_mask=inputs['attention_mask'], token_type_ids=inputs.get('token_type_ids', None) # Обработка необязательного аргумента ) - print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()}) \ No newline at end of file + print("\nТестовый вывод:", {k: v.shape for k, v in outputs.items()}) + +# Проверка загруженных LoRA параметров +print("\n=== Проверка LoRA ===") +lora_params = [name for name, _ in model.named_parameters() if 'lora' in name] +if lora_params: + print(f"✅ LoRA загружено! Найдено {len(lora_params)} параметров") + print("Примеры параметров:", lora_params[:4]) +else: + print("❌ LoRA не загружено!") + +# Проверка влияния LoRA +base_output = base_model(**inputs) # Без LoRA +lora_output = model.bert(**inputs) # С LoRA +diff = (lora_output.last_hidden_state - base_output.last_hidden_state).abs().mean() +print(f"\nСреднее изменение выхода BERT (должно быть >0): {diff.item():.4f}") \ No newline at end of file