obuch with cross and graphic SAVING LORA

.ipynb_checkpoints/proverkabert-checkpoint.py

@@ -4,6 +4,12 @@ from peft import get_peft_model, LoraConfig, TaskType
 import torch.nn as nn
 from transformers import BertModel, BertPreTrainedModel
 
+# Очистка кеша
+torch.cuda.empty_cache()
+
+# Определяем устройство (GPU или CPU)
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
 # Убедитесь, что класс MultiTaskBert определён, как в вашем первоначальном коде
 class MultiTaskBert(BertPreTrainedModel):
     def __init__(self, config):

proverkabert.py

@@ -4,6 +4,12 @@ from peft import get_peft_model, LoraConfig, TaskType
 import torch.nn as nn
 from transformers import BertModel, BertPreTrainedModel
 
+# Очистка кеша
+torch.cuda.empty_cache()
+
+# Определяем устройство (GPU или CPU)
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
 # Убедитесь, что класс MultiTaskBert определён, как в вашем первоначальном коде
 class MultiTaskBert(BertPreTrainedModel):
     def __init__(self, config):