micro zapusk no cross

.ipynb_checkpoints/checkLora-checkpoint.py

@@ -125,22 +125,26 @@
 
 
 import torch
-from transformers import BertTokenizer, BertModel
 from peft import PeftModel
+from transformers import BertTokenizer, BertConfig
 
-# Определяем устройство
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+# Загружаем базовую конфигурацию
+config = BertConfig.from_pretrained("bert-base-uncased")
 
-# Загружаем базовую модель BERT
-base_model = BertModel.from_pretrained("bert-base-uncased").to(device)
+# Создаем модель с кастомной архитектурой
+model = MultiTaskBert(config)
 
-# Подключаем адаптер LoRA
-model = PeftModel.from_pretrained(base_model, "./micro_no_cross_fine_tuned").to(device)
-model.eval()
+# Загружаем LoRA-адаптеры
+model = PeftModel.from_pretrained(model, "./micro_no_cross_fine_tuned")
 
 # Загружаем токенизатор
 tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
 
+model.to(device)
+model.eval()
+# Загружаем токенизатор
+tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
+
 def predict(text):
     inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512).to(device)
     inputs.pop('token_type_ids', None)  # Удаляем ненужные ключи

checkLora.py

@@ -125,22 +125,26 @@
 
 
 import torch
-from transformers import BertTokenizer, BertModel
 from peft import PeftModel
+from transformers import BertTokenizer, BertConfig
 
-# Определяем устройство
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+# Загружаем базовую конфигурацию
+config = BertConfig.from_pretrained("bert-base-uncased")
 
-# Загружаем базовую модель BERT
-base_model = BertModel.from_pretrained("bert-base-uncased").to(device)
+# Создаем модель с кастомной архитектурой
+model = MultiTaskBert(config)
 
-# Подключаем адаптер LoRA
-model = PeftModel.from_pretrained(base_model, "./micro_no_cross_fine_tuned").to(device)
-model.eval()
+# Загружаем LoRA-адаптеры
+model = PeftModel.from_pretrained(model, "./micro_no_cross_fine_tuned")
 
 # Загружаем токенизатор
 tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
 
+model.to(device)
+model.eval()
+# Загружаем токенизатор
+tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
+
 def predict(text):
     inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512).to(device)
     inputs.pop('token_type_ids', None)  # Удаляем ненужные ключи