micro zapusk no cross

.ipynb_checkpoints/checkLora-checkpoint.py

@@ -125,8 +125,25 @@
 
 
 import torch
+# from transformers import BertTokenizer, BertModel
+# from peft import PeftModel
+
+# # Определяем устройство
+# device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
+# # Загружаем базовую модель BERT
+# base_model = BertModel.from_pretrained("bert-base-uncased").to(device)
+
+# # Подключаем адаптер LoRA
+# model = PeftModel.from_pretrained(base_model, "./micro_no_cross_fine_tuned").to(device)
+# model.eval()
+
+# # Загружаем токенизатор
+# tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
+
 from peft import PeftModel
 from transformers import BertTokenizer, BertConfig
+from micro_no_cross import MultiTaskBert
 
 # Загружаем базовую конфигурацию
 config = BertConfig.from_pretrained("bert-base-uncased")
@@ -142,8 +159,7 @@ tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
 
 model.to(device)
 model.eval()
-# Загружаем токенизатор
-tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
+
 
 def predict(text):
     inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512).to(device)

checkLora.py

@@ -125,8 +125,25 @@
 
 
 import torch
+# from transformers import BertTokenizer, BertModel
+# from peft import PeftModel
+
+# # Определяем устройство
+# device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
+# # Загружаем базовую модель BERT
+# base_model = BertModel.from_pretrained("bert-base-uncased").to(device)
+
+# # Подключаем адаптер LoRA
+# model = PeftModel.from_pretrained(base_model, "./micro_no_cross_fine_tuned").to(device)
+# model.eval()
+
+# # Загружаем токенизатор
+# tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
+
 from peft import PeftModel
 from transformers import BertTokenizer, BertConfig
+from micro_no_cross import MultiTaskBert
 
 # Загружаем базовую конфигурацию
 config = BertConfig.from_pretrained("bert-base-uncased")
@@ -142,8 +159,7 @@ tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
 
 model.to(device)
 model.eval()
-# Загружаем токенизатор
-tokenizer = BertTokenizer.from_pretrained("./micro_no_cross_fine_tuned")
+
 
 def predict(text):
     inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512).to(device)