You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
kobert를 활용하여 분류 학습 후 파이토치 모델로 저장하였습니다
fine-tuning 후 새로운 데이터를 입력으로 주어 모델에 output중 hidden_states 값을 사용하려고합니다.
transformer BertForSequenceClassification.from_pretrained()를 사용하여 fine_tuning을 진행하였고,
옵션으로 output_hidden_states = True로 설정한 뒤 모델을 다시 로드하여 데이터셋을 주고, output을 출력하면
1 12 512 768가 아닌 1 12 512 512으로 768차원에 embedding vector을 출력하지 못하고 있습니다.
kobert fine_tuning model의 hidden_states를 사용하여 문장들의 CLS token vector를 얻고 싶은데,
output을 어떻게 설정하고 가져와야하는 것인지 설명해 주시면 정말 감사드리겠습니다.
The text was updated successfully, but these errors were encountered:
kobert를 활용하여 분류 학습 후 파이토치 모델로 저장하였습니다
fine-tuning 후 새로운 데이터를 입력으로 주어 모델에 output중 hidden_states 값을 사용하려고합니다.
transformer BertForSequenceClassification.from_pretrained()를 사용하여 fine_tuning을 진행하였고,
옵션으로 output_hidden_states = True로 설정한 뒤 모델을 다시 로드하여 데이터셋을 주고, output을 출력하면
1 12 512 768가 아닌 1 12 512 512으로 768차원에 embedding vector을 출력하지 못하고 있습니다.
kobert fine_tuning model의 hidden_states를 사용하여 문장들의 CLS token vector를 얻고 싶은데,
output을 어떻게 설정하고 가져와야하는 것인지 설명해 주시면 정말 감사드리겠습니다.
The text was updated successfully, but these errors were encountered: