또르르's 개발 Story

[20-3] KoELECTRA (수정) 본문

부스트캠프 AI 테크 U stage/실습

[20-3] KoELECTRA (수정)

또르르21 2021. 2. 20. 01:23

해당 과제의 코드는 박장원님의 "https://github.com/monologg/KoELECTRA/tree/master/finetune" 레포지토리의 코드를 변경하여 만들어졌습니다.

 

monologg/KoELECTRA

Pretrained ELECTRA Model for Korean. Contribute to monologg/KoELECTRA development by creating an account on GitHub.

github.com

[2021.02.19]

 

Boostcamp AITech 2021 NLP Kaggle 21위

 

[2021]

 

Boostcamp AITech 2021 NLP Kaggle 56위

 

Colab 무료버전에서 GPU 11.49GB를 10시간째 사용하다가 GPU 사용제한에 걸렸습니다.

koelectra-base-v3을 사용하고,

 

  "train_batch_size": 80,

  "save_steps": 700,

 

을 변경하고 수행했는데,

 

ckpt/koelectra-base-v3-custom-ner-ckpt/checkpoint-9800

 

에서 정지...

 

 

2021.02.20 오후 12:38분 기준

 

'부스트캠프 AI 테크 U stage > 실습' 카테고리의 다른 글

[21-1] Graph using networkx  (0) 2021.02.22
[20-2] HuggingFace's Transformers - GPT-2  (0) 2021.02.21
[20-1] HuggingFace's Transformers - BERT  (0) 2021.02.20
[19-3] Masked Multi-head Attention Using PyTorch  (0) 2021.02.19
[19-2] Multi-head Attention Using PyTorch  (0) 2021.02.19
'부스트캠프 AI 테크 U stage/실습' Related Articles more
Comments