BERT(버트)의 새로운 가족 ALBERT(A Lite BERT For Self-Supervised Learning of Language Representations) 논문 핵심 [설명/요약/정리]
2019.12.12
이미 발표된지 조금 되었지만(arxiv를 통해 2019년 9월 26일에 공개, 현재 ICLR 2020 리뷰 중) 좋은 성능을 보이고있는 ALBERT(A Lite BERT For Self-Supervised Learning of Language Representations)에 대해 알아보도록 하자. NLU(Natural Language Understanding)에서 성능을 평가하는 GLUE와 같은 Benchmark에서도 좋은 성능을 보였지만, 제게 특히 관심이 있던 것은 SQuAD였습니다. Question Answering 분야에 많은 관심을 갖고, awesome-list도 작성해보았는데요, 한번 쯤 둘러보셔도 좋을 것 같아요 :) https://github.com/seriousran/awesome-qa ..