[서적] 구글 BERT의 정석

‘BERT가 뭐지?’라는 막연한 호기심에 이 책을 읽게 되었다.
회사에서 일을 하다보면 자연어 처리에 관한 새로운 용어를 종종 듣곤 하는데 그 과정에서 BERT가 무엇인지, 트랜스포머가 무엇인지 궁금했다.
물론 책을 읽기 전에 예상했던 바와 같이, 책을 다 읽은 지금도 이제는 BERT의 작동원리를 완벽히 알고 있고, 원하는 결과를 단번에 이끌어낼 수 있을만큼 잘 다룰 수 있냐는 질문에는 단연코 아니라고 답할 것이다.
그것은 그만큼 이 책이 자세한 수식과 설명을 다루고 있고, 내가 책의 모든 내용을 이해하고 받아들일 만큼의 자연어처리에 대한 기초에 있어 부족하다는 것을 반증한다.

BERT는 Bidirectional Encoder Representations from Transformers로 구글이 만든 최신 임베딩 모델이다.
기존의 워드투 벡터는 단어 벡터 간의 유사도를 반영하는 것에 비해, BERT는 문장의 컨텍스트를 파악하기에 개선 효과가 분명한 자연어 처리 결과를 내놓는다.
또한 대규모 코퍼스를 사전학습한 모델을 사용하고, 새로운 태스크에 따라서 가중치를 조절하는 파인튜닝을 지원하기에 기존의 방식보다 더 적은 양의 데이터로 더 좋은 성능을 얻을 수 있다.

이 책에서는 아래의 내용에 대해 다루고 있다.

• transformer 모델
• BERT의 동작 방식
• BERT의 임베딩 추출 방법
• BERT의 파인 튜닝
• BERT의 파생모델 소개
• 다른 언어에 BERT 적용
• 한국어 언어 모델

내게 있어 이 책이 흥미로웠던 점은 아래와 같다.

• 트랜스포머의 원리 및 작동방식, BERT의 사전학습과 파인튜닝의 원리에 대해 상세한 서술

  • 개인적으로는 이미 세팅되어 있는 UI를 통해서만 학습을 시켜왔기 때문에, 그 내부의 원리가 궁금했는데 이 책을 통해 그 원리를 대략적으로라도 알 수 있어 좋았다.
    책이 무척 자세하게 서술되어 있기 때문에 자연어 처리에 대한 기초가 있다면 분명이 훨씬 더 높은 이해도로 내용을 이해하고, 실무에 적용할 수 있을 것이라고 생각된다.

• BERT의 파생 모델 소개

  • 파생모델 중 하나인 BART는 페이스북 AI에서 도입한 모델인데, 손상된 텍스트를 재구성해 학습하고 자연어 이해와 더불어 자연어 생성에서도 좋은 성능을 보유한다고 한다.
    BART 뿐만 아니라 다양한 파생 모델들의 원리에 대해 상세한 서술이 흥미로웠다.

• 한국어 언어 모델 소개

  • 컴퓨터과학의 거의 모든 개념들이 그러하듯이 자연어 처리 역시 영어를 기본으로 연구 및 개발이 이루어진다.
    따라서 평소 업무에서도 특정 기능을 지원하는 언어 목록에서 ‘한국어 미지원’은 꽤 자주 볼 수 있는 문구이다.
    이 책에서는 원서와는 달리 한국어 언어모델인 KoBERT, KoGPT2, KoBART 에 대한 내용이 추가되어 있다.
    각 모델의 설치 및 이용방법, 강점에 대해 다루고 있어서 연습 및 실무에 이용해보기 좋을 것 같다.

이 책은 시중에 판매되고 있는 책 중, 가장 자세히 BERT에 대해 다루고 있다. 또한 BERT가 자연어처리에 있어서 아주 중요한 모델인만큼, 자연어처리 및 BERT에 관심이 있다면 이 책을 읽어볼 것을 추천한다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.