[딥러닝을이용한 자연어 처리 입문] 1009 엘모(Embeddings from Language Model, ELMo)

 

[이미지 출처: A Step-by-Step NLP Guide to Learn ELMo for Extracting Features from Text]

1. ELMo(Embeddings from Language Model)

- 같은 표기의 단어라도 문맥에 따라서 다르게 워드 임베딩(Contextualized Word Embedding)을 할 수 있는 모델

2. biLM(Bidirectional Language Model)의 사전 훈련

- 순방향 언어모델과 역방향 언어모델이 각각의 은닉 상태만을 다음 은닉층으로 보내며 훈련시킨 후에 ELMo 표현으로 사용하기 위해서 은닉 상태를 연결(concatenate)시킴

4. ELMo 표현(represenatation, 벡터)을 사용해서 스팸 메일 분류하기

- 텐서플로우 버전을 1로 다운그레이드 필요

nlp_1009_elmo_엘모.ipynb

0.01MB

- 출처 : [딥러닝을이용한 자연어 처리 입문] 1009 엘모(Embeddings from Language Model, ELMo)