[딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training)

 [ 이미지 출처 : Dive Into Deep Learning - Chap. 14 ]



1. 사전 훈련된 워드 임베딩


- 워드 임베딩 방법


  • 처음부터 학습하는 방법
  • 이미 학습된 임베딩 벡터를 가져와 사용하는 방법

- 워드 임베딩의 단점 극복 필요


  • 하나의 단어가 하나의 벡터값으로 맴핑되므로 문맥을 고려하지 못하여 다의어나 동음이의어를 구분하지 못하는 한계 노출
  • 사전 훈련된 언어 모델의 적용 시작


2. 사전 훈련된 언어 모델


  • Word2vec
  • ELMo
  • GPT
  • BERT
  • XLNet
  • ...


- 출처 : [딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training)

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Programming with Mosh] Python Tutorial for Beginners | Full Python Programming Course [2019]

이미지
Watch this Python tutorial for beginners to learn Python programming from scratch. Includes exercises and projects. 👍Subscribe for more Python tutorials like this: https://goo.gl/6PYaGF 📕Get My FREE Python Cheat Sheet: http://bit.ly/2Gp80s6 🔥Get My Complete Python Programming Course with a 90% Discount (LIMITED to the first 200 students): https://goo.gl/P64rZ8 #Python , #MachineLearning , #WebDevelopment 🔗Supplementary Materials (Spreadsheet): https://goo.gl/x77mLc 📔Python Exercises for Beginners https://goo.gl/1XnQB1 ⭐My Favorite Python Books - Python Crash Course: https://amzn.to/2GqMdjG - Automate the Boring Stuff with Python: https://amzn.to/2N71d6S - A Smarter Way to Learn Python: https://amzn.to/2UZa6lE - Machine Learning for Absolute Beginners: https://amzn.to/2Gs0koL - Hands-on Machine Learning with scikit-learn and TensorFlow: https://amzn.to/2IdUuJy TABLE OF CONTENT 00:00:00 Introduction 00:01:49 Installing Python 3 00:06:10 Your First Pyt...
계속 읽기