Jacob Cho's Data Science

  1. BIO 표현 -  코퍼스로부터 개체명을 인식하기 위한 방법중 가장 보편적인 방법 중 하나 B : Begin, 개체명이 시작되는 부분 I : Inside, 개체명의 내부 부분 O : Outside, 개체명이 아닌 부분 2. 개체명 인식 데이터 이해하기 - 활용 데이터 :  CONLL2003(개체명 인식을 위한 전통적인 영어 데이터 셋) -  데이터 형식 :  [단어] [품사 태깅] [청크 태깅] [개체명 태깅]의 형식 -  다운로드 링크 :  https://raw.githubusercontent.com/Franck-Dernoncourt/NeuroNER/master/neuroner/data/conll2003/en/train.txt - CONLL2003 데이터를 활용하여 개체명 인식 모델 작성 3. 데이터 전처리 하기 4. 양방향 LSTM(Bi-directional LSTM)으로 개체명 인식기 만들기 nlp_1304_named_entity_recognition_model_만들기 .ipynb 0.01MB - 출처 :  [딥러닝을이용한 자연어 처리 입문] 1304 개체명 인식의 BIO 표현 이해하기

  1. 개체명 인식(Named Entity Recognition)이란? " 유정이 는  2018년 에  골드만삭스 에 입사했다. 2. NLTK를 이용한 개체명 인식(Named Entity Recognition using NTLK) nlp_1303_named_entity_recognition_using_nltk_개체명_인식 .ipynb 0.00MB - 출처 :  [딥러닝을이용한 자연어 처리 입문] 1303 개체명 인식(Named Entity Recognition)

  [ 이미지 출처 : nlpforhackers.io - Build a POS tagger with an LSTM using Keras ] 1. 품사 태깅 데이터에 대한 이해와 전처리 2. 양방향 LSTM(Bi-directional LSTM)으로 POS Tagger 만들기 nlp_1302_pos_tagging_using_bilstm_품사_태깅 .ipynb 0.01MB - 출처 :  [딥러닝을이용한 자연어 처리 입문] 1302 양방향 LSTM을 이용한 품사 태깅(Part-of-speech Tagging using Bi-LSTM)

  -   의도 분류(Intent Classification)는 개체명 인식(Named Entity Recognition)과 더불어 챗봇(Chatbot)의 중요 모듈로서 사용되기도 함 - 의도분류는 본질적으로 텍스트 분류임 1. 데이터 로드와 전처리 3. 1D CNN을 이용한 의도 분류 nlp_1206_intent_classification_using_pretrained_word_embedding .ipynb 0.02MB - 출처 :  [딥러닝을이용한 자연어 처리 입문] 1206 사전 훈련된 워드 임베딩을 이용한 의도 분류(Intent Classification using Pre-trained Word Embedding)