자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1)

 



- 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced


★ 영상에서 다룬 내용들

  • GPT 1, 2, 3
  • BERT
  • T5
  • Switch Transformers
  • Message Passing
  • MPI, NCCL, DP
  • Ring All-reduce
  • Horovod
  • DDP
  • Mesh-tensorflow
  • Megatron-LM
  • GPipe, PipeDream, Interleaved Scheduling
  • 3D Parallelism
  • Mixed Precision
  • ZeRO, ZeRO-offload, ZeRO-infinity
  • Deep Speed
  • 1-Bit Adam
  • Progressive Layer Dropping


댓글

댓글 쓰기

이 블로그의 인기 게시물

[todaycode오늘코드] [3/3] 파이썬 데이터 시각화 - seaborn lmplot과 regplot의 차이 신뢰구간의 의미와 hue 등 다양한 옵션 사용하기

이미지
describe로 데이터를 요약해보고 피어슨 상관 계수를 구해 본 결과를 시각화 해봅니다. 피어슨 상관 계수는 두 변수의 공분산을 표준 편차의 곱으로 나눈 값입니다. # 메소드의 괄호()안에서 Shift + tab키를 누르시면 문서를 보실 수 있습니다. # hue는 데이터의 종류에 따라 다른 색으로 그래프를 표현합니다. # ci == Size of the confidence interval for the regression estimate # ci는 신뢰구간을 의미하며 0부터 100까지의 값을 가집니다. 만약 95라면 양극단의 5%값을 제외한 95%구간의 값을 표현합니다. # 여기에서는 위에서 그린 신뢰구간을 제외하고 그리도록 했습니다. sns.lmplot(x="x", y="y", data=df, hue="dataset", col="dataset", ci=None) # height는 그래프의 높이를 의미합니다 # scatter_kws에서 s는 점의 크기를, alpha는 투명도를 의미합니다. sns.lmplot(x="x", y="y", data=df, hue="dataset", col="dataset", col_wrap=2, ci=None, palette="muted", height=4, scatter_kws={"s": 70, "alpha": 0.8}) # seaborn 사이트에 있는 예제의 그래프를 이해하기 위해 위에서는 옵션을 하나씩 그려봤습니다.
계속 읽기

[빵형의 개발도상국] 얼굴 인식 알고리즘 성능 비교 - Python, Deep Learning

이미지
현재 실제 상용 프로그램에서 쓰이는 5개의 얼굴 인식 알고리즘의 성능 분석을 해봅니다! Source code(Github): https://github.com/kairess/face_detec... 사용한 알고리즘 - OpenCV DNN face detector: models/opencv_face_detector_uint8.pb - Haar cascade: models/haarcascade_frontalface_default.xml - Dlib frontal face detector - MTCNN: https://github.com/ipazc/mtcnn - Dlib cnn_face_detection_model_v1: models/mmod_human_face_detector.dat Dependencies: - Python - OpenCV - dlib - mtcnn https://github.com/ipazc/mtcnn - Tensorflow
계속 읽기