자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1)

 



- 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced


★ 영상에서 다룬 내용들

  • GPT 1, 2, 3
  • BERT
  • T5
  • Switch Transformers
  • Message Passing
  • MPI, NCCL, DP
  • Ring All-reduce
  • Horovod
  • DDP
  • Mesh-tensorflow
  • Megatron-LM
  • GPipe, PipeDream, Interleaved Scheduling
  • 3D Parallelism
  • Mixed Precision
  • ZeRO, ZeRO-offload, ZeRO-infinity
  • Deep Speed
  • 1-Bit Adam
  • Progressive Layer Dropping


댓글

댓글 쓰기

이 블로그의 인기 게시물

[이수안컴퓨터연구소] 파이썬 레이싱 자동차 게임 만들기 Creating a Python Racing Car Game with pygame (한글자막)

이미지
파이썬과 pygame 라이브러리를 이용하여 중독성 있는 레이싱 게임을 만들어보기 강의 페이지: http://suanlab.com/youtube.html#PyCar 사용되는 소프트웨어 버전 Python 3.7.x pygame 1.9.4 SuanLab 이수안컴퓨터연구소 Web Site: http://suanlab.com Facebook: https://www.facebook.com/suanlab Slack: http://suanlab.slack.com
계속 읽기

[빵형의 개발도상국] 얼굴 인식 알고리즘 성능 비교 - Python, Deep Learning

이미지
현재 실제 상용 프로그램에서 쓰이는 5개의 얼굴 인식 알고리즘의 성능 분석을 해봅니다! Source code(Github): https://github.com/kairess/face_detec... 사용한 알고리즘 - OpenCV DNN face detector: models/opencv_face_detector_uint8.pb - Haar cascade: models/haarcascade_frontalface_default.xml - Dlib frontal face detector - MTCNN: https://github.com/ipazc/mtcnn - Dlib cnn_face_detection_model_v1: models/mmod_human_face_detector.dat Dependencies: - Python - OpenCV - dlib - mtcnn https://github.com/ipazc/mtcnn - Tensorflow
계속 읽기