[IITP] 트랜스포머 Transformer 최적화 기술 연구 동향

 

- 트랜스포머 Transformer 병목 , 셀프 어텐션 비용 : 입력 길이가 10배 증가하면, 계산과 메모리 사용량은 100배로 증가하여, 실시간 응답이나 장문 처리에 제약이 생긴다. 이 문제를 해결하기 위해, 트랜스포머 모델의 최적화를 위한 연구가 활발하다. 즉, 트랜스포머 모델의 기본 성능을 유지하거나 성능 저하를 최소화하면서 연산 효율(속도 향상, 메모리 절감)을 크게 개선하기 위해 어텐션의 구조를 변경하거나 근사하는 기법, 혹은 모델 자체를 경량화하는 기법 그리고 하드웨어 친화적 알고리즘 등이 연구되고 있다.

- 원본 자료 보기