Jacob Cho's Data Science

[ 텔레오퍼레이션 기술의 적용 분야 ] - 출처 : [IITP] VR/AR 기반 텔레오퍼레이션 기술 동향 - 한국전자통신원 최진철 선임, 박찬원 책임, 박준희 책임 file4629987339119164750-200301 .pdf 0.88MB I. 서론 - 사람의 이동과 관련한 비용/시간을 줄이기 위한 혁명은 아직 진행 중이다. 지식은 디지털 파일로 저장되어 지구 반대편까지 수 초 만에 전달될 수 있지만, 사람은 아직 차량, 선박, 비행기 등의 교통수단에 실려 이동할 수밖에 없고 일부 구간에서는 비용과 시간의 문제가 아직 남아있는 상황이다. - 2020년 초반부터 불어닥친 COVID-19 팬데믹은 사람의 이동과 교류 등의 사람들의 사회활동에 커다란 변화를 몰고 왔다. - 이른바 온택트(Ontact)와 디지털 라이프스타일이 우리의 새로운 일상 속 뉴노멀(New normal)로 자리 잡게된 것이다. 이러한 변화는 궁극적으로 사람이 이동하지 않고 목적을 달성하기 위한 것이다. - 구체적으로 원거리의 사용자들이 같은 장소에 모여 서로 대면 접촉하는 것과 같은 경험을 제공하는 텔레 프레즌스(Telepresence), VR/AR 기술을 이용하여 거리의 제약을 극복하고 로봇이나 사물 조작을 통해 노동력이나 대면 서비스를 제공할 수 있는 텔레오퍼레이션(Teleoperation) 등의 기술이 “사람의 이동 비용/시간”을 감소시키기 위한 중요한 대안으로 등장하고 있다. II. 텔레프레즌스와 텔레오퍼레이션의 개념 - 텔레프레즌스는 사람이 원거리의 장소에 존재하는 것처럼 느끼게 해주고, 상대방이 주위에 있는 것처럼 현장감을 제공해주는 일련의 실감 기술을 말한다. - 텔레오퍼레이션은 원거리에서 기계나 로봇 등의 사물을 조작하는 제어 기술을 일컫는다. - 몰입감 높은 텔레오퍼레이션 경험을 제공하기 위해서는 시각, 청각, 촉각, 움직임, 자극에 의한 피드백 등 사람이 인지할 수 있는 감각정보를 효과적으로 수집하고 표현하는 요소 기술이 중요하다. 그리고 원격 조작에 의한 즉시 응답성을 만족...

  - Face Restoration - Face Colorization - Main idea [Paper]  https://arxiv.org/abs/2105.06070 [Official GitHub]  https://github.com/yangxy/GPEN [Colab GitHub Page]  https://github.com/bycloudai/GPEN-colab [Colab Tutorial]  https://youtu.be/2HdFV4k_CCY

  -  Source code(Github):  https://github.com/kairess/Rock-Paper... - Dependency: Python 3 MediaPipe OpenCV - Chapters: 00:00  Demo 00:12  Intro 00:18  데이터셋 수집 코드 작성 02:39  메인 코드 작성 04:19  완성 사업 및 개발문의: kairess87@gmail.com 빵형의 개발도상국 후원:  https://toon.at/donate/helloworld

  [ 이미지 출처 : https://www.kaggle.com/arunrk7/surface-crack-detection ] - 패키지 alibi-detect( https://colab.research.google.com/dri...   )의 VAE를 사용하여 콘크리트 표면의 금 간 부분을 알아내는 모델 - 정상이미지만을 학습시켜 불량을 검출 unsupervised learning 모델 - source code (Colab):  https://colab.research.google.com/dri... - Dataset:  https://www.kaggle.com/arunrk7/surfac... 사업 및 개발문의: kairess87@gmail.com 빵형의 개발도상국 후원:  https://toon.at/donate/helloworld

  - 발표 자료 :  https://github.com/jiphyeonjeon/season2/tree/main/advanced ★ 영상에서 다룬 내용들 GPT 1, 2, 3 BERT T5 Switch Transformers Message Passing MPI, NCCL, DP Ring All-reduce Horovod DDP Mesh-tensorflow Megatron-LM GPipe, PipeDream, Interleaved Scheduling 3D Parallelism Mixed Precision ZeRO, ZeRO-offload, ZeRO-infinity Deep Speed 1-Bit Adam Progressive Layer Dropping

  1차 : 자연어 처리 개요 및 Bag of words 와 TFIDF -  코드:  https://github.com/kiyoungkim1/ReadyT... 2차 : word2vec, fasttext와 doc2vec - 코드 :  https://github.com/kiyoungkim1/ReadyT... 3차 : transformers - 코드 :  https://github.com/kiyoungkim1/ReadyT... 4차 : huggingface 라이브러리 코드 :  https://github.com/kiyoungkim1/ReadyT...

 1. Database 생성, DB 연결 - 데이터베이스명 : kleagueplayers 2. 테이블 생성 3. 데이터 입력 - 데이터 위치 :  https://data.kleague.com/   데이터센터 > 선수 > 선수목록 4. 데이터 불러오기 5. DB 연결 해제 database1_sqlite .ipynb 0.01MB

  [  출처 :  [SQLite3로 가볍게 배우는 데이터베이스:SQL 기초 실습] 따라하기 B03 실전 예제 (3)  ] ■ 전기차 충전소 데이터 정제 1. 데이터 다운로드 -  다운로드 페이지 및 대상 파일 :  https://www.data.go.kr/data/15013115/standard.do 2. 데이터베이스 및 테이블 생성 - 데이터베이스 생성 DB명 : 전기차충전소 - 테이블 생성 : CSV 파일 임포트 3. 데이터 정제 - 데이터 확인 : 휴점일 확인 ** 휴점일이 119가지나 되는 것은 상식에 맞지 않음 - 데이터 정제 : 휴점일 기준 정리 ** 휴점일이 69가지로 줌 - 위의 휴점일2와 기존 데이터 비교 조회 - 새로운 컬럼 추가 : 컬럼명 '휴점일2' - 추가한 컬럼 '휴점일2'에 정제한 데이터 넣기

  [  출처 : [SQLite3로 가볍게 배우는 데이터베이스:SQL 기초 실습] 따라하기 B02 실전 예제 (2)  ] ■ 공공 데이터를 이용한 상권 분석 (2) : 시군구 인구데이터와 상권 데이터와의 조인 1. 인구 데이터 다운로드 -  다운로드 페이지 및 대상 파일 :  https://jumin.mois.go.kr/index.jsp# 2. 인구 테이블 생성 - 2021년 5월 행정구역별 총인구수 확인 - 서울시 종로구 총인구수 3. 상권 데이터와 인구 데이터 조인 - 유의할 사항 : 두 테이블의 행정구역 표시 형식이 다름 - 시군구별 매장('공차'로 시작하는) 수와 인구수 - 매장 당 인구수 구하기