[20211219] Weekly AI ArXiv 만담 - 34회차

[jungwoo-ha]

• News
• Arxiv

[kimyoungdo0122]

• News
  • 우리나라 초거대 AI의 물결
    • ‘초거대 AI’ 기술 전쟁 본격화… 美·中 선두경쟁, 추격하는 韓
    • NAVER HyperCLOVA, LG AI 엑사원(EXAONE), kakao의 minDALL-E와 KoGPT, KT도 준비 중
    • 이용자 관점에서, 비즈니스 관점에서, 연구개발 관점에서 어떤 영향과 효과가 있을 지 흥미롭게 관찰해보면 좋을 것 같습니다!
      
  • large-scale model 연구개발과 더불어 발전하는 인프라
    • 카카오, 데이터센터 착공식...빅데이터-AI-클라우드 중심 첨단 인프라 구축
    • "日·동남아·유럽 데이터센터 확장"···네이버클라우드, 글로벌 공략 가속
    • KT, 인공지능 개발 지원 클라우드 서비스 '하이퍼스케일 AI 컴퓨팅' 출시
    • LG AI연구원, 초거대 AI 개발에 규모만큼 비용 효율성에 주목한다
    • 데이터+모델+인프라+도메인+서비스 개발+사람(AI연구자, 개발자, 도메인 전문가, 경영자, 기획자, 유저)+??
  • 재미있는 볼거리
    • Using AI to bring children’s drawings to life
    • 아이들이 그린 캐릭터를 애니메이션화 해주는 연구
    • 아이들은 상상력이 풍부하고 그리는 그림이 일반적인 이미지가 아니기 때문에 식별이 쉽지 않음(ood?)
      
    • 부모님이나 선생님은 이 그림을 인지하고 식별할 수 있지만 AI는 어려움
    • ANIMATED DRAWINGS 을 이용해서 그림에 생명을 불어 넣어볼 수 있음
      
    • 위 파이프라인에서 Detectron2, Mask R-CNN, Alphapose를 사용
    • CityNeRF: Building NeRF at City Scale
      
    • https://arxiv.org/pdf/2112.05504.pdf
    • NeRF 도시 단위로 모델링...!!
    • Univ. of Washington AI protein folding discovery wins ‘Breakthrough of the Year’ award from Science
    • 사이언스 지에서 선정하는 'Breakthrough of the Year' 어워드 수상
    • 단백질 구조 예측 분야의 성과

[veritas9872]

Self-attention Does Not Need O(n2) Memory

Arxiv: https://arxiv.org/abs/2112.05682v2

Unofficial GitHub (by me): https://github.com/veritas9872/Memory-Efficient-Self-Attention

구글 브레인에서 Transformer 구조의 Self-Attention을 memory efficient하게 연산하는 새로운 방법을 제안했습니다.

널리 알려진 block matrix multiply를 softmax와 backpropagation에 적용되도록 수정을 하여 매우 단순한 방법으로 memory를 너무 많이 차치하는 문제점을 O(\sqrt(n))로 바꿀 수 있는 방법을 제시했습니다.

초거대 AI의 접근성 문제를 해결하는데 많은 도움을 줄 것 같습니다.

[veritas9872]

한국어로 된 대규모 음성 데이터를 소개해드립니다.

단, 데이터 전처리가 어려우니 유의하시길 바랍니다.

http://aihub-competition.or.kr/hangeul

https://aihub.or.kr/aihub-data/natural-language/about

[veritas9872]

확인해보니 Efficient attention PyTorch를 다른 분께서 12월 19일 이미 구현하셨습니다.

제가 JAX 문법을 잘못 이해해서 계속 오류가 난 것 같습니다. ㅎㅎㅎ

https://github.com/AminRezaei0x443/memory-efficient-attention