[20210704] Weekly AI ArXiv 만담

[jungwoo-ha]

• News

  • CVPR 2021: 뭔가 운영이.. 영... 요약기사: http://www.aitimes.com/news/articleView.html?idxno=139176
  • SIGIR 2021: 7월 11일 부터
  • MWC 2021: https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=101&oid=015&aid=0004572298
  • Github copilot: https://copilot.github.com/
    • AI와 함께 하는 코딩. 입코딩도 가능. MS + OpenAI의 GPT3 extension!
    • https://www.theverge.com/2021/6/29/22555777/github-openai-ai-tool-autocomplete-code
  • 2022 교육과정 개편에 따른 한국공학한림원-AI미래포럼 SW/AI 공교육 강화 웨비나
    • https://www.youtube.com/watch?v=iS1GznXaI9o (유투브 다시보기)
  • 과총-재미과협-AI미래포럼 AI 기대와 현실 웨비나: https://www.youtube.com/watch?v=JdaA9aIEtpU (7.7 오전 9시)

• ArXiv

  • How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers
    • Google 에서 나온 ViT 를 훈련시키는 방법
    • 무려 50k개의 다양한 ViT 훈련 모델에 대한 checkpoint GCP로 함께 공개 (용량만 15TB 정도?)
    • 메타데이터 받아서 모델 특성에 따른 분석만 해봐도 재미있을 듯
  • CLIP-It! Language-Guided Video Summarization
    • CLIP을 image encoder로 활용한 중요 video frame 추출 기반의 요약 기법 (from BAIR)
    • 전체 summary 도 되고 query가 주어지면 query에 해당하는 summary도 되고
      
      
    • https://medhini.github.io/clip_it/
  • VOLO: Vision Outlooker for Visual Recognition
    • ViT류의 성능을 ImageNet-1k 학습만으로 SOTA CNN급으로 끌어올린 연구 (Sea AI Lab + NUS)
    • Token-to-token, Vision permutator 를 발표한 그 그룹
    • Transformer block의 input에 가까운쪽 block을 outlook attention 블럭으로 모듈 변경 뭔가 주위 local 정보를 더 보도록 한 것 같음.
      
    • https://github.com/sail-sg/volo
  • Vision Permutator: A Permutable MLP-Like Architecture for Visual Recognition
    • 역시 ViT의 MHSA 대신 MLP 기반으로 성능을 끌어올린 방법 (Sea AI Lab + NUS)
      
      
    • https://github.com/Andrew-Qibin/VisionPermutator
  • CPM-2: Large-scale Cost-effective Pre-trained Language Models
    • 중국 BAAI에서 나온 초대규모 LM을 학습시키는 방법을 온갖 실험을 통해 정리한 연구
    • Wudao 공개로 유명한 BAAI 작품
      
  • OPT: Omni-Perception Pre-Trainer for Cross-Modal Understanding and Generation
    • Image+Text+audio multimodal 학습 transformer
    • pretraining task에 문장 생성 과 이미지 생성 (text, vision decoder 포함) + MLM + MVM + MAM, dVAE decoder 활용
    • 이미지는 패치 위치를 faster-RCNN 써서 활용, Audio는 wav2vec 2.0 활용하고 audio token reconstruct
    • COCO, Visual genome, SBU, conceptual caption 외에도 Openimages v4를 오디오와 함께 사용
      
  • Variational Diffusion Models
    • 오랜만에 갓마님의 1저자 연구 (그래서 수식의 향연..)
    • 요즘 퀄리티 쩔어주시는 Diffusion 기반 이미지 생성모델을 variational lower bound로 noise scheduling
    • 그래서 퀄리티도 좋지만 likelihood도 좋게 만든다고.
    • ImageNet 64x64는 체리픽 안해도 된다는....
      
  • Memory Augmented Optimizers for Deep Learning
    • Mila에서 나온 optimizer 연구
    • 기존 SGD나 Adam에다가 약간의 추가 memory를 달아서 gradient L2-norm 기준으로 critical gradient라고 정의하고 이값을 활용
    • 수렴속도 빨라지고 성능도 좋아진다는 얘기

[ghlee3401]

• Arxiv - Speech Synthesis

  • A Survey on Neural Speech Synthesis

    • neural TTS 모델에 관련된 연구 내용이 잘 정리 되어 있음
      

  • N-Singer: A Non-Autoregressive Korean Singing Voice Synthesis System for Pronunciation Enhancement

    • 비자가회귀 한국어 가창 음성 합성 모델
    • 가창 음성의 text와 pitch를 분리하여 모델링
    • Voicing-aware discriminator를 사용
      

  • FastPitchFormant: Source-filter based Decomposed Modeling for Speech Synthesis

    • source-filter모델에서 착안한 모델을 사용하여 TTS에서 pitch를 크게 조정했을 때 음이탈이 나는 문제를 해결

  • Hierarchical Context-Aware Transformers for Non-Autoregressive Text to Speech

    • Transformer 기반 TTS에서 text encoder와 audio decoder 가 서로 다른 길이의 sequence를 다루는 것을 고려하여 text encoder는 local -> global 정보를 다루도록 audio decoder는 global -> local 정보를 다루도록 self-attention을 수정

  • GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis

    • FastSpeech2 기반 multi-speaker TTS 모델에 GAN을 적용
    • speaker embedding을 조건으로 사용하는 joint conditional and unconditional (JCU) discriminator 및 feature matching loss사용

[Kyung-Min]

• Reinforcing Pretrained Models for Generating Attractive Text Advertisements
  • RL을 사용하여 pretrained LM이 좀 더 ctr이 높은 광고문구를 생성하도록 finetuning
• One4all User Representation for Recommender Systems in E-commerce
  • Large-scale 사용자 행동데이터를 pre-train한 Bert의 embedding을 다양한 e-commerce tasks에 transfer 했을 때, task-specific supervison signal을 학습한 모델에 비해 더 우수한 성능을 보임
• Are we really making much progress? Revisiting, benchmarking,
  and refining heterogeneous graph neural networks
  • 지금까지 공개된 heterogeneous graph neural networks 모델 12개를 벤치마킹 테스트하고, homogeneous model (GCN, GAT 등) 보다 성능이 좋지 못하다고 비판
  • 그 이유로 데이터 split, 처리 방식 등 실험환경이 모두 다른 상태에서 연구하고 있음을 주장하고, HGB (Heterogeneous Graph Benchmark)제안, 성능평가/데이터split/피처가공 등을 표준화하고, HGB에서 가장 강력한 베이스라인 제시

[hollobit]

WHO, 보건분야 AI의 6가지 원칙 담은 보고서 발간

• http://www.aitimes.com/news/articleView.html?idxno=139346
• https://www.who.int/publications/i/item/9789240029200

제12차 혁신성장 BIG3 추진회의 개최 - ②-3 소프트웨어 의료기기 육성을 위한 제도개선 방안

• https://www.moef.go.kr/nw/nes/detailNesDtaView.do?searchBbsId=MOSFBBS_000000000028&menuNo=4010100&searchNttId=MOSF_000000000055648

딥마인드 “강화학습이 범용AI 달성하는 시대 곧 온다”

• http://www.aitimes.com/news/articleView.html?idxno=139286
• https://www.sciencedirect.com/science/article/pii/S0004370221000862

How on-device machine learning has changed the way we use our phones

• https://www.androidauthority.com/machine-learning-phones-1238287/

Shenzhen, China’s Silicon Valley, plans to turbocharge local AI development with first-of-a-kind regulations

• https://www.scmp.com/tech/policy/article/3139319/shenzhen-chinas-silicon-valley-plans-turbocharge-local-ai-development

Study finds that few major AI research papers consider negative impacts

• https://venturebeat.com/2021/07/01/study-finds-that-few-major-ai-research-papers-consider-negative-impacts/

[jiyounglee-0523]

Unsupervised Vision-and-Language Pre-training Without Parallel Images and Captions

• unparallel한 텍스트와 이미지에 대한 pretraining 기법
• RoI 기법을 사용하여 이미지에서 text 추출

[jwlee-ml]

FAIR 에서 나온 논문입니다
Early Convolutions Help Transformers See Better

6월 초에는 google에서 이런 논문도 있었습니다
CoAtNet: Marrying Convolution and Attention for All Data Sizes

결론은 앞에는 conv 뒤에는 transformer