[20210523] Weekly AI ArXiv 만담

[jungwoo-ha]

• News

  • EMNLP 2021: 모두들 수고 많으셨습니다.
  • NeurIPS 2021: 데드라인 (abs 21일, Full 28일) 연장. 모두들 파이팅입니다.
  • ICCV 2021 리뷰 마감: 26일 (PDT??)
  • 구글 I/O 2021: https://byline.network/2021/05/19-150/
  • AI 미래포럼 5월 웨비나: https://youtu.be/bYm-LKb4ov8
  • 미중 분쟁과 AI무기화: https://www.wired.com/story/pentagon-inches-toward-letting-ai-control-weapons
  • SNU-NAVER Hyperscale AI Center: https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=110&oid=025&aid=0003102358
  • LG AI 연구원의 초거대 AI 투자: https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=015&aid=0004547577
  • KT, KAIST와 함께 초거대 AI 연구소 설립: https://news.naver.com/main/read.nhn?
    mode=LSD&mid=shm&sid1=105&oid=092&aid=0002222748
  • CLOVA AI Rush 2021 1라운드: https://airush.nsml.navercorp.com/ranking
  • NAVER AI Now: 5월 25일 오후 2시 (https://naver-ai-now.kr/)

• ArXiv

  • KLUE: Korean Language Understanding Evaluation
    • 국내 최초 재가공 재배포 라이센스 형태 NLU 벤차마크 데이터셋
    • 무려 31명 연구자 참여, 11개 참여기관, 10개 연구기관, 76장에 달하는 분량
    • 양질의 8개 task로 구성 + 베이스라인 결과: Topic classification, Semantic similarity, NLI, NER, relation extraction, dependency parsing, MRC, DST.
    • 데이터셋: https://github.com/KLUE-benchmark/KLUE
    • 리더보드: https://klue-benchmark.com/
  • Parser-Free Virtual Try-on via Distilling Appearance Flows
    • knowledge distillation 기반인데 teacher - student가 아닌 teacher- tutor - student 형태
    • https://github.com/geyuying/PF-AFN
  • ResMLP: Feedforward networks for image classification with data-efficient training
    • Facebook AI Paris 에서 나온 연구
    • 내용을 보면 패치, 두개의 layer를 구분하는데 patch별, patch 섞는 구성. MLP-Mixer와 거의 동일
    • Norm 계열을 전혀 쓰지않고 Affine, Transposition, GeLU만으로 구성
    • 정확도가 SOTA는 아니지만 속도-정확도 tradeoff
  • Pay Attention to MLPs
    • 구글 브레인에서 나온 연구
    • 동일 MLP기반 block 구조로 Image인식도 LM도
    • gated Spatial projection을 통해 QKV를 대체하는 구성인데 sigmoid는 쓰지 않음. (gMLP)
    • LM에서는 성능 끌올을 위해 작은 SHSA를 사용 (aMLP)
  • Rethinking the Design Principles of Robust Vision Transformer
    • Albaba 그룹에서 나온 Vision transformer 계열 연구. 이름 하여 RVT
    • ViT가 나온 이후로 여러 개선된 연구들이 나왔지만 이 연구는 robustness와 generalization에 중점을 둠
    • 결과를 보면 NAVER AI Lab의 PiT가 RVT를 빼고나면 다른 모델들 보다 나은듯
    • 코드는 https://github.com/vtddggg/Robust-Vision-Transformer
  • Divide and Contrast: Self-supervised Learning from Uncurated Data
    • DeepMind에서 나온 self-supervised 연구
    • 덜 curated 된 라지 스케일 데이터에 대해서 좀더 잘 self-supervised 하기 위해
    • Constrastive와 clustering-based hard negative mining을 동시에 사용 (이를 통해 curated 된 데이터셋에서의 negative 효과와 유사하게)
    • Clustering + MoE + Distill 구조라 기본적으로 어떤 형태의 self-supervised와도 합해질 수있다. 여기선 MoCLR (SimCLR의 업글버전).
    • 에폭이 100, 3000, 5000 이렇게 가는 ㄸㄸ
  • LaMDA
    • Google I/O에서 공개된 대화모델
    • Fine-tuned Meena.
  • High-performance speech recognition with no supervision at all
    • Facebook AI에서 나온 완전 unsupervised 음성인식 연구
    • wav2vec-U: 여러 음성을 모은 다음 GAN스타일로 phoneme 매핑
    • Semi-supervised 스타일로 self-training하면 성능은 훨씬 더 좋아짐.
    • 전사데이터 매우 구하기 어려운 상황에서 매우 효과적일 듯
  • Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense
    • Academia Snica, Amazon Alexa, USC
    • Social common sense가 강화된 fine-tuning 방법
    • 타겟은 Social IQA dataset (https://arxiv.org/abs/1904.09728)
    • GPT2와 RoBERTa를 함께 쓰는 데 GPT2로 먼저 finetune하고 그 feature를 저장해놨다가 RoBERTa로 retrieval 하는 구조 + 그외에 external knowledge를 활용할 방안
  • DeepCAD: A Deep Generative Network for Computer-Aided Design Models
    • CAD process를 생성하는 3D GAN
    • Mesh, voxel류와는 달리 CAD의 입력 process를 encoding?
    • 기본적으로 transformer seq2seq 구조를 취함.
    • 만들어지는 그림을 보면 되게 신기하게 잘 됨. 데이터셋도 공개할거라고 함.
  • Negational Symmetry of Quantum Neural Networks for Binary Pattern Classification
    • Negational symmetry: Binary signal에서 Quantum NN에서 bitwise-NOT한 input이 동일한 prediction 결과가 나오는데 벡터는 반대되는 현상을 발견함
    • 이걸 이론적, 실험적 증명
    • 일반적 NN에서는 그렇지 않은데 QNN에서는 이런 현상이 발견됨.
    • 퀀알못인데 Quantum의 세계는 참으로 신기.
    • 실험은 MNIST
  • Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation
    • knowledge distillation 에서 널리 쓰이는 KL-div
    • temperature tau에 의한 teach-student 확률 분포 스무딩 영향에 대해 열심히 분석.
    • logit matching vs. label matching 를 결정하게 된닥.
    • https://github.com/jhoon-oh/kd_data/ (아직은 깡통)

[qqueing]

FNet: Mixing Tokens with Fourier Transforms
구글 리서치에서 내놓은 논문으로 트랜스포머 구조중에 MHA 레이어를 FFT로 바꿔서 실험을 합니다. 일종의 잘 설계된 fixed linear layer로 생각해서 linear layer와 비교를 주로 합니다. 제안하는 모델은 성능에서 약간 손해를 보지만 효율(더 긴 렝쓰 처리, 더 큰 배치사이즈, 트레이닝 속도) 등에 큰 장점이 있습니다.

Attention-based Neural Beamforming Layers for Multi-channel Speech Recognition
아마존의 빔포머 논문입니다. 빔포밍은 다들 관심이 없으실 것 같고 재미있는 부분은 2D conv-attention이라는 모듈입니다, 어텐션을 2개를 병렬로 구성해서 하나는 타임축, 하나는 프리퀀시 축으로 어텐션을 계산을 해서모으네요. 성능 개선폭도 좋은 것 같습니다 다른 스피치 실험에서도 비슷하게 전개가 될 수 있을 것 같다는 생각을 했습니다.

[hollobit]

• 인공지능 의료기기(AI/ML MD) 기술 표준 동향 세미나 (5/24)
• 과기정통부, 신뢰할 수 있는 인공지능 구현 전략 발표 (5/13)

[nick-jhlee]

https://www.facebook.com/722677142/posts/10157708874907143/?d=n

https://www.wsj.com/amp/articles/google-unit-deepmind-triedand-failedto-win-ai-autonomy-from-parent-11621592951?fbclid=IwAR28TllhMB5DO_J465VNgv4NRdlZrpa9aCUM3XiqNKbp-snV8A5UapoiZXk

DeepMind 독립 실-패...
대기업 연구의 model