[20220710] Weekly AI ArXiv 만담 - 58회차

[jungwoo-ha]

News

• Conferences
  • ECCV 2022 결과 발표: Accept되신 분들 모두 축하드립니다.
  • NAACL 2022 7월 10 ~ 15일 Seattle까지
• 사상 검열에 AI까지 동원…발톱 드러낸 중국 디지털 전체주의
• 공공기관의 AI 면접, 무엇이 문제인가 (KOICA, 한전KDN 사례)
• NVidia 도 RL로 칩 구조 디자인을

ArXiv

• 흥미있는 논문
  • Text2Human: Text-Driven Controllable Human Image Generation
    • 싱가폴 난양공대 연구: 텍스트 -> Vitural try on 모델 Post -> Parsing map -> 텍스트 표현된 옷입은 이미지 생성
    • DeepFashion Multimodal dataset: https://github.com/yumingj/DeepFashion-MultiModal (ACM ToG SIGGRAPH 2022)
  • e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce
    • 네이버쇼핑 + AI Lab에서 함께 연구한 쇼핑의 이미지-텍스트 데이터를 CLIP 스타일로 학습하고 다양한 다운스트림에 적용
    • 네이버 쇼핑의 전체적 아키텍처도 그림으로 용약
  • DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale
    • MS에서 공개한 초거대 모델 대량 GPU 인퍼런스 효율화 연구
    • 530B (Megatron-Turing NLG)와 2T MoE 인퍼런스도 Pytorch 기본과 비교
    • 초거대 언어모델 서빙을 고려하는 엔지니어들은 읽어볼 필요가 있을 듯.
  • SNeRF: Stylized Neural Implicit Representations for 3D Scenes
    • Meta 에서 나온 Stylized NeRF (SIGGRAPH 2022)
    • https://research.facebook.com/publications/snerf-stylized-neural-implicit-representations-for-3d-scenes/

[veritas9872]

Mitigating Neural Network Overconfidence with Logit Normalization:
Arxiv: https://arxiv.org/abs/2205.09310
GitHub: https://github.com/hongxin001/logitnorm_ood

ICML 2022에 Accept된 논문입니다. 기존 Neural network에서 over-confident prediction의 원인에 대한 많은 분석이 있었는데 본 논문에서는 softmax를 통과하기 전의 logit 값의 norm을 constant하게 fix함으로써 overfitting을 방지할 수 있다고 합니다.
ResNet 및 CNN 구조와 CIFAR100 등 데이터셋에 실험을 진행해 아직 large-scale confirmation이 진행되지는 않았지만 구현 방법이 매우 단순하며 기존 보았던 last layer gradient/norm explosion 이슈와 관련이 있을 것으로 예상됩니다.

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors:
Arxiv: https://arxiv.org/abs/2207.02696
GitHub: https://github.com/jinfagang/yolov7

YOLOv7이 공개되었습니다. 기존의 방법들의 여러 테크닉을 조합하고 새로운 repository에서 detection 뿐만 아니라 instance segmentation 및 transformer backbone 등 방법론적, 기술적 novelty가 추가되었는데 real-time detection 및 segmentation을 하시는 분들께 도움이 될 것으로 생각됩니다.

Perspective (In)consistency of Paint by Text:
Arxiv: https://arxiv.org/abs/2206.14617

최근 이목을 끈 Parti, Imagen 등 모델에서 원근법의 불일치를 분석한 논문입니다. 인간의 시각적 감각은 원근법이 불일치하더라도 인지하는데 어렵기 때문에 생성모델에서도 그런 특성이 반영된 것으로 보입니다. 평행선의 소실점 불일치 현상을 관찰하면 진짜 영상인지 생성된 영상인지 파악하는데 사용할 수 있음을 보여줍니다.

흥미로운 연구:

PrefixRL: Optimization of Parallel Prefix Circuits using Deep Reinforcement Learning: https://arxiv.org/abs/2205.07000

EfficientFormer: Vision Transformers at MobileNet Speed:
Arxiv: https://arxiv.org/abs/2206.01191
GitHub: https://github.com/snap-research/EfficientFormer

[hollobit]

Meta가 자사 번역 AI 모델 'NLLB-200'와 'FLORES-200'을 공개

https://about.fb.com/news/2022/07/new-meta-ai-model-translates-200-languages-making-technology-more-accessible/
https://ai.facebook.com/blog/teaching-ai-to-translate-100s-of-spoken-and-written-languages-in-real-time/
https://github.com/facebookresearch/flores

• 'No Language Left Behind(NLLB)'
• 200가지 언어를 기존 AI 연구 대비 평균 44% 향상된 품질로 번역할 수 있다고
• NLLB-200 모델과 FLORES-200 데이터 세트, 모델 교육 코드와 교육 데이터 세트를 다시 만들기 위한 코드도 공개
• 국제협력 연구들을 위해 200,000달러 지원금 지원 및 아프리카 언어 번역을 위한 연구원 모집

‘해킹도 ML로 진화 중’ 머신러닝 해킹 수법 9가지

https://www.ciokorea.com/news/240019#csidx637920ef9641af3a010003ae99b44ee

1. 스팸 필터를 속이는 스팸 메일
2. 더 정교해진 피싱 메일
3. 향상된 패스워드 해킹
4. 딥 페이크 사기
5. 기성 보안 도구 우회
6. 공격 상대 정찰
7. 자동화 에이전트
8. AI 오염 공격
9. AI 퍼징(AI fuzzing)

Practical Attacks on Machine Learning Systems

https://research.nccgroup.com/2022/07/06/whitepaper-practical-attacks-on-machine-learning-systems/

• NCC Group 수석 과학자 Chris Anley 작성
• 민감한 데이터를 사용하여 ML 시스템을 교육하는 것은 근본적으로 안전하지 않은 것으로 보임
• 신경망 분류기는 적대적 교란 공격에 의해 쉽게 오분류될 수 있다는 점에서 "취약한" 것으로 보임
• 원격 공격자가 모델을 실행하고 결과를 관찰하여 훈련된 모델의 사본도 추출할 수 있음

기계 학습 및 자연어 처리 기술를 이용하여 전쟁으로 피해를 입은 인프라를 식별

https://www.undp.org/blog/ukraine-machine-learning-algorithms-and-big-data-scans-used-identify-war-damaged-infrastructure
https://tinyurl.com/semdam

• ACLED 데이터를 활용하여 전쟁 정보 수집하고, 다양한 정보들을 분류, 통합 분석

[김 소장의 ‘핏(FIT)’] 고인의 모습과 고인의 목소리, 당신의 추억 방법은?

https://it.donga.com/102456/

AI 기술을 활용한 ‘디지털 불멸’ 산업의 성장... 여러분은 어떻게 생각하시나요 ?

Temporal quality degradation in AI models

https://www.nature.com/articles/s41598-022-15245-z

• AI "노화"에 대한 첫번째 분석 시도
• AI 노화란 마지막 모델 훈련 이후 시간이 지날수록 AI 모델 품질이 저하되는 복잡하고 다면적인 현상
• 4가지 다른 산업(의료 운영, 운송, 금융 및 날씨)의 데이터 세트와 4가지 표준 기계 학습 모델을 사용하여 주요 시간 저하 패턴을 식별
• 일시적인 품질 저하의 잠재적 원인을 나타내고 노화를 감지하고 그 영향을 줄이는 접근 방식을 제안

[nick-jhlee]

https://twitter.com/leonderczynski/status/1545133479385505792?s=21&t=BbD99qOp96vvkA2w5-h1zg

True story?

1. best paper 달라고 말한게 아니라 best paper 후보 선정되니까 내이름 껴달라고함
2. NeurIPS 2021때 AC들끼리 채팅방이 있었는데, 덕분에(?) 논문 12편됨
   a. 8 people이 있는 wechat에서 각자의 paper를 bidding하겠다고 함
   b. 실제로 그렇게 함
3. 흔하답니다: collusion ring

[nick-jhlee]

필즈상 2022

• June Huh! (combinatorics + algebraic geometry)
• James Maynard (analytic number theory)
• Maryna Viazovska (number theory, sphere packing)
• Hugo Duminil-Copin (probability theory, percolation theory)

[nick-jhlee]

급홍보 (for theory-oriented people)

• https://mltheory-korea.github.io
• 현재 청강 가능한 statistical physics + deep learning theory 세미나를 제가 organize하고 있습니당 (관심 있으시면 연락주세요 ㅎㅎ)

[kimyoungdo0122]

News

• 진원님 모두팝 행사!!

  • 다음주 화요일(19일) 모두의연구소 강남캠퍼스에서 오프라인으로 진행!
  • 주제는 '시간 순으로 ImageNet SOTA 모델 살펴보기'입니다
    
  • 신청 링크

• Microsoft Responsible AI Standard v2

  • 19년에 발표한 Responsible AI standard보다 더 실제적으로, 실무적으로 따를 수 있는 지침 대폭 추가
  • Accountability(책임성), Transparency(투명성), Fairness(공정성), Reliability and Safety(신뢰성과 안전성), Privacy and Security(개인정보 보호와 보안), Inclusiveness(포용성)
  • 각 항목들마다 문서화, 원칙, 평가 등 구체적으로 실행 가능한 가이드가 많이 추가되었습니다
  • 실제로 AI로 서비스를 개발 및 배포하는 조직에서 몇몇 항목들 참고하시면 좋을 듯합니다(기획자나 매니저가)

• Greater creative control for AI image generation

  • 논문링크
  • Text2image 에서 기존의 텍스트 prompt에서 스케치와 같은 모델 결과물 제어에 필요한 constraint를 추가하는 것에 대한 연구
  • 올해 ECCV에서 oral 프레젠테이션 한다고하네요!