New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

#

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

Jump to bottom

GPU 사용관련 문의 #3

Open

ysy19 opened this issue Nov 16, 2021 · 2 comments

ysy19 commented Nov 16, 2021

Model을 train할 때 GPU 사용률이 각 GPU 당 10%도 채 되지 않습니다. GPU의 활용을 높일 수 있는 방안이 있을까요?
GPU를 2개 할당받았는데 이 GPU들로 돌릴 수 있는 모델의 개수는 최대 2개밖에 되지 않는 것인가요?
Model을 Submit할 때 model을 train하고 있을 경우 submit이 불가능하다고 뜹니다. submit 할 때에는 다른 model train이 불가능한가요?

Owner

DatathonInfo commented Nov 17, 2021

안녕하세요.
ysy19 님

질문 주신 GPU 및 submit 관련 확인결과,

GPU 사용율이 낮은것은 많은 이유가 있을 수 있으나, GPU 메모리 로딩에 많은 시간이 걸리는 것이 문제인 경우가 다수입니다. Multi Processing을 이용하여 DataLoading을 할 경우 GPU Usage를 상승시킬 수 있습니다.
GPU는 참가 팀 별 2EA 가 제공되며, 각 런타임에서 기본적으로 1EA가 할당됩니다. 이때문에 동시에 최대 2개의 런타임을 동작시킬 수 있습니다.
NSML 시스템상 model train과 submit은 동시에 수행 불가합니다.

감사합니다.
2021 미소 인공지능 모델 개발 첼린지 운영팀

Collaborator

orangeishur commented Nov 17, 2021

2번 질문에 대한 추가 답변 드립니다.
nsml run -g 2
이라고 입력하시면 런타임에 2ea의 gpu를 할당할 수 있습니다. 보다 자세한 내용은 아래의 가이드에서 확인하실 수 있습니다.
https://n-clair.github.io/ai-docs/_build/html/ko_KR/contents/session/run_a_session.html

# for free to join this conversation on GitHub. Already have an account? # to comment