[Azure] 딥러닝을 위한 가상머신을 만들어보자 [엔비디아 GPU 1편]

자다 일나서 개발 좀 하다 글 한편 또 써본다.

 

사실 이번 주제는 한 3개월 전에 쓸려고 생각했었는데, 귀찮아서 미루고 미루던 중 마소가 Azure에 GPT 4를 통합하질 않나  Windows AI Studio를 내질 않나 마소의 AI에 대한 투자가 너무도 공격적이라 이러면 사람들이 마소 기반 AI 플랫폼에 많이 몰려들거 같아서 귀차니즘을 이겨내고 작성하기로 마음먹었다.

 

이전에 내가 쓴 글은 NVIDIA 기반이 아니라 AMD 기반 GPU이기에 NVIDIA 기반에서만 동작하는 AI 모델을 사용할 때는 별로 쓸모없는 정보였음을 인정한다.

 

그래서 이번 포스트에서는 AZURE에서 NVIDIA 기반 가상머신을 만들 수 있는 방법을 소개하려고 하는데, 클릭 몇 번만 하면 되니까 한번 따라해 보도록 하자

 

우선 portal.azure.com 사이트로 이동 후 Azure 가상머신 만들기 페이지로 들어가도록 하자

만약 잘 모르겠으면 이전 포스팅을 읽어보면 된다.

2023.05.06 - [클라우드 컴퓨팅] - [Azure] 딥러닝을 위한 가상 머신을 만들어보자

[Azure] 딥러닝을 위한 가상 머신을 만들어보자

 

해당 페이지로 들어왔으면 우선 가장 먼저 해야 할게 지역과 가용성 영역을 보는 것이다

 

지역과 가용성 영역이 뭐냐면 지역이 데이터센터의 위치이고 가용성 영역은 해당 지역내에서 물리적으로 분리된 데이터센터그룹이라 보면 된다. 어떤 지역을 선택하냐에 따라 똑같은 성능이라도 가상머신 가격이 달라지며, 응답시간 차이도 나게 된다. 또한 어떤 지역, 가용성 영역을 선택하냐에 따라 만들수 있는 가상머신 종류가 달라지므로 현재 선택한 지역과 가용성 영역을 꼭 확인하고 넘어가자

 

지역과 가용성 영역을 모두 확인했으면 그 담으로는 조금 내려 보면 아래 이미지처럼 크기란이 보이는데 여기서 모든 크기 보기를 클릭해주자

 

 

그러면 무슨 시리즈가 쭉 나오는데 쭉 내려보면 N 시리즈라는게 있는데 N 시리즈를 확장해보자

그러면 아마도 아래 이미지처럼 NV4as_v4, NV8as_v4가 나올거다

이건 이전 포스팅에서 설명했듯이 AMD 라데온 GPU를 사용하는 가상머신으로 이 포스팅에서는 NVIDIA GPU를 봐야 하니까 이건 노관심이고, 이제 더 쭉 내려보도록 하자

 

 

그러면 거의 마지막쯤에 아래 이미지와 같이 할당량부족이란게 보일건데 한번 확장해보도록 하자.

 

 

확장해보면 굉~~~~장히 많은 제품군이 나오는데 싹 다 무시하면서 아래로 쭈~~~~~~~~~욱 내려보도록 하자 N으로 시작하는게 보일때까지 내리면 된다.

그러면 어느순간 아래 이미지처럼 굉장히 많은 N 시리즈 제품군이 나타나는걸 볼 수 있는데, 이 제품군 대다수가 NVIDIA GPU를 사용하는 제품군이다.

빨간색으로 강조표시한 부분이 NVIDIA 테슬라 T4 이고 또 하나는NVIDIA A10 이다

사실 이정도만해도 왠만한 딥러닝 환경으론 부족함이 없지만 이보다 훨 좋은 NVIDIA A100도 보인다.

 

 

가격을 보면 존나게 비싼데 어차피 사용할때만 켜두고 사용안할때는 꺼두기만 하면 생각보다 한달에 그렇게까지 많이 나오진 않는다. 그냥 교육환경 구축한다 생각하고 만들어두고 짬짬이 쓰기엔 괜찮다.

또한 더 좋은 팁이 하나 있는데 아까 위에서 어떤 지역을 선택하냐에 따라 똑같은 성능인데 가격이 달라진다고 했는데 (아마 읽은 사람은 없겠지만) 즉 어떤 지역을 선택하냐에 따라 가격이 많이 달라진다.

 

지금 지역은 일본 동부로 되어있는데 필자 같은 경우는 US 동부인가 US 서부 쪽으로 선택하니까 NVIDIA A10, GPU 메모리 8G 짜리를 한달에 고작(?) 660 달러 정도 비용으로 사용 가능하게 해준다. 굉장히 비싸지 않나 생각이 든다면 인터넷에서 NVIDIA A10 GPU 가격을 한번 검색해보도록 하자

 

그리고 항상 말하듯이 이건 한 달 내내 풀로 켜 놨을때 비용이고 사용 할 때만 켜고 사용 안할 땐 끄고 하면 한달에 10만원 안으로 나온다. 이것도 비싸다 싶으면 그냥 가서 구글 코랩이나 쓰도록 하자 (구글빠 Aut)

 

이제 다음으로 해야 할 것은 눈치 빠른 놈들이라면 이미 눈치 챘겠지만 옆에 요청 할당량을 눌러주는거다.

즉 Azure에서 해당 지역 가용성 영역에서 더 이상 사용 가능한 vCPU가 없기 때문에 할당량을 늘려달라고 마소 정부에 요청하는건데 딥러닝 학습을 목표로 한다면 할당량 요청할때 적어도 GPU 메모리 8G 이상 짜리로 신청하는게 좋다.

필자가 야짤 만들려고 스테이블 디퓨전 깔 생각으로 A10 GPU 메모리 4G 짜리로 신청했었는데, 메모리 부족하다고 자꾸 징징대서 8G 짜리로 바꾸니까 잘되더라

아래 GPU에 따른 제품군 성능 표를 참고하자

https://learn.microsoft.com/ko-kr/azure/virtual-machines/nva10v5-series

 

 

이제 다시 원점으로 돌아와서 할당량 요청을 눌러주면 아래 이미지처럼 화면 우측에 새 할당량 요청이라는 창이 나타난다

 

별거 없으니 그냥 제출 눌러주면 된다.

이거 한다고 돈 더 나가고 이런건 없으니 쫄지말고 그냥 상남자답게 노빠꾸로 제출 버튼 눌러주자

그러면 아래와 같은 화면이 나타나는데 뭐 처리 중이라는 얘기니까 그냥 무시하고 한숨 자고 오면 된다.

 

홈버튼 누르면 뭐 새 할당량 신청 진행중인데 돌아갈거냐고 하면서 마치 돌아가면 할당량 요청이 취소되는거 마냥 가스라이팅 하는데 그런거 없으니 그냥 홈 버튼 누르거나 꺼도 된다.

 

 

6시간 정도 지나면 선택한 지역, 가용성 영역에 대해 할당량이 늘어나있는데, 다시 모든 크기 보기 창에서 N 시리즈를 확장해보면 아래처럼 신청한 제품군에 대해 사용 가능해진 것을 확인할 수 있다.

 

 

혹시 사용하고 싶은 다른 제품군이 있다면 이 포스팅에서 알려준 방법대로 해당 제품군에 대해 할당량을 늘려달라고 갓 마소 정부님께 요청하도록 하자

 

아 그리고 필자의 경험담으로 지역: US West2, 가용성영역: 영역1 로 위 제품군을 신청하면 일본 지역보다 대략 100 ~ 200달러 싸게 이용 가능하니, 참고하자

 

끗...

인지 알았는데 생각해보니 엔비디아 GPU 드라이버 설치해야 한다 

이건 간단한데 현재 포스팅이 너무 길어졌으니 다음 포스팅에서 알아보도록 하자