linux (centos, ubuntu) 모니터링 도구

linux (centos, ubuntu) 모니터링 도구 GPU

오늘은 어제에 이어 gpu 모니터링에 대하여 몇가지 소개 하고자 한다.

가장 기본적인 gpu driver 설치 후 제공되는 모니터링 도구라고 보면 되겠다.

watch 명령어를 써서 실시간으로 띄어 놓은 것이다.

# watch -n 0.5 -d nvidia-smi

나는 아직까지도 nvidia-smi가 모니터링하기가 가장 보기 편하다.

한 세션에 gpu의 모든 정보 상태가 나오기 때문에 깔끔하지 않나 싶다.

# gpustat -i

nvidia gpu만 서비스 제공이 된다.

자세한 옵션 사항은 아래와 같다.

Options:

--color : Force colored output (even when stdout is not a tty)
--no-color : Suppress colored output
-u, --show-user : Display username of the process owner
-c, --show-cmd : Display the process name
-f, --show-full-cmd : Display full command and cpu stats of running process
-p, --show-pid : Display PID of the process
-F, --show-fan : Display GPU fan speed
-e, --show-codec : Display encoder and/or decoder utilization
-P, --show-power : Display GPU power usage and/or limit (draw or draw,limit)
-a, --show-all : Display all gpu properties above
--watch, -i, --interval : Run in watch mode (equivalent to watch gpustat) if given. Denotes interval between updates. (#41)
--json : JSON Output (Experimental, #10)

모니터링 1편에서 봤던 glances의 gpu 버전이다.

아니 gpu만 추가 된 것이다.

# pip install glances[gpu]

이거 역시 pip 로 간단한 설치 후 glances 명령어로 실행이 된다.

이전의 glances랑 똑같지만 자세히 보면 cpu옆에 gpu영역이 생겨 간단한 모니터링이 된다.

이 외에도 gmonitor 라는 도구도 있다.

이중에 본인에게 가장 잘 맞고 친근한 도구를 선택하여 사용하면 될 것 같다.

참고로 내가 생각하기에는 GPU는 temp, memory등 다 중요하지만 power가 제일 중요하지 않나 싶다.

그렇기에 nvidia-smi를 추천한다.