GPU에 잔여 메모리가 남아있는 경우

딥러닝 모델을 돌리던 중 Ctrl+Z 를 눌러 프로세스를 강제 종료했다.

다시 실행했는데 out of memory라길래 watch gpustat을 찍었더니 gpu가 계속 잡혀있는 것을 확인했다.

 

잔여 프로세스 정리하는 법

1. ps aux | grep python 명령어로 내가 실행시킨 python 파일의 ID를 찾는다.
ps aux | grep python을 검색하면 옆에 내가 무슨 명령어를 쳤었는지, 시간 등도 같이 뜨는데 그런 것들로 어떤 프로세스가 gpu에 올라가 있는지 추측해볼 수 있다.
ID는 내 계정 바로 옆에 있는 숫자이다.

뒤에 끊긴건 명령어!

2. kill -9 1234  (1234는 ID를 의미함!)
보통 앞에 sudo를 찍던데 나는 sudo 권한이 없다. 그래도 잘 죽는다 ㅇㅇ