Obținerea utilizării GPU de carduri NVIDIA cu instrumentul dstat Linux

• 11 Februarie 2017
• Vasilis Vryniotis
• . 6 comentarii

dstat este un mic instrument minunat care vă permite să obțineți statistici despre resurse pentru caseta dvs. Linux. Are o arhitectură modulară care vă permite să dezvoltați pluginuri suplimentare și este ușor de utilizat. Recent, făceam profiluri pentru o conductă Deep Learning dezvoltată cu Keras și Tensorflow și aveam nevoie de statistici detaliate despre utilizarea CPU, Hard Disk și GPU. Primele două sunt disponibile imediat de către dstat, cu toate acestea, din câte știu, nu există niciun plugin pentru monitorizarea utilizării GPU-ului pentru plăcile grafice NVIDIA.

Din fericire, este foarte ușor să scrieți un plugin python pentru dstat. Am trimis deja o cerere de extragere pe repo-ul oficial, dar din moment ce versiunile noi sunt lansate relativ rar, iată câteva instrucțiuni despre cum să configurați Plugin de utilizare dstat NVIDIA GPU pe cutia ta.

Instalare

Următoarele comenzi sunt testate pe Ubuntu 16.04 și vă vor ajuta să instalați dstat, biblioteca de management Python NVIDIA și pluginul meu dstat nvidia:

sudo apt-get install dstat #install dstat
sudo pip install nvidia-ml-py #install Python NVIDIA Management Library
wget https://raw.githubusercontent.com/datumbox/dstat/master/plugins/dstat_nvidia_gpu.py
sudo mv dstat_nvidia_gpu.py /usr/share/dstat/ #move file to the plugins directory of dstat

Pentru a obține toate statisticile implicite împreună cu utilizarea GPU-ului (procent), tastați următoarea comandă:

dstat -a --nvidia-gpu

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- gpu-u
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw |total
  2   1  96   0   0   0|5816k   15M|   0     0 |   0     0 |  45k   98k|   68
  0   1  98   0   0   0|  57M  128k| 104B  902B|   0     0 |  42k   85k|   50
  8   7  84   1   0   0| 152M    0 | 292B  448B|   0     0 |  52k   93k|   39
  1   1  97   1   0   0| 111M    0 |  52B  374B|   0     0 |  51k  116k|   62
  0   1  98   1   0   0| 129M    0 |  80B  416B|   0     0 |  43k   85k|   92
  0   2  98   0   0   0|   0     0 |  52B  374B|   0     0 |  41k   83k|   81

Pentru a obține toate statisticile de utilizare pentru fiecare GPU, utilizați următoarea comandă:

dstat --nvidia-gpu -f
-------------------------------------------gpu-usage-nvidia------------------------------------------
total  gpu0  gpu1  gpu2  gpu3  gpu4  gpu5  gpu6  gpu7  gpu8  gpu9 gpu10 gpu11 gpu12 gpu13 gpu14 gpu15
   19    23    22    21    21    20    22    23    25    15    18    16    16    16    18    16    14
   18    21    20    18    22    21    21    22    21    15    15    14    14    14    15    16    13
   10    14     9    13     8     9    11     9    12     9     9    10    10     8     7     9     9
   18    20    22    19    21    20    21    21    22    14    15    14    15    14    15    15    15
   20    24    22    23    24    25    22    22    22    16    16    16    16    16    16    18    16
   15    21    18    19    18    17    17    16    18    14    13    13    14    13    12    11    11
   20    24    22    22    24    25    23    24    22    16    18    16    14    17    17    17    15
   19    29    18    23    21    22    21    20    21    18    16    16    18    14    14    17    17

Abordarea Noastră

Pluginul preia numărul de GPU-uri disponibile pe sistem și eșantionează de 10 ori valoarea de utilizare pentru fiecare GPU. Eșantionarea de mai multe ori va returna, sperăm, valori mai fluide decât obținerea unei singure măsurători. După aceea, face media utilizării pe toate GPU-urile și returnează rezultatele utilizatorului. Codul sursă al pluginului este disponibil aici.

Sper să vă placă, programare GPU fericită! 🙂