Het GPU-gebruik van NVIDIA-kaarten ophalen met de Linux dstat-tool

• 11 februari 2017
• Vasilis Vryniotis
• . 6 opmerkingen

De dstat is een geweldige kleine tool waarmee je bronnenstatistieken voor je Linux-box kunt krijgen. Het heeft een modulaire architectuur waarmee u extra plug-ins kunt ontwikkelen en het is gemakkelijk te gebruiken. Onlangs was ik bezig met het profileren van een Deep Learning-pijplijn ontwikkeld met Keras en Tensorflow en ik had gedetailleerde statistieken nodig over het CPU-, harde schijf- en GPU-gebruik. De eerste twee zijn out-of-the-box beschikbaar door dstat, maar voor zover ik weet is er geen plug-in voor het bewaken van GPU-gebruik voor NVIDIA grafische kaarten.

Gelukkig is het super eenvoudig om een ​​python-plug-in voor dstat te schrijven. Ik heb al een pull-request naar de officiële repo gestuurd, maar aangezien er relatief zelden nieuwe versies worden uitgebracht, volgen hier enkele instructies voor het instellen van de dstat NVIDIA GPU-gebruiksplug-in op je doos.

Installatie

De volgende opdrachten worden getest op Ubuntu 16.04 en ze zullen u helpen bij het installeren van dstat, de Python NVIDIA Management Library en mijn dstat nvidia-plug-in:

sudo apt-get install dstat #install dstat
sudo pip install nvidia-ml-py #install Python NVIDIA Management Library
wget https://raw.githubusercontent.com/datumbox/dstat/master/plugins/dstat_nvidia_gpu.py
sudo mv dstat_nvidia_gpu.py /usr/share/dstat/ #move file to the plugins directory of dstat

Typ de volgende opdracht om alle standaardstatistieken samen met het GPU-gebruik (percentage) te krijgen:

dstat -a --nvidia-gpu

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- gpu-u
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw |total
  2   1  96   0   0   0|5816k   15M|   0     0 |   0     0 |  45k   98k|   68
  0   1  98   0   0   0|  57M  128k| 104B  902B|   0     0 |  42k   85k|   50
  8   7  84   1   0   0| 152M    0 | 292B  448B|   0     0 |  52k   93k|   39
  1   1  97   1   0   0| 111M    0 |  52B  374B|   0     0 |  51k  116k|   62
  0   1  98   1   0   0| 129M    0 |  80B  416B|   0     0 |  43k   85k|   92
  0   2  98   0   0   0|   0     0 |  52B  374B|   0     0 |  41k   83k|   81

Gebruik de volgende opdracht om alle gebruiksstatistieken voor elke GPU te krijgen:

dstat --nvidia-gpu -f
-------------------------------------------gpu-usage-nvidia------------------------------------------
total  gpu0  gpu1  gpu2  gpu3  gpu4  gpu5  gpu6  gpu7  gpu8  gpu9 gpu10 gpu11 gpu12 gpu13 gpu14 gpu15
   19    23    22    21    21    20    22    23    25    15    18    16    16    16    18    16    14
   18    21    20    18    22    21    21    22    21    15    15    14    14    14    15    16    13
   10    14     9    13     8     9    11     9    12     9     9    10    10     8     7     9     9
   18    20    22    19    21    20    21    21    22    14    15    14    15    14    15    15    15
   20    24    22    23    24    25    22    22    22    16    16    16    16    16    16    18    16
   15    21    18    19    18    17    17    16    18    14    13    13    14    13    12    11    11
   20    24    22    22    24    25    23    24    22    16    18    16    14    17    17    17    15
   19    29    18    23    21    22    21    20    21    18    16    16    18    14    14    17    17

Hoe het werkt

De plug-in haalt het aantal beschikbare GPU's op het systeem op en test 10 keer de gebruiksstatistiek voor elke GPU. Meerdere keren bemonsteren levert hopelijk vloeiendere statistieken op dan een enkele meting. Daarna wordt het gebruik gemiddeld over alle GPU's en worden de resultaten aan de gebruiker geretourneerd. De broncode van de plug-in is beschikbaar hier.

Ik hoop dat je ervan geniet, gelukkige GPU-programmering! 🙂