Erhalten der GPU-Nutzung von NVIDIA-Karten mit dem Linux-Tool dstat

• 11. Februar 2017
• Vasilis Vryniotis
• . 6 Kommentare

Das dstat ist ein fantastisches kleines Tool, mit dem Sie Ressourcenstatistiken für Ihre Linux-Box abrufen können. Es verfügt über eine modulare Architektur, mit der Sie zusätzliche Plugins entwickeln können, und ist einfach zu bedienen. Kürzlich habe ich eine mit Keras und Tensorflow entwickelte Deep Learning-Pipeline erstellt und benötigte detaillierte Statistiken zur CPU-, Festplatten- und GPU-Nutzung. Die ersten beiden sind von dstat sofort verfügbar. Soweit ich weiß, gibt es jedoch kein Plugin zur Überwachung der GPU-Nutzung für NVIDIA-Grafikkarten.

Zum Glück ist es super einfach, ein Python-Plugin für dstat zu schreiben. Ich habe bereits eine Pull-Anfrage zum offiziellen Repo gesendet, aber da neue Versionen relativ selten veröffentlicht werden, finden Sie hier einige Anweisungen zum Einrichten des dstat NVIDIA GPU-Nutzungs-Plugin auf deiner Box.

Installation

Die folgenden Befehle wurden unter Ubuntu 16.04 getestet und helfen Ihnen bei der Installation von dstat, der Python NVIDIA Management Library und meinem dstat nvidia-Plugin:

sudo apt-get install dstat #install dstat
sudo pip install nvidia-ml-py #install Python NVIDIA Management Library
wget https://raw.githubusercontent.com/datumbox/dstat/master/plugins/dstat_nvidia_gpu.py
sudo mv dstat_nvidia_gpu.py /usr/share/dstat/ #move file to the plugins directory of dstat

Geben Sie den folgenden Befehl ein, um alle Standardstatistiken zusammen mit der GPU-Nutzung (Prozent) abzurufen:

dstat -a --nvidia-gpu

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- gpu-u
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw |total
  2   1  96   0   0   0|5816k   15M|   0     0 |   0     0 |  45k   98k|   68
  0   1  98   0   0   0|  57M  128k| 104B  902B|   0     0 |  42k   85k|   50
  8   7  84   1   0   0| 152M    0 | 292B  448B|   0     0 |  52k   93k|   39
  1   1  97   1   0   0| 111M    0 |  52B  374B|   0     0 |  51k  116k|   62
  0   1  98   1   0   0| 129M    0 |  80B  416B|   0     0 |  43k   85k|   92
  0   2  98   0   0   0|   0     0 |  52B  374B|   0     0 |  41k   83k|   81

Verwenden Sie den folgenden Befehl, um alle Nutzungsstatistiken für jede GPU abzurufen:

dstat --nvidia-gpu -f
-------------------------------------------gpu-usage-nvidia------------------------------------------
total  gpu0  gpu1  gpu2  gpu3  gpu4  gpu5  gpu6  gpu7  gpu8  gpu9 gpu10 gpu11 gpu12 gpu13 gpu14 gpu15
   19    23    22    21    21    20    22    23    25    15    18    16    16    16    18    16    14
   18    21    20    18    22    21    21    22    21    15    15    14    14    14    15    16    13
   10    14     9    13     8     9    11     9    12     9     9    10    10     8     7     9     9
   18    20    22    19    21    20    21    21    22    14    15    14    15    14    15    15    15
   20    24    22    23    24    25    22    22    22    16    16    16    16    16    16    18    16
   15    21    18    19    18    17    17    16    18    14    13    13    14    13    12    11    11
   20    24    22    22    24    25    23    24    22    16    18    16    14    17    17    17    15
   19    29    18    23    21    22    21    20    21    18    16    16    18    14    14    17    17

So funktioniert's

Das Plugin ruft die Anzahl der verfügbaren GPUs auf dem System ab und tastet das 10-fache der Nutzungsmetrik für jede GPU ab. Mehrfaches Abtasten liefert hoffentlich glattere Metriken als das Erhalten einer einzelnen Messung. Danach wird die Nutzung über alle GPUs gemittelt und die Ergebnisse an den Benutzer zurückgegeben. Der Quellcode des Plugins ist verfügbar hier.

Hoffe es gefällt euch, viel Spaß beim GPU Programmieren! 🙂