Dziś mamy przyjemność ogłosić podgląd Profiler Amazon SageMaker, zdolność Amazon Sage Maker który zapewnia szczegółowy wgląd w zasoby obliczeniowe AWS udostępniane podczas uczenia modeli głębokiego uczenia się w SageMaker. Dzięki SageMaker Profiler możesz śledzić wszystkie działania na procesorach i procesorach graficznych, takie jak wykorzystanie procesora i procesora graficznego, działanie jądra na procesorach graficznych, uruchamianie jądra na procesorach, operacje synchronizacji, operacje na pamięci na procesorach graficznych, opóźnienia między uruchomieniami jądra i odpowiadającymi im uruchomieniami oraz transfer danych pomiędzy procesorami CPU i GPU. W tym poście przeprowadzimy Cię przez możliwości SageMaker Profiler.
SageMaker Profiler udostępnia moduły Pythona umożliwiające dodawanie adnotacji do skryptów szkoleniowych PyTorch lub TensorFlow i aktywację SageMaker Profiler. Oferuje również interfejs użytkownika (UI), który wizualizuje profil, statystyczne podsumowanie profilowanych zdarzeń oraz oś czasu zadania szkoleniowego w celu śledzenia i zrozumienia zależności czasowych zdarzeń między procesorami graficznymi i procesorami.
Potrzeba profilowania stanowisk pracy szkoleniowej
Wraz z rozwojem głębokiego uczenia się (DL) uczenie maszynowe (ML) stało się intensywne pod względem obliczeniowym i danych, zazwyczaj wymagając klastrów z wieloma węzłami i wieloma procesorami graficznymi. W miarę powiększania się najnowocześniejszych modeli, rzędu bilionów parametrów, ich złożoność obliczeniowa i koszt również szybko rosną. Praktycy uczenia maszynowego muszą stawić czoła typowym wyzwaniom związanym z efektywnym wykorzystaniem zasobów podczas szkolenia tak dużych modeli. Jest to szczególnie widoczne w przypadku dużych modeli językowych (LLM), które zazwyczaj mają miliardy parametrów i dlatego wymagają dużych wielowęzłowych klastrów GPU w celu ich efektywnego uczenia.
Trenując te modele w dużych klastrach obliczeniowych, możemy napotkać wyzwania związane z optymalizacją zasobów obliczeniowych, takie jak wąskie gardła we/wy, opóźnienia w uruchamianiu jądra, limity pamięci i niskie wykorzystanie zasobów. Jeśli konfiguracja zadania szkoleniowego nie zostanie zoptymalizowana, wyzwania te mogą skutkować nieefektywnym wykorzystaniem sprzętu i dłuższym czasem szkolenia lub niekompletnymi przebiegami szkoleń, co zwiększa ogólne koszty i harmonogram projektu.
Wymagania wstępne
Poniżej znajdują się wymagania wstępne, aby rozpocząć korzystanie z SageMaker Profiler:
- Domena SageMaker na Twoim koncie AWS – Aby uzyskać instrukcje dotyczące konfiguracji domeny, zobacz Dołącz do domeny Amazon SageMaker za pomocą szybkiej konfiguracji. Aby uzyskać dostęp do aplikacji interfejsu użytkownika SageMaker Profiler, należy także dodać profile użytkowników domeny dla poszczególnych użytkowników. Aby uzyskać więcej informacji, zobacz Dodawaj i usuwaj profile użytkowników domeny SageMaker.
- Uprawnienia – Poniższa lista przedstawia minimalny zestaw uprawnień, które należy przypisać do roli wykonawczej w celu korzystania z aplikacji interfejsu użytkownika SageMaker Profiler:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:SearchTrainingJobs
s3:GetObject
s3:ListBucket
Przygotuj i przeprowadź zadanie szkoleniowe za pomocą SageMaker Profiler
Aby rozpocząć przechwytywanie uruchomień jądra na procesorach graficznych podczas wykonywania zadania szkoleniowego, zmodyfikuj skrypt szkoleniowy za pomocą modułów Pythona SageMaker Profiler. Zaimportuj bibliotekę i dodaj plik start_profiling()
i stop_profiling()
metody określenia początku i końca profilowania. Możesz także użyć opcjonalnych niestandardowych adnotacji, aby dodać znaczniki w skrypcie szkoleniowym w celu wizualizacji działań sprzętu podczas określonych operacji na każdym kroku.
Istnieją dwa podejścia do profilowania skryptów szkoleniowych za pomocą programu SageMaker Profiler. Pierwsze podejście opiera się na profilowaniu pełnych funkcji; drugie podejście opiera się na profilowaniu określonych linii kodu w funkcjach.
Aby profilować według funkcji, użyj menedżera kontekstu smppy.annotate
opisywać pełne funkcje. Poniższy przykładowy skrypt pokazuje, jak zaimplementować menedżera kontekstu w celu zawinięcia pętli szkoleniowej i pełnych funkcji w każdej iteracji:
Można również użyć smppy.annotation_begin()
i smppy.annotation_end()
do opisywania określonych wierszy kodu w funkcjach. Aby uzyskać więcej informacji, zobacz dokumentacja.
Skonfiguruj program uruchamiający zadania szkoleniowe SageMaker
Po zakończeniu dodawania adnotacji i skonfigurowaniu modułów inicjujących profiler zapisz skrypt szkoleniowy i przygotuj estymator platformy SageMaker do szkolenia przy użyciu pakietu SageMaker Python SDK.
- Ustawić
profiler_config
obiekt używającProfilerConfig
iProfiler
moduły w następujący sposób: - Utwórz estymator SageMaker za pomocą pliku
profiler_config
obiekt utworzony w poprzednim kroku. Poniższy kod przedstawia przykład tworzenia estymatora PyTorch:
Jeśli chcesz utworzyć estymator TensorFlow, zaimportuj sagemaker.tensorflow.TensorFlow
zamiast tego i określ jedną z wersji TensorFlow obsługiwanych przez SageMaker Profiler. Aby uzyskać więcej informacji na temat obsługiwanych platform i typów instancji, zobacz Obsługiwane frameworki.
- Rozpocznij zadanie szkoleniowe, uruchamiając metodę dopasowania:
Uruchom interfejs użytkownika SageMaker Profiler
Po zakończeniu zadania szkoleniowego możesz uruchomić interfejs użytkownika SageMaker Profiler, aby wizualizować i przeglądać profil zadania szkoleniowego. Dostęp do aplikacji SageMaker Profiler UI można uzyskać poprzez stronę docelową SageMaker Profiler w konsoli SageMaker lub poprzez domenę SageMaker.
Aby uruchomić aplikację SageMaker Profiler UI na konsoli SageMaker, wykonaj następujące kroki:
- W konsoli SageMaker wybierz Profiler w okienku nawigacji.
- Pod Rozpocznij, wybierz domenę, w której chcesz uruchomić aplikację SageMaker Profiler UI.
Jeśli Twój profil użytkownika należy tylko do jednej domeny, nie zobaczysz opcji wyboru domeny.
- Wybierz profil użytkownika, dla którego chcesz uruchomić aplikację interfejsu użytkownika SageMaker Profiler.
Jeśli w domenie nie ma profilu użytkownika, wybierz Utwórz profil użytkownika. Aby uzyskać więcej informacji na temat tworzenia nowego profilu użytkownika, zobacz Dodawaj i usuwaj profile użytkowników.
- Dodaj Otwórz Profilera.
Możesz również uruchom interfejs SageMaker Profiler ze strony szczegółów domeny.
Zdobądź wiedzę dzięki SageMaker Profiler
Po otwarciu interfejsu użytkownika programu SageMaker Profiler plik Wybierz i załaduj profil otworzy się strona, jak pokazano na poniższym zrzucie ekranu.
Można wyświetlić listę wszystkich zadań szkoleniowych przesłanych do programu SageMaker Profiler i wyszukać określone zadanie szkoleniowe według jego nazwy, czasu utworzenia i statusu uruchomienia (W toku, Ukończone, Niepowodzenie, Zatrzymane lub Zatrzymywanie). Aby załadować profil, wybierz zadanie szkoleniowe, które chcesz wyświetlić, i wybierz Załadować. Nazwa zadania powinna pojawić się w pliku Załadowany profil sekcja u góry.
Wybierz nazwę zadania, aby wygenerować dashboard i oś czasu. Pamiętaj, że po wybraniu zadania interfejs użytkownika automatycznie otwiera pulpit nawigacyjny. Możesz ładować i wizualizować jeden profil na raz. Aby załadować kolejny profil, należy najpierw rozładować poprzednio załadowany profil. Aby usunąć profil, wybierz ikonę kosza na śmieci w Załadowany profil
W tym poście przeglądamy profil użytkownika ALBEF zadanie szkoleniowe na dwóch instancjach ml.p4d.24xlarge.
Po zakończeniu ładowania i wybraniu zadania szkoleniowego interfejs użytkownika otworzy plik Panel Użytkownika stronę, jak pokazano na poniższym zrzucie ekranu.
Możesz zobaczyć wykresy kluczowych wskaźników, a mianowicie czasu aktywności procesora graficznego, wykorzystania procesora graficznego w czasie, czasu aktywności procesora i wykorzystania procesora w czasie. Wykres kołowy czasu aktywności GPU pokazuje procent czasu aktywności GPU w funkcji czasu bezczynności GPU, co pozwala nam sprawdzić, czy procesory graficzne są bardziej aktywne niż bezczynne przez cały czas trwania zadania szkoleniowego. Wykres wykorzystania procesora GPU w czasie przedstawia średni stopień wykorzystania procesora GPU w czasie na węzeł, agregując wszystkie węzły na jednym wykresie. Możesz sprawdzić, czy procesory graficzne mają niezrównoważone obciążenie, problemy z niedostatecznym wykorzystaniem, wąskie gardła lub problemy z bezczynnością w określonych odstępach czasu. Więcej informacji na temat interpretacji tych wskaźników można znaleźć w artykule dokumentacja.
Pulpit nawigacyjny udostępnia dodatkowe wykresy, w tym czas spędzony przez wszystkie jądra GPU, czas spędzony przez 15 najlepszych jąder GPU, liczbę uruchomień wszystkich jąder GPU i liczbę uruchomień 15 najlepszych jąder GPU, jak pokazano na poniższym zrzucie ekranu.
Wreszcie, pulpit nawigacyjny umożliwia wizualizację dodatkowych wskaźników, takich jak rozkład czasu kroku, który jest histogramem pokazującym rozkład czasu trwania kroków na procesorach graficznych, oraz wykres kołowy rozkładu precyzji jądra, który pokazuje procent czasu spędzonego na uruchomieniu jąder w różnych typach danych, takich jak FP32, FP16, INT32 i INT8.
Możesz także uzyskać wykres kołowy rozkładu aktywności GPU, który pokazuje procent czasu spędzonego na działaniach GPU, takich jak uruchamianie jąder, pamięć (memcpy
i memset
) i synchronizacja (sync
). Możesz wizualizować procent czasu spędzonego na operacjach pamięci GPU na wykresie kołowym rozkładu operacji na pamięci GPU.
Możesz także tworzyć własne histogramy na podstawie niestandardowych danych, do których dopisałeś ręcznie adnotacje, jak opisano wcześniej w tym poście. Dodając niestandardową adnotację do nowego histogramu, wybierz lub wprowadź nazwę adnotacji dodanej w skrypcie szkoleniowym.
Interfejs osi czasu
Interfejs użytkownika SageMaker Profiler zawiera także interfejs osi czasu, który zapewnia szczegółowy wgląd w zasoby obliczeniowe na poziomie operacji i jąder zaplanowanych na procesorach i uruchamianych na procesorach graficznych. Oś czasu jest zorganizowana w formie drzewa, dostarczając informacji od poziomu hosta do poziomu urządzenia, jak pokazano na poniższym zrzucie ekranu.
Dla każdego procesora możesz śledzić liczniki wydajności procesora, takie jak clk_unhalted_ref.tsc
i itlb_misses.miss_causes_a_walk
. Dla każdego procesora graficznego w instancji 2x p4d.24xlarge można zobaczyć oś czasu hosta i oś czasu urządzenia. Uruchomienia jądra znajdują się na osi czasu hosta, a uruchomienia jądra na osi czasu urządzenia.
Możesz także powiększyć poszczególne kroki. Na poniższym zrzucie ekranu powiększyliśmy krok_41. Pasek osi czasu wybrany na poniższym zrzucie ekranu to AllReduce
działanie, niezbędny etap komunikacji i synchronizacji w rozproszonym szkoleniu, uruchamianym na GPU-0. Na zrzucie ekranu zauważ, że uruchomienie jądra na hoście GPU-0 łączy się z jądrem uruchomionym w strumieniu 0 urządzenia GPU-1, oznaczonym strzałką w kolorze cyjan.
Dostępność i uwagi
SageMaker Profiler jest dostępny w PyTorch (wersja 2.0.0 i 1.13.1) oraz TensorFlow (wersja 2.12.0 i 2.11.1). Poniższa tabela zawiera łącza do obsługiwanych Kontenery głębokiego uczenia się AWS dla SageMaker.
Framework | Wersja | URI obrazu DLC AWS |
PyTorch | 2.0.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
PyTorch | 1.13.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker |
TensorFlow | 2.12.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
TensorFlow | 2.11.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.1-gpu-py39-cu112-ubuntu20.04-sagemaker |
SageMaker Profiler jest obecnie dostępny w następujących regionach: Wschodnie Stany Zjednoczone (Ohio, Północna Wirginia), Zachodnie Stany Zjednoczone (Oregon) i Europa (Frankfurt, Irlandia).
SageMaker Profiler jest dostępny w typach instancji szkoleniowych ml.p4d.24xlarge, ml.p3dn.24xlarge i ml.g4dn.12xlarge.
Pełna lista obsługiwanych frameworków i wersji znajduje się na stronie dokumentacja.
Opłaty za SageMaker Profiler naliczane są po zakończeniu bezpłatnej warstwy SageMaker lub po zakończeniu bezpłatnego okresu próbnego tej funkcji. Aby uzyskać więcej informacji, zobacz Cennik Amazon SageMaker.
Wydajność SageMaker Profiler
Porównaliśmy obciążenie SageMaker Profiler z różnymi profilerami typu open source. Wartość bazową użytą do porównania uzyskano w wyniku uruchomienia zadania szkoleniowego bez profilera.
Nasze kluczowe odkrycie ujawniło, że program SageMaker Profiler generalnie zapewniał krótszy czas trwania szkolenia podlegającego rozliczeniu, ponieważ wymagał mniejszego czasu narzutu na kompleksowe przebiegi szkoleniowe. Wygenerował także mniej danych profilowania (nawet 10 razy mniej) w porównaniu z alternatywami typu open source. Mniejsze artefakty profilowania generowane przez SageMaker Profiler wymagają mniej pamięci, co pozwala również zaoszczędzić na kosztach.
Wnioski
SageMaker Profiler umożliwia uzyskanie szczegółowego wglądu w wykorzystanie zasobów obliczeniowych podczas uczenia modeli głębokiego uczenia się. Może to umożliwić eliminowanie punktów krytycznych i wąskich gardeł wydajności, aby zapewnić efektywne wykorzystanie zasobów, co ostatecznie obniży koszty szkoleń i skróci ogólny czas trwania szkolenia.
Aby rozpocząć pracę z SageMaker Profiler, zobacz dokumentacja.
O autorach
Roya Alleli jest starszym architektem rozwiązań specjalistycznych AI/ML w AWS z siedzibą w Monachium w Niemczech. Roy pomaga klientom AWS – od małych start-upów po duże przedsiębiorstwa – efektywnie szkolić i wdrażać duże modele językowe w AWS. Roy jest pasjonatem problemów optymalizacji obliczeniowej i poprawy wydajności obciążeń AI.
Księżyc Sushant jest analitykiem danych w AWS w Indiach, specjalizującym się w prowadzeniu klientów przez ich przedsięwzięcia związane z AI/ML. Dzięki zróżnicowanemu doświadczeniu obejmującemu handel detaliczny, finanse i ubezpieczenia dostarcza innowacyjne i dostosowane do indywidualnych potrzeb rozwiązania. Poza życiem zawodowym Sushant odmładza się w pływaniu i szuka inspiracji w podróżach do różnych miejsc.
Diksza Szarma jest architektem rozwiązań specjalistycznych AI/ML w Światowej Organizacji Specjalistycznej. Współpracuje z klientami z sektora publicznego, pomagając im tworzyć wydajne, bezpieczne i skalowalne aplikacje do uczenia maszynowego, w tym generatywne rozwiązania AI w AWS. W wolnym czasie Diksha uwielbia czytać, malować i spędzać czas z rodziną.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- ChartPrime. Podnieś poziom swojej gry handlowej dzięki ChartPrime. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/announcing-the-preview-of-amazon-sagemaker-profiler-track-and-visualize-detailed-hardware-performance-data-for-your-model-training-workloads/
- :ma
- :Jest
- :nie
- $W GÓRĘ
- 1
- 10
- 100
- 11
- 12
- 125
- 13
- 15%
- 17
- 20
- 7
- 9
- a
- O nas
- dostęp
- w poprzek
- aktywujący
- aktywny
- zajęcia
- działalność
- Dodaj
- w dodatku
- dodanie
- Dodatkowy
- Po
- przed
- agregacja
- AI
- AI / ML
- Wszystkie kategorie
- również
- alternatywy
- Amazonka
- Amazon Sage Maker
- Amazon Web Services
- an
- i
- Ogłosić
- Ogłaszając
- Inne
- każdy
- zjawić się
- Zastosowanie
- aplikacje
- podejście
- awanse
- SĄ
- AS
- przydzielony
- At
- automatycznie
- dostępny
- średni
- AWS
- tło
- na podstawie
- Baseline
- BE
- bo
- stają się
- być
- Początek
- należy
- pomiędzy
- Poza
- miliardy
- BIN
- by
- CAN
- możliwości
- zdolność
- Przechwytywanie
- pewien
- wyzwania
- Opłaty
- Wykres
- ZOBACZ
- Dodaj
- kod
- wspólny
- Komunikacja
- w porównaniu
- porównanie
- kompletny
- Zakończony
- kompleksowość
- obliczać
- systemu
- łączy
- Konsola
- Pojemniki
- kontekst
- Odpowiedni
- Koszty:
- Koszty:
- liczniki
- Stwórz
- stworzony
- Tworzenie
- tworzenie
- Obecnie
- zwyczaj
- Klientów
- cyan
- tablica rozdzielcza
- dane
- naukowiec danych
- głęboko
- głęboka nauka
- określić
- dostarcza
- rozwijać
- opisane
- szczegółowe
- detale
- urządzenie
- różne
- dystrybuowane
- szkolenia rozproszone
- 分配
- inny
- domena
- domeny
- zrobić
- na dół
- napęd
- czas trwania
- podczas
- każdy
- Wcześniej
- Wschód
- wydajny
- skutecznie
- umożliwiać
- Umożliwia
- zakończenia
- koniec końców
- starania
- kończy się
- zapewnić
- Wchodzę
- Cały
- wejście
- epoka
- epoki
- niezbędny
- Europie
- wydarzenia
- oczywisty
- przykład
- egzekucja
- odkryj
- Failed
- członków Twojej rodziny
- Cecha
- finansować
- znalezieniu
- znajduje
- koniec
- i terminów, a
- dopasować
- następujący
- następujący sposób
- W razie zamówieenia projektu
- Naprzód
- Framework
- Ramy
- Darmowy
- Przetestuj za darmo
- od
- pełny
- Funkcje
- ogólnie
- Generować
- wygenerowane
- generatywny
- generatywna sztuczna inteligencja
- Niemcy
- otrzymać
- Dający
- GPU
- GPU
- wykres
- Rosnąć
- miał
- sprzęt komputerowy
- Have
- he
- pomoc
- pomaga
- jej
- jego
- gospodarz
- W jaki sposób
- How To
- HTML
- http
- HTTPS
- i
- ICON
- Idle
- if
- obraz
- wdrożenia
- importować
- poprawy
- in
- obejmuje
- Włącznie z
- Zwiększać
- Indie
- wskazany
- indywidualny
- niewydajny
- Informacja
- Innowacyjny
- Wejścia
- spostrzeżenia
- Inspiracja
- przykład
- zamiast
- instrukcje
- ubezpieczenie
- Interfejs
- najnowszych
- Irlandia
- problemy
- IT
- iteracja
- JEGO
- Praca
- Oferty pracy
- jpg
- Klawisz
- Etykiety
- lądowanie
- język
- duży
- uruchomić
- uruchamia
- nauka
- mniej
- poziom
- Biblioteka
- życie
- Limity
- linie
- linki
- Lista
- załadować
- załadunek
- dłużej
- od
- kocha
- niski
- maszyna
- uczenie maszynowe
- kierownik
- ręcznie
- Pamięć
- metoda
- metody
- metryczny
- Metryka
- minimum
- ML
- model
- modele
- modyfikować
- Moduły
- jeszcze
- musi
- Nazwa
- mianowicie
- Nawigacja
- Potrzebować
- Nowości
- Nie
- węzeł
- węzły
- przedmiot
- uzyskać
- uzyskane
- of
- Oferty
- Ohio
- on
- ONE
- tylko
- koncepcja
- open source
- otwiera
- działanie
- operacje
- optymalizacja
- zoptymalizowane
- Option
- or
- zamówienie
- Oregon
- organizacja
- Zorganizowany
- koniec
- ogólny
- własny
- strona
- chleb
- parametry
- szczególny
- szczególnie
- namiętny
- dla
- procent
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- okres
- uprawnienia
- plato
- Analiza danych Platona
- PlatoDane
- zadowolony
- punkt
- Post
- Detaliczność
- Przygotować
- warunki wstępne
- Podgląd
- poprzedni
- poprzednio
- problemy
- profesjonalny
- Profil
- profile
- Profilowanie
- Postęp
- projekt
- zapewnia
- publiczny
- Python
- płomień
- Szybki
- szybko
- Kurs
- Czytaj
- zmniejszyć
- regiony
- odmładzanie
- związek
- usunąć
- wymagać
- Zasób
- Zasoby
- dalsze
- detaliczny
- Ujawnił
- Rosnąć
- Rola
- Roy
- run
- bieganie
- działa
- sagemaker
- Zapisz
- oszczędność
- skalowalny
- zaplanowane
- Naukowiec
- skrypty
- Sdk
- Szukaj
- druga
- Sekcja
- sektor
- bezpieczne
- widzieć
- Poszukuje
- wybrany
- wybierając
- senior
- Usługi
- zestaw
- ustawienie
- ona
- powinien
- pokazane
- Targi
- pojedynczy
- Rozmiar
- mały
- mniejszy
- Rozwiązania
- Źródło
- napięcie
- specjalista
- specjalizujący się
- specyficzny
- wydać
- spędził
- początek
- rozpoczęty
- Startups
- state-of-the-art
- statystyczny
- Rynek
- Ewolucja krok po kroku
- Cel
- zatrzymany
- zatrzymanie
- przechowywanie
- strumień
- Struktura
- składane
- taki
- PODSUMOWANIE
- Utrzymany
- synchronizacja
- stół
- dostosowane
- Brać
- tensorflow
- niż
- że
- Połączenia
- ich
- Im
- Tam.
- a tym samym
- w związku z tym
- Te
- to
- Przez
- poprzez
- poziom
- czas
- Oś czasu
- terminy
- czasy
- do
- Top
- śledzić
- Śledzenie
- Pociąg
- Trening
- przenieść
- podróże
- drzewo
- próba
- biliony
- drugiej
- typy
- zazwyczaj
- ui
- Ostatecznie
- zrozumienie
- us
- posługiwać się
- używany
- Użytkownik
- Interfejs użytkownika
- Użytkownicy
- za pomocą
- różnorodny
- wersja
- Wersje
- Zobacz i wysłuchaj
- virginia
- vs
- chcieć
- była
- we
- sieć
- usługi internetowe
- Zachód
- jeśli chodzi o komunikację i motywację
- który
- Podczas
- będzie
- w
- bez
- działa
- na calym swiecie
- by
- owinąć
- You
- Twój
- zefirnet
- zoom