В еру великих даних і штучного інтелекту компанії постійно шукають способи використання цих технологій, щоб отримати конкурентну перевагу. Однією з найпопулярніших областей ШІ зараз є генеративний ШІ, і це не дарма. Generative AI пропонує потужні рішення, які розширюють межі можливого з точки зору творчості та інновацій. В основі цих передових рішень лежить фундаментальна модель (FM), високорозвинена модель машинного навчання, яка попередньо навчена на величезних обсягах даних. Багато з цих базових моделей показали надзвичайну здатність розуміти та генерувати текст, схожий на людину, що робить їх цінним інструментом для різноманітних програм, від створення вмісту до автоматизації підтримки клієнтів.
Однак ці моделі не позбавлені проблем. Вони надзвичайно великі й потребують великих обсягів даних і обчислювальних ресурсів для навчання. Крім того, оптимізація процесу навчання та калібрування параметрів може бути складним і повторюваним процесом, що вимагає досвіду та ретельного експериментування. Це може бути перешкодою для багатьох організацій, які прагнуть створити власні базові моделі. Щоб подолати цю проблему, багато клієнтів розглядають можливість тонкого налаштування існуючих моделей основи. Це популярна техніка для налаштування невеликої частини параметрів моделі для конкретних програм, зберігаючи при цьому знання, уже закодовані в моделі. Це дозволяє організаціям використовувати потужність цих моделей, одночасно зменшуючи ресурси, необхідні для налаштування під певний домен або завдання.
Існує два основні підходи до точного налаштування базових моделей: традиційне тонке налаштування та ефективне налаштування параметрів. Традиційне тонке налаштування передбачає оновлення всіх параметрів попередньо навченої моделі для конкретного подальшого завдання. З іншого боку, ефективне налаштування параметрів включає різноманітні прийоми, які дозволяють налаштувати модель без оновлення всіх вихідних параметрів моделі. Одна з таких методик називається низькоранговою адаптацією (LoRA). Це включає в себе додавання невеликих, специфічних для завдань модулів до попередньо навченої моделі та їх навчання, зберігаючи решту параметрів фіксованими, як показано на наступному зображенні.
джерело: Генеративний ШІ на AWS (O'Reilly, 2023)
LoRA нещодавно набула популярності з кількох причин. Він пропонує швидше навчання, зменшені вимоги до пам’яті та можливість повторно використовувати попередньо навчені моделі для кількох подальших завдань. Що ще важливіше, базову модель і адаптер можна зберігати окремо та об’єднувати в будь-який час, що полегшує зберігання, розповсюдження та спільний доступ до налаштованих версій. Однак це створює новий виклик: як правильно керувати цими новими типами точно налаштованих моделей. Вам слід поєднати базову модель і адаптер чи залишити їх окремо? У цій публікації ми ознайомимося з найкращими методами керування точно налаштованими моделями LoRA Amazon SageMaker щоб відповісти на це питання, що виникає.
Робота з FM в реєстрі моделей SageMaker
У цій публікації ми розглянемо наскрізний приклад тонкого налаштування великої мовної моделі (LLM) Llama2 за допомогою методу QLoRA. QLoRA поєднує в собі переваги ефективного налаштування параметрів із 4-бітним/8-бітним квантуванням для подальшого зменшення ресурсів, необхідних для точного налаштування FM для конкретного завдання чи варіанту використання. Для цього ми використаємо попередньо підготовлену модель Llama7 з 2 мільярдами параметрів і налаштуємо її на наборі даних databricks-dolly-15k. Такі LLM, як Llama2, мають мільярди параметрів і попередньо навчені на масивних текстових наборах даних. Тонка настройка адаптує LLM до наступного завдання, використовуючи менший набір даних. Однак точне налаштування великих моделей обчислюється дорого. Ось чому ми будемо використовувати метод QLoRA для квантування ваг під час точного налаштування, щоб зменшити ці витрати на обчислення.
У наших прикладах ви знайдете два зошити (llm-finetune-combined-with-registry.ipynb
та llm-finetune-separate-with-registry.ipynb
). Кожен працює по-своєму, щоб обробляти точно налаштовані моделі LoRA, як показано на наступній діаграмі:
- Спочатку ми завантажуємо попередньо навчену модель Llama2 із 7 мільярдами параметрів за допомогою ноутбуків SageMaker Studio. LLMs, як-от Llama2, показали найсучаснішу продуктивність у задачах обробки природної мови (NLP) при точному налаштуванні на предметно-спеціальні дані.
- Далі ми точно налаштовуємо Llama2 на наборі даних databricks-dolly-15k за допомогою методу QLoRA. QLoRA зменшує обчислювальні витрати на точне налаштування шляхом квантування ваг моделі.
- Під час тонкого налаштування ми інтегруємо SageMaker Experiments Plus із Transformers API, щоб автоматично реєструвати такі показники, як градієнт, втрати тощо.
- Потім ми версії налаштованої моделі Llama2 в реєстрі моделей SageMaker використовуємо два підходи:
- Зберігання повної моделі
- Зберігання адаптера та базової моделі окремо.
- Нарешті, ми розміщуємо налаштовані моделі Llama2 за допомогою глибокої бібліотеки Java (DJL), яка обслуговується на кінцевій точці реального часу SageMaker.
У наступних розділах ми глибше заглибимося в кожен із цих кроків, щоб продемонструвати гнучкість SageMaker для різних робочих процесів LLM і те, як ці функції можуть допомогти покращити роботу ваших моделей.
Передумови
Щоб почати експериментувати з кодом, виконайте наступні передумови.
- Створити Домен SageMaker Studio: Amazon SageMaker Studio, зокрема Studio Notebooks, використовується для запуску завдання тонкого налаштування Llama2, а потім реєстрації та перегляду моделей у Реєстр моделей SageMaker. Експерименти SageMaker також використовується для перегляду та порівняння журналів завдань тонкого налаштування Llama2 (втрата навчання/втрата тесту тощо).
- Створіть відро Amazon Simple Storage Service (S3).: Потрібен доступ до відра S3 для зберігання тренувальних артефактів і ваг моделі. Інструкції див Створення відра. Зразок коду, який використовується для цієї публікації, використовуватиме стандартне відро SageMaker S3, але ви можете налаштувати його для використання будь-якого відповідного відра S3.
- Налаштуйте колекції моделей (дозволи IAM): оновіть свою роль виконання SageMaker дозволами для груп ресурсів, як зазначено в розділі Посібник розробника колекцій модельного реєстру для реалізації групування реєстру моделей за допомогою колекцій моделей.
- Прийміть умови та положення для Llama2: вам потрібно буде прийняти ліцензійну угоду кінцевого користувача та прийнятну політику використання для використання базової моделі Llama2.
Приклади доступні в GitHub сховище. Файли блокнота тестуються за допомогою блокнотів Studio, які працюють на ядрі PyTorch 2.0.0 Python 3.10 GPU Optimized і ml.g4dn.xlarge.
Експерименти та інтеграція зворотного виклику
Експерименти Amazon SageMaker дозволяє організовувати, відстежувати, порівнювати та оцінювати експерименти з машинного навчання (ML) і версії моделі з будь-якого інтегрованого середовища розробки (IDE), включаючи локальні ноутбуки Jupyter, за допомогою SDK SageMaker Python або boto3. Він забезпечує гнучкість реєстрації метрик, параметрів, файлів, артефактів вашої моделі, побудови діаграм із різними показниками, захоплення різноманітних метаданих, пошуку в них і підтримки відтворюваності моделі. Науковці даних можуть швидко порівнювати продуктивність і гіперпараметри для оцінки моделі за допомогою візуальних діаграм і таблиць. Вони також можуть використовувати SageMaker Experiments, щоб завантажити створені діаграми та поділитися оцінкою моделі зі своїми зацікавленими сторонами.
Навчання LLM може бути повільним, дорогим і повторюваним процесом. Для користувача дуже важливо відстежувати масштабні експерименти LLM, щоб запобігти непослідовному налаштуванню моделі. API HuggingFace Transformer дозволяють користувачам відстежувати показники під час виконання навчальних завдань Зворотні дзвінки. Зворотні виклики — це фрагменти коду «лише для читання», які можуть налаштовувати поведінку циклу навчання в PyTorch Trainer, який може перевіряти стан циклу навчання для звітування про прогрес, входу в TensorBoard або SageMaker Experiments Plus за допомогою спеціальної логіки (яка включена як частина цієї кодової бази).
Ви можете імпортувати код зворотного виклику SageMaker Experiments, включений у сховище коду цієї публікації, як показано в наступному блоці коду:
Цей зворотній виклик автоматично реєструватиме таку інформацію в SageMaker Experiments як частину навчального запуску:
- Тренувальні параметри та гіперпараметри
- Навчання моделі та втрата перевірки на кроці, епосі та фіналі
- Артефакти введення та виведення моделі (навчальний набір даних, набір даних перевірки, місце розташування виводу моделі, навчальний налагоджувач тощо)
На наступному графіку показано приклади діаграм, які можна відобразити, використовуючи цю інформацію.
Це дозволяє легко порівнювати кілька циклів за допомогою функції аналізу SageMaker Experiments. Ви можете вибрати експерименти, які хочете порівняти, і вони автоматично заповнять порівняльні графіки.
Зареєструйте налаштовані моделі в колекціях реєстру моделей
Колекції модельного реєстру є особливістю Реєстр моделей SageMaker що дозволяє групувати зареєстровані моделі, які пов’язані одна з одною, і організовувати їх в ієрархії для покращення видимості моделей у масштабі. Ми використовуватимемо колекції реєстру моделей, щоб відстежувати базову модель і налаштовані варіанти.
Метод повної копії моделі
Перший спосіб поєднує базову модель і адаптер LoRA і зберігає повну налаштовану модель. Наступний код ілюструє процес об’єднання моделі та збереження об’єднаної моделі за допомогою model.save_pretrained()
.
Об’єднання адаптера LoRA та базової моделі в один артефакт моделі після тонкого налаштування має переваги та недоліки. Об’єднана модель є автономною, нею можна незалежно керувати та розгортати, не потребуючи вихідної базової моделі. Модель можна відстежувати як власну сутність із назвою версії, що відображає базову модель і дані тонкого налаштування. Ми можемо прийняти номенклатуру за допомогою base_model_name
+ налаштований dataset_name
організувати модельні групи. За бажанням колекції моделей можуть пов’язувати оригінальну та налаштовану моделі, але це може бути необов’язковим, оскільки об’єднана модель є незалежною. У наведеному нижче фрагменті коду показано, як зареєструвати налаштовану модель.
Ви можете використовувати навчальний оцінювач, щоб зареєструвати модель у реєстрі моделей.
З реєстру моделей ви можете отримати пакет моделі та безпосередньо розгорнути цю модель.
Однак у цього підходу є недоліки. Об’єднання моделей призводить до неефективності зберігання та надмірності, оскільки базова модель дублюється в кожній налаштованій версії. Оскільки розмір моделі та кількість точно налаштованих моделей збільшуються, це експоненціально збільшує потреби в сховищі. Взявши для прикладу модель llama2 7b, базова модель має приблизно 13 ГБ, а вдосконалена модель – 13.6 ГБ. 96% відсотків моделі потрібно дублювати після кожного тонкого налаштування. Крім того, розповсюдження та спільний доступ до дуже великих файлів моделей також стає складнішим і створює робочі проблеми, оскільки вартість передачі файлів і управління зростає зі збільшенням розміру моделі та завданнями тонкого налаштування.
Окремий адаптер і базовий метод
Другий метод зосереджений на розділенні базових ваг і ваг адаптера шляхом збереження їх як окремих компонентів моделі та їх послідовного завантаження під час виконання.
Збереження ваги основи та адаптера має переваги та недоліки, подібні до методу повного копіювання моделі. Однією з переваг є те, що це може заощадити місце для зберігання. Базові ваги, які є найбільшим компонентом точно налаштованої моделі, зберігаються лише один раз і можуть повторно використовуватися з іншими вагами адаптера, налаштованими для різних завдань. Наприклад, базова вага Llama2-7B становить близько 13 ГБ, але для кожного завдання тонкого налаштування потрібно зберігати лише близько 0.6 ГБ ваги адаптера, що становить 95% економії місця. Ще одна перевага полягає в тому, що базовими вагами можна керувати окремо від вагу адаптера за допомогою реєстру моделей лише базових ваг. Це може бути корисним для доменів SageMaker, які працюють лише в режимі VPC без інтернет-шлюзу, оскільки базові ваги можна отримати без доступу до Інтернету.
Створіть групу пакетів моделей для базових ваг
Створіть групу пакетів моделі для ваг QLoRA
У наведеному нижче коді показано, як позначати вагові коефіцієнти QLoRA типом набору даних/завдання та зареєструвати точно налаштовані вагові коефіцієнти дельта в окремому реєстрі моделі та відстежувати вагові коефіцієнти дельта окремо.
У наступному фрагменті показано подання з реєстру моделей, де моделі розділені на базові та точно налаштовані ваги.
Керування моделями, наборами даних і завданнями для гіперперсоналізованих LLM може швидко стати непосильним. Колекції реєстру моделей SageMaker може допомогти вам згрупувати пов’язані моделі та організувати їх в ієрархію для покращення видимості моделі. Це полегшує відстеження зв’язків між базовими вагами, вагами адаптерів і наборами даних для точного налаштування завдань. Ви також можете створити складні відносини та зв’язки між моделями.
Створіть нову колекцію та додайте до неї ваги базової моделі
Пов’яжіть усі свої точно налаштовані дельта-ваги адаптера LoRA з цією колекцією за завданням і/або набором даних
Це призведе до створення ієрархії колекції, пов’язаної за типом моделі/завдання та набором даних, який використовується для точного налаштування базової моделі.
Такий спосіб поділу базової і адаптерної моделей має деякі недоліки. Один недолік – складність розгортання моделі. Оскільки існує два окремих артефакти моделі, вам потрібні додаткові кроки для переупакування моделі замість розгортання безпосередньо з реєстру моделей. У наведеному нижче прикладі коду спочатку завантажте та перепакуйте останню версію базової моделі.
Потім завантажте та перепакуйте найновіші налаштовані адаптерні ваги LoRA.
Оскільки ви будете використовувати службу DJL з deepspeed для розміщення моделі, ваш каталог висновків має виглядати так.
Нарешті, упакуйте власний код висновку, базову модель і адаптер LoRA в один файл .tar.gz для розгортання.
Прибирати
Очистіть свої ресурси, дотримуючись інструкцій у розділі очищення блокнота. Відноситься до Ціни на Amazon SageMaker для детальної інформації про вартість екземплярів висновків.
Висновок
Ця публікація ознайомила вас із найкращими методами керування точно налаштованими моделями LoRA на Amazon SageMaker. Ми розглянули два основні методи: об’єднання ваг основи та адаптера в одну окрему модель і розділення ваг основи та адаптера. Обидва підходи мають компроміси, але розділення ваг допомагає оптимізувати зберігання та дає змогу розширені методи керування моделлю, такі як колекції реєстру моделей SageMaker. Це дозволяє будувати ієрархії та зв’язки між моделями для покращення організації та видимості. Радимо спробувати зразок коду GitHub сховище самостійно експериментувати з цими методами. Оскільки генеративний штучний інтелект швидко розвивається, дотримання найкращих практик керування моделями допоможе вам відстежувати експерименти, знаходити правильну модель для свого завдання та ефективно керувати спеціалізованими LLM у великих масштабах.
посилання
Про авторів
Джеймс Ву є старшим архітектором рішень для AI/ML у AWS. допомога клієнтам у проектуванні та створенні рішень AI/ML. Робота Джеймса охоплює широкий спектр випадків використання машинного машинного навчання, з головним інтересом до комп’ютерного зору, глибокого навчання та масштабування машинного машинного навчання на підприємстві. До того, як приєднатися до AWS, Джеймс був архітектором, розробником і технологічним лідером понад 10 років, у тому числі 6 років у галузі інженерії та 4 роки в галузі маркетингу та реклами.
Пранав Мурті є архітектором спеціалістів із штучного інтелекту та ML в AWS. Він зосереджується на допомозі клієнтам створювати, навчати, розгортати та переносити робочі навантаження машинного навчання (ML) на SageMaker. Раніше він працював у напівпровідниковій промисловості, розробляючи моделі великого комп’ютерного зору (CV) і обробки природної мови (NLP) для вдосконалення напівпровідникових процесів. У вільний час любить грати в шахи та подорожувати.
Мечіт Гунгор є спеціалістом із розробки рішень AI/ML в AWS, який допомагає клієнтам проектувати та створювати рішення AI/ML у масштабі. Він охоплює широкий спектр випадків використання AI/ML для клієнтів телекомунікацій і наразі зосереджується на Generative AI, LLMs, а також навчанні та оптимізації висновків. Його часто можна зустріти в поході в пустелю або грати в настільні ігри з друзями у вільний час.
Шелбі Айгенброде є головним архітектором рішень спеціалістів із штучного інтелекту та машинного навчання в Amazon Web Services (AWS). Вона працює в технологіях протягом 24 років, охоплюючи різні галузі, технології та ролі. Наразі вона зосереджується на поєднанні свого досвіду DevOps і ML у сфері MLOps, щоб допомогти клієнтам доставляти та керувати робочими навантаженнями ML у масштабі. Маючи понад 35 патентів, наданих у різних технологічних областях, вона має пристрасть до постійних інновацій та використання даних для досягнення результатів бізнесу. Шелбі є співавтором і викладачем спеціалізації з практичних наук про дані на Coursera. Вона також є співдиректором відділу Women In Big Data (WiBD) у Денвері. У вільний час вона любить проводити час з родиною, друзями та надмірно активними собаками.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/model-management-for-lora-fine-tuned-models-using-llama2-and-amazon-sagemaker/
- : має
- :є
- : ні
- :де
- $UP
- 10
- 100
- 11
- 12
- 13
- 15%
- 16
- 20
- 2023
- 23
- 24
- 25
- 28
- 31
- 35%
- 7
- 8
- 95%
- a
- здатність
- МЕНЮ
- Прийняти
- прийнятний
- доступ
- доступний
- через
- адаптація
- адаптує
- додавати
- додати
- Додатковий
- Додатково
- адреса
- прийняти
- просунутий
- Перевага
- Переваги
- реклама
- після
- Угода
- AI
- ШІ правильно
- AI / ML
- ВСІ
- дозволяти
- дозволяє
- вже
- Також
- Amazon
- Amazon SageMaker
- Студія Amazon SageMaker
- Amazon Simple Storage Service (S3)
- Amazon Web Services
- Веб-служби Amazon (AWS)
- суми
- an
- аналізувати
- та
- Інший
- будь-який
- API
- застосування
- підхід
- підходи
- затверджений
- приблизно
- ЕСТЬ
- області
- AS
- Юрист
- At
- автоматично
- Автоматизація
- доступний
- AWS
- назад
- фон
- бар'єри
- база
- BE
- оскільки
- ставати
- стає
- було
- поведінка
- Переваги
- КРАЩЕ
- передового досвіду
- між
- Великий
- Великий даних
- Мільярд
- мільярди
- Блокувати
- рада
- Настільні ігри
- обидва
- Межі
- будувати
- бізнес
- але
- by
- зворотні дзвінки
- званий
- CAN
- можливості
- захоплення
- обережний
- випадок
- випадків
- виклик
- проблеми
- Глава
- Чарти
- Chess
- клас
- ясно
- код
- Кодова база
- збір
- Колекції
- об'єднувати
- комбінований
- комбінати
- об'єднання
- Компанії
- порівняти
- порівняння
- конкурентоспроможний
- комплекс
- складність
- компонент
- Компоненти
- обчислення
- обчислювальна
- комп'ютер
- Комп'ютерне бачення
- Умови
- беручи до уваги
- зміст
- контент-створення
- безперестанку
- безперервний
- Core
- Коштувати
- може
- покритий
- Обкладинки
- створювати
- створений
- створення
- креативність
- В даний час
- виготовлений на замовлення
- клієнт
- підтримка клієнтів
- Клієнти
- настройка
- налаштувати
- передовий
- дані
- наука про дані
- набори даних
- глибокий
- глибоке навчання
- глибше
- дефолт
- Дель
- доставляти
- Дельта
- демонструвати
- Денвер
- розгортання
- розгорнути
- розгортання
- розгортання
- дизайн
- деталі
- Розробник
- розвивається
- розробка
- різний
- важкий
- безпосередньо
- дисплей
- поширювати
- розповсюдження
- занурення
- домен
- домени
- скачати
- недоліки
- управляти
- під час
- кожен
- легше
- легко
- край
- ефективний
- продуктивно
- ще
- з'являються
- дозволяє
- заохочувати
- кінець в кінець
- Кінцева точка
- Машинобудування
- підприємство
- суб'єкта
- Навколишнє середовище
- епоха
- Епоха
- і т.д.
- оцінювати
- оцінка
- приклад
- Приклади
- винятково
- виконання
- існуючий
- дорогий
- досвід
- експеримент
- Експерименти
- експертиза
- експоненціально
- Face
- Провал
- сім'я
- швидше
- особливість
- риси
- філе
- Файли
- знайти
- кінець
- Перший
- фіксованою
- Гнучкість
- фокусується
- фокусування
- після
- для
- знайдений
- фонд
- Безкоштовна
- друзі
- від
- Повний
- функція
- далі
- майбутнє
- Отримувати
- отримала
- Games
- шлюз
- породжує
- генеративний
- Генеративний ШІ
- Go
- буде
- добре
- GPU
- надається
- графік
- графіки
- Group
- Групи
- рука
- обробляти
- Мати
- має
- he
- допомога
- допомогу
- допомагає
- її
- ієрархія
- дуже
- його
- господар
- гаряча
- Як
- How To
- Однак
- HTML
- HTTPS
- HuggingFace
- ілюструє
- зображення
- здійснювати
- реалізація
- імпорт
- важливо
- важливо
- імпорт
- удосконалювати
- in
- включені
- includes
- У тому числі
- Augmenter
- Збільшує
- зростаючий
- незалежний
- самостійно
- промисловості
- промисловість
- неефективність
- надуває
- інформація
- інновація
- вхід
- екземпляр
- замість
- інструкції
- інтегрувати
- інтегрований
- інтерес
- інтернет
- в
- Вводить
- IT
- ЙОГО
- Джеймс
- Java
- робота
- Джобс
- приєднання
- JPG
- тримати
- зберігання
- ключ
- удар
- знання
- мова
- великий
- найбільших
- останній
- лідер
- Веде за собою
- вивчення
- дозволяє
- рівень
- бібліотека
- ліцензія
- лежить
- як
- Сподобалося
- LINK
- пов'язаний
- Перераховані
- LLM
- загрузка
- погрузка
- місцевий
- розташування
- журнал
- каротаж
- логіка
- подивитися
- виглядає як
- шукати
- від
- машина
- навчання за допомогою машини
- головний
- РОБОТИ
- Робить
- управляти
- вдалося
- управління
- управління
- багато
- Маркетинг
- Маркетинг та реклама
- масивний
- Може..
- пам'ять
- Злиття
- злиття
- метадані
- метод
- методика
- Метрика
- мігрувати
- ML
- MLOps
- режим
- модель
- Моделі
- Модулі
- більше
- множинний
- ім'я
- Природний
- Обробка природних мов
- необхідно
- Необхідність
- нужденних
- потреби
- Нові
- nlp
- ноутбук
- зараз
- номер
- of
- від
- Пропозиції
- часто
- on
- один раз
- ONE
- тільки
- оперативний
- операції
- оптимізація
- Оптимізувати
- оптимізований
- оптимізуючий
- or
- організація
- організації
- оригінал
- Інше
- наші
- Результати
- вихід
- над
- Подолати
- пригнічує
- власний
- пакет
- параметр
- параметри
- частина
- пристрасть
- Патенти
- шлях
- відсотків
- продуктивність
- Дозволи
- частин
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- плюс
- політика
- популярний
- популярність
- частина
- це можливо
- пошта
- влада
- потужний
- Практичний
- практики
- передумови
- подарунки
- консервування
- запобігати
- раніше
- первинний
- Головний
- попередній
- процес
- процеси
- обробка
- прогрес
- правильно
- властивості
- забезпечує
- Штовхати
- Python
- піторх
- питання
- швидко
- діапазон
- швидко
- реального часу
- причина
- Причини
- нещодавно
- зменшити
- Знижений
- знижує
- зниження
- послатися
- що відображають
- реєструвати
- зареєстрований
- реєстру
- пов'язаний
- Відносини
- доречний
- чудовий
- Звітність
- Сховище
- вимагати
- вимагається
- Вимога
- ресурси
- REST
- результат
- знову використовувати
- право
- Роль
- ролі
- прогін
- біг
- пробіжки
- час виконання
- мудрець
- зберегти
- зберігаються
- економія
- Економія
- шкала
- Масштабування
- наука
- Вчені
- Sdk
- Пошук
- другий
- розділ
- розділам
- пошук
- напівпровідник
- старший
- окремий
- розділення
- обслуговування
- Послуги
- виступаючої
- кілька
- Поділитись
- поділ
- вона
- Повинен
- показаний
- Шоу
- аналогічний
- простий
- з
- один
- Розмір
- сповільнювати
- невеликий
- менше
- уривок
- рішення
- Рішення
- деякі
- Source
- Простір
- напруга
- спеціаліст
- спеціалізований
- конкретний
- конкретно
- витрачати
- розкол
- зацікавлених сторін
- старт
- стан
- впроваджений
- Статус
- Крок
- заходи
- Як і раніше
- зберігання
- зберігати
- зберігати
- студія
- такі
- підтримка
- TAG
- взяття
- Завдання
- завдання
- техніка
- методи
- Технології
- Технологія
- телекомунікації
- terms
- перевірений
- текст
- Що
- Команда
- їх
- Їх
- потім
- Там.
- Ці
- вони
- це
- через
- час
- до
- разом
- інструмент
- факел
- трек
- традиційний
- поїзд
- Навчання
- переклад
- трансформатор
- Трансформатори
- Подорож
- правда
- намагатися
- мелодія
- налаштований
- настройка
- два
- тип
- Типи
- при
- розуміння
- Оновити
- оновлення
- завантажено
- URL
- використання
- використання випадку
- використовуваний
- користувач
- користувачі
- використання
- перевірка достовірності
- Цінний
- значення
- різноманітність
- різний
- величезний
- версія
- версії
- дуже
- через
- вид
- бачення
- візуальний
- ходити
- пішов
- хотіти
- було
- шлях..
- способи
- we
- Web
- веб-сервіси
- коли
- який
- в той час як
- чому
- широкий
- Широкий діапазон
- волі
- з
- в
- без
- жінки
- Work
- працював
- Робочі процеси
- працює
- років
- Ти
- вашу
- себе
- зефірнет