Источник: rawpixel.com
Разговорный ИИ — это применение LLM, которое вызвало много шума и внимания благодаря своей масштабируемости во многих отраслях и вариантах использования. Хотя диалоговые системы существуют уже несколько десятилетий, программы LLM привнесли качественный толчок, необходимый для их широкомасштабного внедрения. В этой статье мы будем использовать ментальную модель, показанную на рисунке 1, для анализа приложений диалогового ИИ (см. Создание продуктов искусственного интеллекта с использованием целостной ментальной модели для введения в ментальную модель). Рассмотрев рыночные возможности и бизнес-ценность диалоговых систем искусственного интеллекта, мы объясним дополнительные «механизмы» с точки зрения данных, тонкой настройки LLM и диалогового дизайна, которые необходимо настроить, чтобы сделать разговоры не только возможными, но и полезными. и приятно.
1. Возможности, ценность и ограничения
Традиционный UX-дизайн построен на множестве искусственных UX-элементов, свайпов, касаний и кликов, требующих обучения для каждого нового приложения. Используя диалоговый ИИ, мы можем избавиться от этой суеты, заменив ее элегантным опытом естественного разговора, в котором мы можем забыть о переходах между различными приложениями, окнами и устройствами. Мы используем язык, наш универсальный и знакомый протокол общения, для взаимодействия с различными виртуальными помощниками (ВА) и выполнения наших задач.
Диалоговые пользовательские интерфейсы — не совсем новая модная штука. Интерактивные системы голосового ответа (IVR) и чат-боты существуют с 1990-х годов, а за крупными достижениями в области НЛП последовали волны надежд и развития голосовых и чат-интерфейсов. Однако до появления LLM большинство систем были реализованы в символической парадигме, опираясь на правила, ключевые слова и диалоговые шаблоны. Они также были ограничены определенной, заранее определенной областью «компетенции», и пользователи, выходившие за ее пределы, вскоре оказывались в тупике. В общем, эти системы были заминированы потенциальными точками отказа, и после пары неудачных попыток многие пользователи так и не вернулись к ним. На следующем рисунке показан пример диалога. Пользователь, желающий заказать билеты на конкретный концерт, терпеливо проходит подробный поток вопросов только для того, чтобы в конце узнать, что билеты на концерт распроданы.
Будучи передовой технологией, LLM могут вывести диалоговые интерфейсы на новый уровень качества и удовлетворенности пользователей. Диалоговые системы теперь могут демонстрировать гораздо более широкие знания о мире, лингвистическую компетентность и разговорные способности. Используя предварительно обученные модели, их также можно разработать в гораздо более короткие сроки, поскольку утомительная работа по составлению правил, ключевых слов и потоков диалога теперь заменяется статистическими знаниями LLM. Давайте рассмотрим два известных приложения, в которых диалоговый ИИ может принести пользу в масштабе:
- Служба поддержки и, в более общем плане, приложения, используемые большим количеством пользователей, которые часто делают аналогичные запросы. В этом случае компания, предоставляющая поддержку клиентов, имеет явное информационное преимущество перед пользователем и может использовать это для создания более интуитивно понятного и приятного пользовательского опыта. Рассмотрим случай перебронирования рейса. Лично для меня, довольно часто летающего пассажира, такое случается 1–2 раза в год. В промежутках я склонен забывать детали процесса, не говоря уже о пользовательском интерфейсе конкретной авиакомпании. Напротив, служба поддержки клиентов авиакомпании ставит запросы на перебронирование в центре своей деятельности. Вместо того, чтобы отображать процесс перебронирования через сложный графический интерфейс, его логика может быть «скрыта» от клиентов, обращающихся в службу поддержки, и они могут использовать язык как естественный канал для перебронирования. Конечно, еще останется «длинный хвост» менее привычных запросов. Например, представьте себе спонтанную смену настроения, которая заставляет бизнес-клиента добавить свою любимую собаку в качестве сверхнормативного багажа к забронированному рейсу. Эти более индивидуальные запросы могут быть переданы агентам-людям или обработаны через внутреннюю систему управления знаниями, подключенную к виртуальному помощнику.
- Управление знаниями который основан на большом количестве данных. Для многих современных компаний внутренние знания, которые они накапливают за годы работы, итераций и обучения, являются ключевым активом и отличительным признаком — если они хранятся, управляются и доступны эффективно. Обладая огромным количеством данных, скрытых в инструментах совместной работы, внутренних вики, базах знаний и т. д., им часто не удается преобразовать их в практические знания. По мере того, как сотрудники уходят, на работу приходят новые сотрудники, и вы никогда не завершаете ту страницу документации, которую начали три месяца назад, ценные знания становятся жертвой энтропии. Становится все сложнее найти выход из внутреннего лабиринта данных и получить в руки крупицы информации, необходимые в конкретной бизнес-ситуации. Это приводит к огромным потерям эффективности для работников умственного труда. Чтобы решить эту проблему, мы можем дополнить LLM семантическим поиском по внутренним источникам данных. LLM позволяют использовать вопросы на естественном языке вместо сложных формальных запросов, чтобы задавать вопросы к этой базе данных. Таким образом, пользователи могут сосредоточиться на своих информационных потребностях, а не на структуре базы знаний или синтаксисе языка запросов, такого как SQL. Будучи текстовыми, эти системы работают с данными в богатом семантическом пространстве, создавая значимые связи «под капотом».
Помимо этих основных областей применения, существует множество других приложений, таких как телемедицина, помощники по психическому здоровью и образовательные чат-боты, которые могут оптимизировать UX и приносить пользу своим пользователям более быстрым и эффективным способом.
Если этот подробный образовательный контент будет вам полезен, вы можете подпишитесь на нашу рассылку исследований ИИ быть предупрежденным, когда мы выпустим новый материал.
2. Данные
LLM изначально не обучены вести беглые светские беседы или более содержательные разговоры. Скорее, они учатся генерировать следующий токен на каждом этапе вывода, что в конечном итоге приводит к связному тексту. Эта цель низкого уровня отличается от задачи человеческого разговора. Разговор невероятно интуитивен для людей, но он становится невероятно сложным и многогранным, когда вы хотите научить это делать машину. Например, давайте посмотрим на фундаментальное понятие намерений. Когда мы используем язык, мы делаем это для определенной цели, которая является нашим коммуникативным намерением — это может быть передача информации, общение или просьба кого-то что-то сделать. В то время как первые два довольно просты для LLM (при условии, что он увидел необходимую информацию в данных), последний уже является более сложным. LLM должен не только объединять и структурировать связанную информацию последовательным образом, но также должен задавать правильный эмоциональный тон с точки зрения мягких критериев, таких как формальность, креативность, юмор и т. д. Это задача для разговорного дизайна. (см. раздел 5), что тесно переплетено с задачей создания данных точной настройки.
Переход от генерации классического языка к распознаванию конкретных коммуникативных намерений и реагированию на них является важным шагом на пути к повышению удобства использования и принятия диалоговых систем. Что касается всех усилий по тонкой настройке, то они начинаются с составления соответствующего набора данных.
Данные для точной настройки должны быть максимально приближены к (будущему) реальному распределению данных. Во-первых, это должны быть разговорные (диалоговые) данные. Во-вторых, если ваш виртуальный помощник будет специализироваться в определенной области, вам следует попытаться собрать данные для точной настройки, отражающие необходимые знания предметной области. В-третьих, если в вашем приложении есть типичные потоки и запросы, которые будут часто повторяться, как в случае со службой поддержки, постарайтесь включить их разнообразные примеры в свои обучающие данные. В следующей таблице показан пример данных тонкой настройки диалога из Набор данных 3K разговоров для ChatBot, который находится в свободном доступе на Kaggle:
Создание диалоговых данных вручную может стать дорогостоящим мероприятием: краудсорсинг и использование LLM для генерации данных — это два способа масштабирования. После сбора данных диалогов их необходимо оценить и аннотировать. Это позволяет вам показывать вашей модели как положительные, так и отрицательные примеры и подталкивать ее к уловлению характеристик «правильных» разговоров. Оценка может происходить либо с использованием абсолютных баллов, либо с ранжированием различных вариантов между собой. Последний подход приводит к более точным данным для точной настройки, поскольку люди обычно лучше ранжируют несколько вариантов, чем оценивают их по отдельности.
Имея данные, вы готовы точно настроить свою модель и обогатить ее дополнительными возможностями. В следующем разделе мы рассмотрим тонкую настройку, интеграцию дополнительной информации из памяти и семантического поиска, а также подключение агентов к вашей диалоговой системе, чтобы дать ей возможность выполнять конкретные задачи.
3. Сборка разговорной системы
Типичная диалоговая система состоит из диалогового агента, который организует и координирует компоненты и возможности системы, такие как LLM, память и внешние источники данных. Разработка диалоговых систем искусственного интеллекта — это в высшей степени экспериментальная и эмпирическая задача, и ваши разработчики будут постоянно переключаться между оптимизацией ваших данных, улучшением стратегии точной настройки, экспериментированием с дополнительными компонентами и улучшениями и тестированием результатов. . Нетехнические члены команды, в том числе менеджеры по продуктам и UX-дизайнеры, также будут постоянно тестировать продукт. Основываясь на своей деятельности по выявлению клиентов, они могут предвидеть стиль и содержание разговоров будущих пользователей и должны активно делиться этими знаниями.
3.1 Обучение навыкам разговорной речи вашего LLM
Для тонкой настройки вам нужны ваши данные тонкой настройки (см. раздел 2) и предварительно обученный LLM. Магистр права уже много знает о языке и мире, и наша задача — научить их принципам разговорной речи. При тонкой настройке целевыми выходными данными являются тексты, и модель будет оптимизирована для создания текстов, максимально похожих на целевые. Для контролируемой тонкой настройки сначала необходимо четко определить диалоговую задачу ИИ, которую должна выполнять модель, собрать данные, а затем запустить и повторить процесс тонкой настройки.
На фоне ажиотажа вокруг LLM появилось множество методов тонкой настройки. Довольно традиционный пример тонкой настройки разговора можно найти в описании модели LaMDA.[1] LaMDA была настроена в два этапа. Во-первых, данные диалога используются для обучения модели разговорным навыкам («генеративная» тонкая настройка). Затем метки, созданные аннотаторами во время оценки данных, используются для обучения классификаторов, которые могут оценивать результаты модели по желаемым атрибутам, включая разумность, специфичность, интересность и безопасность («дискриминационная» точная настройка). Эти классификаторы затем используются для управления поведением модели в соответствии с этими атрибутами.
Кроме того, фактическая обоснованность — способность обосновывать свои результаты достоверной внешней информацией — является важным атрибутом LLM. Чтобы обеспечить фактическую обоснованность и свести к минимуму галлюцинации, LaMDA был доработан с помощью набора данных, который включает вызовы внешней системы поиска информации всякий раз, когда требуются внешние знания. Таким образом, модель научилась сначала извлекать фактическую информацию всякий раз, когда пользователь делал запрос, требующий новых знаний.
Еще одним популярным методом тонкой настройки является обучение с подкреплением на основе обратной связи с человеком (RLHF)[2]. RLHF «перенаправляет» процесс обучения LLM от простой, но искусственной задачи прогнозирования следующего токена на изучение человеческих предпочтений в данной коммуникативной ситуации. Эти человеческие предпочтения напрямую закодированы в обучающих данных. В процессе аннотирования людям предоставляются подсказки, и они либо пишут желаемый ответ, либо ранжируют серию существующих ответов. Затем поведение LLM оптимизируется с учетом предпочтений человека.
3.2 Добавление внешних данных и семантический поиск
Помимо сбора разговоров для точной настройки модели, вы, возможно, захотите расширить свою систему специализированными данными, которые можно будет использовать во время разговора. Например, вашей системе может потребоваться доступ к внешним данным, таким как патенты или научные статьи, или к внутренним данным, таким как профили клиентов или ваша техническая документация. Обычно это делается с помощью семантического поиска (также известного как генерация с расширенным поиском или RAG)[3]. Дополнительные данные сохраняются в базе данных в виде семантических вложений (см. этой статье для объяснения вложений и дополнительных ссылок). Когда поступает пользовательский запрос, он предварительно обрабатывается и преобразуется в семантическое внедрение. Затем семантический поиск определяет документы, которые наиболее релевантны запросу, и использует их в качестве контекста для подсказки. Интегрируя дополнительные данные с семантическим поиском, вы можете уменьшить галлюцинации и предоставить более полезные, обоснованные ответы. Постоянно обновляя базу данных внедрения, вы также можете поддерживать актуальность знаний и ответов вашей системы без постоянного повторного запуска процесса тонкой настройки.
3.3 Память и осведомленность о контексте
Представьте себе, что вы идете на вечеринку и встречаете Питера, адвоката. Вы воодушевлены и начинаете предлагать легального чат-бота, которого сейчас планируете создать. Питер выглядит заинтересованным, наклоняется к тебе, хм, и кивает. В какой-то момент вам нужно узнать его мнение о том, хочет ли он использовать ваше приложение. Вместо информативного заявления, которое компенсировало бы ваше красноречие, вы слышите: «Эм… что это приложение опять делало?»
Неписаный договор общения между людьми предполагает, что мы слушаем собеседников и строим собственные речевые действия на основе контекста, который мы совместно создаем в ходе взаимодействия. В социальных условиях появление этого совместного понимания характеризует плодотворный и обогащающий разговор. В более обыденных ситуациях, таких как резервирование столика в ресторане или покупка билета на поезд, это абсолютно необходимо для выполнения задачи и предоставления пользователю ожидаемой ценности. Для этого ваш помощник должен знать историю текущего разговора, а также прошлых разговоров — например, он не должен снова и снова спрашивать имя и другие личные данные пользователя, когда он начинает разговор.
Одной из проблем поддержания осведомленности о контексте является разрешение кореференции, то есть понимание того, какие объекты называются местоимениями. Люди интуитивно используют множество контекстуальных подсказок, когда интерпретируют речь. Например, вы можете попросить маленького ребенка: «Пожалуйста, достаньте зеленый мяч из красной коробки и принесите его мне», и ребенок поймет, что вы имеете в виду мяч. , а не коробка. Для виртуальных помощников эта задача может оказаться довольно сложной, о чем свидетельствует следующий диалог:
Ассистент: Спасибо, сейчас я забронирую ваш рейс. Хотите также заказать еду на рейс?
Пользователь: Хм… могу ли я позже решить, хочу ли я этого?
Ассистент: К сожалению, этот рейс нельзя изменить или отменить позже.
Здесь помощник не распознает, что местоимение it от пользователя относится не к полету, а к еде, поэтому требуется еще одна итерация, чтобы исправить это недоразумение.
3.4 Дополнительные ограждения
Время от времени даже лучший LLM будет плохо себя вести и галлюцинировать. Во многих случаях галлюцинации являются простой проблемой точности — и вам нужно признать, что ни один ИИ не является точным на 100%. По сравнению с другими системами ИИ «дистанция» между пользователем и ИИ довольно мала. Простая проблема с точностью может быстро превратиться в нечто, что будет восприниматься как токсичное, дискриминационное или вообще вредное. Кроме того, поскольку у LLM нет четкого понимания конфиденциальности, они также могут раскрывать конфиденциальные данные, такие как личная информация (PII). Вы можете бороться с таким поведением, используя дополнительные ограждения. Такие инструменты, как Guardrails AI, Rebuff, NeMo Guardrails и Microsoft Guidance, позволяют снизить риски для вашей системы, формулируя дополнительные требования к результатам LLM и блокируя нежелательные результаты.
В диалоговом ИИ возможны несколько архитектур. Следующая схема показывает простой пример того, как точно настроенный LLM, внешние данные и память могут быть интегрированы диалоговым агентом, который также отвечает за построение подсказок и ограждения.
4. Пользовательский опыт и диалоговый дизайн
Очарование диалоговых интерфейсов заключается в их простоте и единообразии для различных приложений. Если будущее пользовательских интерфейсов таково, что все приложения будут выглядеть более или менее одинаково, обречена ли работа UX-дизайнера? Определенно нет: общение — это искусство, которому нужно научить вашего LLM, чтобы он мог вести разговоры, которые были бы полезны, естественны и удобны для ваших пользователей. Хороший диалоговый дизайн возникает, когда мы объединяем наши знания человеческой психологии, лингвистики и UX-дизайна. Далее мы сначала рассмотрим два основных варианта построения диалоговой системы, а именно, будете ли вы использовать голос и/или чат, а также более широкий контекст вашей системы. Затем мы рассмотрим сами разговоры и посмотрим, как вы можете сформировать личность своего помощника, одновременно обучая его участвовать в полезных и совместных беседах.
4.1 Голос против чата
Диалоговые интерфейсы могут быть реализованы с использованием чата или голоса. Короче говоря, голосовая связь стала быстрее, а чат позволяет пользователям оставаться конфиденциальными и получать выгоду от расширенных функций пользовательского интерфейса. Давайте углубимся в эти два варианта, поскольку это одно из первых и самых важных решений, с которыми вам придется столкнуться при создании диалогового приложения.
Чтобы выбрать между двумя альтернативами, начните с рассмотрения физических условий, в которых будет использоваться ваше приложение. Например, почему почти все разговорные системы в автомобилях, например, предлагаемые Nuance Communications, основаны на голосе? Потому что руки водителя уже заняты и он не может постоянно переключаться между рулем и клавиатурой. Это также относится и к другим занятиям, таким как приготовление пищи, когда пользователи хотят оставаться в потоке своих действий, используя ваше приложение. Автомобили и кухни в основном представляют собой частные помещения, поэтому пользователи могут наслаждаться голосовым взаимодействием, не беспокоясь о конфиденциальности или беспокойстве других. Напротив, если ваше приложение будет использоваться в общественных местах, например в офисе, библиотеке или на вокзале, голос может быть не лучшим выбором.
Поняв физическую обстановку, рассмотрите эмоциональную сторону. Голос можно намеренно использовать для передачи тона, настроения и индивидуальности — добавляет ли это ценности в вашем контексте? Если вы создаете приложение для досуга, голос может повысить уровень удовольствия, а помощник по психическому здоровью может обеспечить больше сочувствия и предоставить потенциально проблемному пользователю более широкий диапазон выражения. Напротив, если ваше приложение будет помогать пользователям в профессиональной сфере, например в торговле или обслуживании клиентов, более анонимное текстовое взаимодействие может способствовать более объективным решениям и избавить вас от необходимости создавать чрезмерно эмоциональный опыт.
В качестве следующего шага подумайте о функциональности. Текстовый интерфейс позволяет обогащать разговоры другими медиа, такими как изображения и графические элементы пользовательского интерфейса, такие как кнопки. Например, в помощнике по электронной коммерции приложение, которое предлагает продукты, публикуя их изображения и структурированные описания, будет намного более удобным для пользователя, чем приложение, которое описывает продукты с помощью голоса и потенциально предоставляет их идентификаторы.
Наконец, давайте поговорим о дополнительных проблемах проектирования и разработки, связанных с созданием голосового пользовательского интерфейса:
- Существует дополнительный этап распознавания речи, который происходит перед тем, как вводимые пользователем данные можно будет обработать с помощью LLM и обработки естественного языка (NLP).
- Голос является более личным и эмоциональным средством общения. Таким образом, требования к созданию последовательного, подходящего и приятного образа вашего виртуального помощника выше, и вам необходимо будет принять во внимание дополнительные факторы «голосового дизайна», такие как тембр. , стресс, тон и скорость речи.
- Пользователи ожидают, что ваш голосовой разговор будет происходить с той же скоростью, что и человеческий разговор. Чтобы обеспечить естественное голосовое взаимодействие, вам нужна гораздо меньшая задержка, чем для чата. В человеческих разговорах типичный промежуток между поворотами составляет 200 миллисекунд. Такая быстрая реакция возможна, потому что мы начинаем строить свои обороты, слушая речь нашего партнера. Ваш голосовой помощник должен будет соответствовать этой степени беглости взаимодействия. Напротив, в случае с чат-ботами вы соревнуетесь за промежутки времени в секундах, а некоторые разработчики даже вводят дополнительную задержку, чтобы разговор выглядел как печатный чат между людьми.
- Общение посредством голоса — это линейное, одноразовое предприятие: если ваш пользователь не понял того, что вы сказали, вас ждет утомительный, подверженный ошибкам цикл разъяснений. Таким образом, ваши ходы должны быть максимально краткими, ясными и информативными.
Если вы выберете голосовое решение, убедитесь, что вы не только четко понимаете преимущества по сравнению с чатом, но также обладаете навыками и ресурсами для решения этих дополнительных проблем.
4.2 Где будет жить ваш разговорный ИИ?
Теперь давайте рассмотрим более широкий контекст, в котором вы можете интегрировать диалоговый ИИ. Все мы знакомы с чат-ботами на сайтах компаний — виджетами в правой части экрана, которые всплывают, когда мы открываем сайт компании. Лично моя интуитивная реакция чаще всего — поиск кнопки «Закрыть». Почему это? Благодаря первоначальным попыткам «пообщаться» с этими ботами я понял, что они не могут удовлетворить более конкретные требования к информации, и, в конце концов, мне все равно придется прочесать веб-сайт. Мораль истории? Не создавайте чат-бота, потому что это круто и модно — скорее, создавайте его, потому что вы уверены, что он может создать дополнительную ценность для ваших пользователей.
Помимо спорного виджета на веб-сайте компании, есть несколько интересных контекстов для интеграции более общих чат-ботов, которые стали возможны благодаря LLM:
- Вторые пилоты: эти помощники направляют и консультируют вас по конкретным процессам и задачам, например GitHub CoPilot для программирования. Обычно вторые пилоты «привязаны» к конкретному приложению (или небольшому набору связанных приложений).
- Синтетические люди (также цифровые люди): эти существа «подражают» реальным людям в цифровом мире. Они выглядят, действуют и разговаривают как люди и поэтому также нуждаются в богатых разговорных способностях. Синтетические люди часто используются в иммерсивных приложениях, таких как игры, а также в дополненной и виртуальной реальности.
- Цифровые близнецы: Цифровые двойники — это цифровые «копии» реальных процессов и объектов, таких как заводы, автомобили или двигатели. Они используются для моделирования, анализа и оптимизации конструкции и поведения реального объекта. Взаимодействие на естественном языке с цифровыми двойниками обеспечивает более плавный и универсальный доступ к данным и моделям.
- Databases: Сегодня доступны данные по любой теме, будь то инвестиционные рекомендации, фрагменты кода или обучающие материалы. Часто бывает сложно найти именно те данные, которые нужны пользователям в конкретной ситуации. Графические интерфейсы к базам данных либо слишком грубые, либо покрыты бесконечными виджетами поиска и фильтрации. Универсальные языки запросов, такие как SQL и GraphQL, доступны только пользователям с соответствующими навыками. Диалоговые решения позволяют пользователям запрашивать данные на естественном языке, в то время как LLM, обрабатывающий запросы, автоматически преобразует их в соответствующий язык запросов (см. этой статье для объяснения Text2SQL).
4.3 Запечатление личности вашего помощника
Как люди, мы запрограммированы на антропоморфизацию, то есть на придание дополнительных человеческих черт, когда видим что-то, отдаленно напоминающее человека. Язык — одна из самых уникальных и увлекательных способностей человечества, и продукты разговорной речи автоматически будут ассоциироваться с людьми. Люди будут представлять человека за своим экраном или устройством — и хорошей практикой является не оставлять этого конкретного человека на волю воображения ваших пользователей, а придавать ему последовательную индивидуальность, соответствующую вашему продукту и бренду. Этот процесс называется «дизайн личности».
Первым шагом в дизайне личности является понимание тех черт характера, которые вы хотели бы отразить в своей персоне. В идеале это уже делается на уровне обучающих данных — например, при использовании RLHF вы можете попросить своих аннотаторов ранжировать данные по таким характеристикам, как готовность помочь, вежливость, веселье и т. д., чтобы сместить модель в сторону желаемые характеристики. Эти характеристики можно сопоставить с атрибутами вашего бренда, чтобы создать последовательный имидж, который будет постоянно продвигать ваш бренд через восприятие продукта.
Помимо общих характеристик, вам также следует подумать о том, как ваш виртуальный помощник будет справляться с конкретными ситуациями за пределами «счастливого пути». Например, как он будет реагировать на запросы пользователей, выходящие за рамки его компетенции, отвечать на вопросы о себе и бороться с оскорбительными или ненормативными выражениями?
Важно разработать четкие внутренние правила для вашей личности, которые смогут использовать аннотаторы данных и дизайнеры бесед. Это позволит вам целенаправленно спроектировать свой образ и поддерживать его единообразие в вашей команде на протяжении долгого времени, поскольку ваше приложение подвергается многочисленным итерациям и усовершенствованиям.
4.4. Сделать беседы полезными с помощью «принципа сотрудничества»
Было ли у вас когда-нибудь впечатление, что вы разговариваете с кирпичной стеной, хотя на самом деле вы разговаривали с человеком? Иногда мы обнаруживаем, что наши собеседники просто не заинтересованы в том, чтобы разговор увенчался успехом. К счастью, в большинстве случаев все происходит более гладко, и люди интуитивно следуют «принципу сотрудничества», который был введен философом языка Полом Грайсом. Согласно этому принципу, люди, успешно общающиеся друг с другом, следуют четырем принципам: количество, качество, актуальность и манера общения.
Максимум количества
Принцип количества требует от говорящего быть информативным и вносить свой вклад настолько информативным, насколько это необходимо. Со стороны виртуального помощника это также означает активное продвижение разговора вперед. Например, рассмотрим этот фрагмент из приложения для электронной коммерции:
Ассистент: Какие предметы одежды вы ищете?
Пользователь: Я ищу платье оранжевого цвета.
Ассистент: Не надо: К сожалению, на данный момент у нас нет оранжевых платьев.
Делать: Извините, у нас нет оранжевого платья, но у нас есть это великолепное и очень удобное платье желтого цвета: …
Пользователь надеется оставить ваше приложение с подходящим элементом. Прекращение разговора из-за того, что у вас нет предметов, соответствующих точному описанию, исключает вероятность успеха. Однако, если ваше приложение предложит альтернативные элементы, оно будет выглядеть более полезным и оставит возможность успешного взаимодействия открытой.
Особенно при голосовом взаимодействии важно найти правильный баланс между предоставлением всей информации, которая может понадобиться пользователю для успеха, и при этом не перегружать его ненужной информацией, которая может омрачить взаимодействие.
Максим качества
Принцип качества требует, чтобы говорящие были правдивы и не говорили того, что, по их мнению, является ложью или для чего у них нет достаточных доказательств. Здесь много субъективизма и личных убеждений, поэтому этот принцип нельзя напрямую спроецировать на LLM. Как мы видели, студенты-магистры имеют склонность к галлюцинациям, и этот риск особенно высок, когда разговор переходит на менее знакомые территории. Можно использовать дополнительные ограждения, чтобы избежать вводящих в заблуждение заявлений и вернуть разговор в нужное русло.
Максим актуальности
Принцип релевантности требует от нас быть… ну, релевантными. Предварительным условием является то, что виртуальный помощник должен понимать истинные намерения пользователя. Вот пример помощника авиакомпании, который нарушает это правило:
Пользователь: Завтра утром мне нужен рейс из Берлина в Цюрих.
Ассистент: Хорошо, я нашел следующие рейсы из Берлина в Цюрих на завтрашнее утро. Рейс BZ36294 вылетает из Берлина в 6.30:8 утра и прибывает в Цюрих в 96294 утра. Рейс BZ8 вылетает из Берлина в 9.30 утра и прибывает в 96294:8 утра. Рейс BZ9.30 вылетает из Берлина в 95614 утра и прибывает в Цюрих в 11:12.30 утра. Рейс BZ11.45 вылетает из Берлина в 3:XNUMX и прибывает в Цюрих в XNUMX:XNUMX. Существует также возможность пересадки: в этом случае вы вылетите из Берлина в XNUMX:XNUMX и прибудете в Цюрих в XNUMX:XNUMX.
Пользователь: Извините… не могли бы вы повторить это еще раз?
Помощник перегружает пользователя подробной информацией, которая может быть неактуальной. Если разбить это на части и предложить пользователю ограничить пространство поиска, диалог станет намного легче усваиваться:
Пользователь: Завтра утром мне нужен рейс из Берлина в Цюрих.
Ассистент: Хорошо, я нашел рейсы, вылетающие в 6.30:8, 11 и XNUMX утра. В какое время вы хотели бы уйти?
Пользователь: Мне нужно быть в Цюрихе до 9 утра.
Ассистент: Хорошо, вы можете лететь рейсом BZ36294. Он отправляется в 6.30 и прибывает в 8 утра. Мне купить тебе билет?
Пользователь: Да, спасибо.
Максим манеры
Наконец, максима манеры гласит, что наши речевые действия должны быть ясными, краткими и упорядоченными, избегая двусмысленности и неясности выражения. Ваш виртуальный помощник должен избегать технического или внутреннего жаргона и отдавать предпочтение простым, универсально понятным формулировкам.
Хотя принципы Грайса действительны для всех разговоров независимо от конкретной области, студенты LLM, не обученные специально для разговоров, часто не могут их реализовать. Таким образом, при составлении обучающих данных важно иметь достаточное количество образцов диалогов, которые позволят вашей модели изучить эти принципы.
Сфера разговорного дизайна развивается довольно быстро. Независимо от того, создаете ли вы продукты ИИ или думаете о своей карьере в сфере ИИ, я советую вам углубиться в эту тему (ср. отличные введения в [5] и [6]). Поскольку ИИ становится товаром, хороший дизайн вместе с обоснованной стратегией обработки данных станут двумя важными отличительными чертами продуктов ИИ.
Обзор
Подведем итоги основных выводов статьи. Кроме того, на рис. 5 представлена «шпаргалка» с основными моментами, которую вы можете скачать в качестве справочника.
- LLM расширяют возможности диалогового ИИ. Модели больших языков (LLM) значительно улучшили качество и масштабируемость приложений диалогового ИИ в различных отраслях и вариантах использования.
- Диалоговый ИИ может повысить ценность приложений с множеством одинаковых пользовательских запросов (например, обслуживание клиентов) или которым требуется доступ к большому количеству неструктурированных данных (например, управление знаниями).
- Данные. Для точной настройки LLM для диалоговых задач требуются высококачественные разговорные данные, которые точно отражают взаимодействие в реальном мире. Данные, генерируемые краудсорсингом и LLM, могут быть ценными ресурсами для масштабирования сбора данных.
- Собираем систему. Разработка диалоговых систем искусственного интеллекта — это итеративный и экспериментальный процесс, включающий постоянную оптимизацию данных, точную настройку стратегий и интеграцию компонентов.
- Обучение навыкам разговорной речи студентов LLM. Точная настройка LLM включает в себя обучение их распознавать и реагировать на конкретные коммуникативные намерения и ситуации.
- Добавление внешних данных с помощью семантического поиска. Интеграция внешних и внутренних источников данных с помощью семантического поиска улучшает реакцию ИИ, предоставляя более контекстуально релевантную информацию.
- Память и осведомленность о контексте. Эффективные диалоговые системы должны поддерживать осведомленность о контексте, включая отслеживание истории текущего разговора и прошлых взаимодействий, чтобы обеспечить содержательные и связные ответы.
- Установка ограждений. Чтобы обеспечить ответственное поведение, диалоговые системы искусственного интеллекта должны использовать ограждения, предотвращающие неточности, галлюцинации и нарушение конфиденциальности.
- Дизайн персоны. Создание единообразного образа вашего диалогового помощника имеет важное значение для создания целостного и фирменного пользовательского опыта. Характеристики личности должны соответствовать атрибутам вашего продукта и бренда.
- Голос против чата. Выбор между голосовым интерфейсом и чатом зависит от таких факторов, как физическое окружение, эмоциональный контекст, функциональность и проблемы дизайна. Учитывайте эти факторы при выборе интерфейса для вашего диалогового ИИ.
- Интеграция в различных контекстах. Диалоговый ИИ может быть интегрирован в различные контексты, включая вторых пилотов, синтетических людей, цифровых двойников и базы данных, каждый из которых имеет свои конкретные варианты использования и требования.
- Соблюдение принципа сотрудничества. Соблюдение принципов количества, качества, актуальности и манеры общения может сделать взаимодействие с диалоговым ИИ более полезным и удобным для пользователя.
Рекомендации
[1] Хенг-Цзе Чен и др. 2022. LaMDA: на пути к безопасным, обоснованным и высококачественным моделям диалогов для всего.
[2] ОпенАИ. 2022. ЧатGPT: Оптимизация языковых моделей для диалога. Проверено 13 января 2022 г.
[3] Патрик Льюис и др. 2020. Генерация с расширенным поиском для наукоемких задач НЛП.
[4] Пол Грайс. 1989. Исследования в области слов.
[5] Кэти Перл. 2016. Проектирование голосовых пользовательских интерфейсов.
[6] Майкл Коэн и др. 2004. Дизайн голосового пользовательского интерфейса.
Примечание: Все изображения принадлежат автору, если не указано иное.
Эта статья изначально была опубликована в На пути к науке о данных и повторно опубликовано в TOPBOTS с разрешения автора.
Наслаждайтесь этой статьей? Подпишитесь на дополнительные исследования ИИ исследований.
Мы сообщим вам, когда мы выпустим больше кратких статей, подобных этой.
Похожие страницы:
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 10
- 11
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 7
- 70
- 8
- 9
- a
- способности
- способность
- О нас
- Absolute
- Принять
- принятие
- доступ
- Доступ
- доступной
- вмещать
- выполнять
- По
- Учетная запись
- скапливаться
- точность
- точный
- через
- Действие (Act):
- активно
- активно
- деятельность
- акты
- на самом деле
- Добавить
- добавить
- дополнительный
- Дополнительная информация
- Дополнительно
- адрес
- Принятие
- авансы
- плюс
- Преимущества
- консультировать
- После
- снова
- против
- Агент
- агенты
- тому назад
- AI
- ай исследование
- Системы искусственного интеллекта
- авиакомпания
- AL
- выравнивать
- выровненный
- Все
- позволять
- позволяет
- почти
- вдоль
- уже
- причислены
- альтернатива
- альтернативы
- am
- Двусмысленность
- среди
- an
- анализировать
- и
- Anonymous
- Другой
- предвидеть
- любой
- приложение
- появиться
- Применение
- Приложения
- применяется
- подхода
- соответствующий
- Программы
- МЫ
- области
- около
- Прибыл
- Искусство
- гайд
- статьи
- искусственный
- AS
- спросить
- спрашивающий
- оценить
- оценивается
- оценки;
- активы
- помощь
- помощник
- помощники
- связанный
- At
- попытки
- внимание
- Атрибуты
- увеличивать
- дополненная
- автор
- автоматически
- доступен
- избежать
- избегающий
- осведомленность
- прочь
- назад
- на рельсы
- Баланс
- мяч
- Использование темпера с изогнутым основанием
- основанный
- основной
- BE
- , так как:
- становиться
- становится
- было
- до
- поведение
- поведения
- за
- не являетесь
- вера
- верить
- возлюбленная
- польза
- Берлин
- ЛУЧШЕЕ
- лучшие практики
- Лучшая
- между
- Beyond
- смещение
- Немного
- блокирование
- книга
- изоферменты печени
- боты
- Коробка
- марка
- заклеймили
- брендинг
- нарушения
- Разрыв
- приносить
- шире
- принес
- строить
- Строительство
- построенный
- бизнес
- занятый
- но
- кнопка
- купить
- покупка
- by
- под названием
- Объявления
- пришел
- CAN
- не могу
- возможности
- Карьера
- легковые автомобили
- случаев
- случаев
- Cathy
- Центр
- вызов
- проблемы
- сложные
- шанс
- менялась
- Канал
- персонаж
- характеристика
- характеризоваться
- Chatbot
- chatbots
- ChatGPT
- чен
- ребенок
- выбор
- выбор
- Выбирая
- Очистить
- явно
- Закрыть
- тесно
- Одежда
- облако
- код
- Cohen
- ПОСЛЕДОВАТЕЛЬНЫЙ
- сплоченной
- сотрудничество
- лыжных шлемов
- объединять
- как
- выходит
- удобный
- товар
- общаться
- Связь
- Связь
- Компании
- Компания
- сравненный
- конкурировать
- комплекс
- компонент
- компоненты
- концерт
- краткий
- Проводить
- подключенный
- Соединительный
- Коммутация
- Рассматривать
- принимая во внимание
- последовательный
- постоянная
- постоянно
- строительство
- строительство
- обращайтесь
- содержание
- контекст
- контексты
- контекстной
- непрерывно
- контракт
- контраст
- способствовать
- содействие
- вклад
- спорный
- Разговор
- диалоговый
- разговорный ИИ
- Беседы
- Холодные
- кооперация
- кооперативный
- Основные
- соответствующий
- может
- Пара
- "Курс"
- покрытый
- Создайте
- Создающий
- креативность
- существ
- заслуживающий доверия
- Критерии
- Краудсорсинга
- Текущий
- В настоящее время
- кривая
- клиент
- Служба поддержки игроков
- служба поддержки
- Клиенты
- данным
- стратегия данных
- База данных
- базы данных
- мертвый
- сделка
- десятилетия
- решать
- Решение
- решения
- более глубокий
- определять
- определенно
- Степень
- задерживать
- зависит
- описание
- Проект
- дизайнер
- дизайнеры
- проектирование
- желанный
- подробный
- подробнее
- развивать
- развитый
- застройщиков
- развивающийся
- Развитие
- устройство
- Устройства
- Диалог
- Диалог
- различный
- дифференциатор
- трудный
- КОПАТЬ
- Digest
- Интернет
- Цифровые близнецы
- цифровой мир
- непосредственно
- открытие
- Дисплей
- распределение
- погружение
- do
- документации
- Документация
- приносит
- Собака
- дело
- домен
- сделанный
- Dont
- Обреченный
- скачать
- водитель
- два
- в течение
- e
- электронная коммерция
- Е & Т
- каждый
- легче
- образовательных
- Эффективный
- затрат
- эффективный
- или
- элементы
- вложения
- появившийся
- появление
- возникает
- сопереживание
- сотрудников
- расширение прав и возможностей
- позволяет
- поощрять
- конец
- усилия
- Бесконечный
- заниматься
- Двигатели
- повышать
- улучшения
- Усиливает
- приятный
- достаточно
- обогащать
- обогащенный
- обогащение
- обеспечивать
- Предприятие
- особенно
- существенный
- и т.д
- оценки
- Даже
- со временем
- НИКОГДА
- , поскольку большинство сенаторов
- точно,
- пример
- Примеры
- отлично
- Кроме
- избыток
- возбужденный
- захватывающий
- выполнять
- существующий
- ожидать
- ожидаемый
- дорогим
- опыт
- экспериментальный
- Объяснять
- объяснение
- выражение
- и, что лучший способ
- Face
- фактор
- заводы
- факторы
- FAIL
- не удается
- Ошибка
- Водопад
- ложный
- знакомый
- увлекательный
- Фэшн
- быстрее
- Обратная связь
- чувствовать
- фигура
- фильтр
- завершать
- Найдите
- First
- соответствовать
- фиксированный
- полет
- Авиабилеты
- поток
- текущий
- Потоки
- Фокус
- следовать
- следует
- после
- Что касается
- форма
- формальный
- формулирование
- К счастью
- вперед
- найденный
- 4
- частое
- часто
- от
- передний
- разочаровывающий
- Выполнять
- fun
- функциональность
- фундаментальный
- далее
- будущее
- игровой
- разрыв
- собирать
- Общие
- в общем
- порождать
- поколение
- получить
- GitHub
- данный
- Go
- идет
- будет
- хорошо
- большой
- Зелёная
- земля
- руководство
- инструкция
- методические рекомендации
- было
- Руки
- происходить
- происходит
- Жесткий
- вредный
- Есть
- he
- Медицина
- слышать
- помощь
- полезный
- ее
- здесь
- Скрытый
- High
- высококачественный
- высший
- очень
- его
- история
- Удар
- целостный
- надежды
- надеется,
- ГОРЯЧИЙ
- Как
- Однако
- HTML
- HTTP
- HTTPS
- огромный
- человек
- Людей
- юмор
- Обман
- i
- Идеально
- идентификаторы
- идентифицирует
- if
- иллюстрирует
- изображение
- изображений
- воображение
- картина
- погружение
- в XNUMX году
- важную
- улучшенный
- улучшение
- in
- углубленный
- включают
- В том числе
- включать
- Увеличение
- невероятно
- самостоятельно
- individual
- промышленности
- причинить
- информация
- информативный
- свойственный
- начальный
- инициировать
- затраты
- вместо
- интегрировать
- интегрированный
- Интегрируя
- интеграции.
- намерение
- намеренно
- взаимодействовать
- взаимодействие
- взаимодействие
- интерактивный
- Интерактивные системы голосового управления
- заинтересованный
- Интерфейс
- интерфейсы
- в нашей внутренней среде,
- переплетенный
- в
- вводить
- выпустили
- Введение
- введения
- интуитивный
- инвестиций
- инвестиционные рекомендации
- вовлеченный
- с участием
- изоляция
- вопрос
- вопросы
- IT
- пункты
- итерация
- итерации
- ЕГО
- саму трезвость
- IVR
- январь
- жаргон
- работа
- совместная
- JPG
- всего
- Сохранить
- Основные
- ключевые слова
- Вид
- Знать
- знания
- Управление знаниями
- известный
- Этикетки
- Отсутствие
- язык
- Языки
- большой
- крупномасштабный
- больше
- Задержка
- новее
- адвокат
- ведущий
- Лиды
- УЧИТЬСЯ
- узнали
- изучение
- Оставлять
- уход
- Наследие
- Юр. Информация
- давать в долг
- Меньше
- позволять
- уровень
- уровни
- Кредитное плечо
- заемные средства
- Используя
- Льюис
- Библиотека
- лежит
- такое как
- ОГРАНИЧЕНИЯ
- Ограниченный
- Listening
- жить
- LLM
- логика
- Длинное
- посмотреть
- искать
- ВЗГЛЯДЫ
- потери
- серия
- много
- машина
- сделанный
- рассылки
- Главная
- поддерживать
- Сохранение
- основной
- сделать
- ДЕЛАЕТ
- Создание
- управляемого
- управление
- Менеджеры
- способ
- многих
- рынок
- возможности рынка
- Совпадение
- соответствует
- материала
- материалы
- макс-ширина
- Сентенция
- me
- значить
- значимым
- означает
- Медиа
- средний
- заседания
- Участники
- Память
- психический
- Психическое здоровье
- методы
- Майкл
- Microsoft
- может быть
- миллисекунды
- заминированный
- дезориентировать
- недоразумение
- модель
- Модели
- Модерн
- момент
- месяцев
- моральный
- БОЛЕЕ
- более эффективным
- утро
- самых
- в основном
- перемещение
- много
- с разными
- множество
- должен
- my
- себя
- имя
- а именно
- натуральный
- Обработка естественного языка
- необходимо
- необходимость
- Необходимость
- необходимый
- потребности
- отрицательный
- никогда
- Новые
- новое приложение
- следующий
- НЛП
- нет
- нетехнических
- Ничто
- нормально
- отметил,
- понятие
- сейчас
- Нюанс
- номер
- многочисленный
- ореховая скорлупа
- объект
- цель
- объекты
- of
- от
- предлагают
- предложенный
- Предложения
- Офис
- .
- on
- консолидировать
- ONE
- только
- на
- открытый
- OpenAI
- операционный
- Операционный отдел
- Обзор
- Возможности
- Возможность
- оптимизация
- Оптимизировать
- оптимизированный
- оптимизирующий
- Опция
- Опции
- or
- Апельсин
- заказ
- первоначально
- Другое
- Другое
- в противном случае
- наши
- внешний
- выходы
- внешнюю
- за
- подавляющий
- собственный
- страница
- бумага
- парадигма
- партнеры
- вечеринка
- Прошло
- мимо
- Патенты
- путь
- терпеливо
- Патрик
- паттеранами
- Пол
- Люди
- для
- восприятии
- Выполнять
- разрешение
- человек
- личного
- Личность
- Лично
- Питер
- физический
- выбирать
- Картинки
- качка
- Часть
- одноцветный
- планирование
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- Точка
- пунктов
- состояния потока
- поп
- Популярное
- должность
- положительный
- возможность
- возможное
- потенциал
- потенциально
- практика
- практиками
- прогноз
- предпочтения
- представлены
- предотвращать
- принцип
- Принципы
- политикой конфиденциальности.
- частная
- продолжить
- процесс
- Обработанный
- Процессы
- обработка
- Произведенный
- Продукт
- Продукция
- профессиональный
- Профили
- Программирование
- прогнозируемых
- видный
- способствует
- протокол
- обеспечивать
- приводит
- обеспечение
- Психология
- что такое варган?
- опубликованный
- цель
- Push
- выталкивает
- количество
- Запросы
- Вопросы
- быстро
- ранг
- Ранжирование
- скорее
- реакция
- готовый
- реальные
- реальный мир
- Реальность
- признание
- признавать
- признавая
- рекомендаций
- повторяющихся
- Red
- переосмысление
- уменьшить
- относиться
- ссылка
- Рекомендации
- назвало
- понимается
- отражать
- отражает
- Связанный
- освободить
- актуальность
- соответствующие
- опираясь
- оставаться
- повторять
- заменить
- Ответить
- запросить
- Запросы
- обязательный
- Требования
- требуется
- исследованиям
- походит
- Постановления
- Полезные ресурсы
- Реагируйте
- ответ
- ответ
- ответы
- ответственный
- ресторан
- в результате
- Итоги
- показывать
- Богатые
- правую
- Снижение
- Правило
- условиями,
- Run
- безопасный
- Сохранность
- Сказал
- то же
- удовлетворение
- сохраняются
- сообщили
- Масштабируемость
- Шкала
- масштабирование
- научный
- сфера
- экран
- Поиск
- Во-вторых
- секунды
- Раздел
- посмотреть
- видел
- чувствительный
- Серии
- обслуживание
- набор
- установка
- настройки
- несколько
- должен
- показывать
- показанный
- Шоу
- сторона
- подпись
- существенно
- аналогичный
- просто
- простота
- с
- Сидящий
- ситуация
- обстоятельства
- навыки
- небольшой
- гладкой
- отрывок
- So
- Соцсети
- общаться
- мягкая
- проданный
- Решение
- Решения
- некоторые
- Кто-то
- удалось
- иногда
- скоро
- Источники
- Space
- пролеты
- говорить
- Динамик
- динамики
- Говоря
- специализированный
- конкретный
- конкретно
- специфичность
- речь
- Распознавание речи
- скорость
- Начало
- и политические лидеры
- начинается
- заявление
- отчетность
- Области
- станция
- статистический
- оставаться
- управлять
- рулевое управление
- Шаг
- Шаги
- По-прежнему
- остановка
- хранить
- История
- простой
- стратегий
- Стратегия
- упорядочить
- стресс
- Структура
- структурированный
- исследования
- стиль
- существенный
- успех
- успешный
- Успешно
- такие
- Предлагает
- подходящее
- suite
- суммировать
- РЕЗЮМЕ
- поддержка
- Убедитесь
- Качели
- Коммутатор
- символический
- синтаксис
- синтетический
- система
- системы
- ТАБЛИЦЫ
- взять
- Takeaways
- Говорить
- говорить
- Отводы
- цель
- направлена против
- Сложность задачи
- задачи
- учил
- Обучение
- команда
- Члены команды
- Технический
- техника
- Технологии
- телемедицина
- terms
- территорий
- Тестирование
- текст
- чем
- Спасибо
- который
- Ассоциация
- Будущее
- информация
- мир
- их
- Их
- сами
- тогда
- Там.
- Эти
- они
- вещи
- think
- мышление
- В третьих
- этой
- те
- три
- Через
- Таким образом
- билет
- билеты
- время
- раз
- в
- вместе
- знак
- завтра
- TONE
- слишком
- инструменты
- ТОП-БОТЫ
- тема
- к
- к
- трек
- Отслеживание
- Торговля
- традиционный
- Train
- специалистов
- Обучение
- Transform
- преобразован
- переход
- переходы
- передавать
- срабатывает
- правда
- стараться
- ОЧЕРЕДЬ
- Поворот
- Получается
- Близнецы
- два
- типичный
- ui
- подвергается
- понимать
- понятный
- понимание
- созданного
- Universal
- универсально
- ненужный
- новейший
- Updates
- обновление
- us
- юзабилити
- использование
- используемый
- Информация о пользователе
- Пользовательский опыт
- Пользовательский интерфейс
- дизайн пользовательского интерфейса
- удобно
- пользователей
- использования
- через
- ux
- Дизайн UX
- ux дизайнер
- UX-дизайнеры
- действительный
- ценный
- ценностное
- разнообразие
- различный
- разносторонний
- Против
- очень
- с помощью
- Жертва
- Виртуальный
- виртуальный помощник
- Виртуальная реальность
- Режимы
- vs
- вульгарный
- W3
- стена
- хотеть
- хочет
- законопроект
- волны
- Путь..
- способы
- we
- Богатство
- Вебсайт
- веб-сайты
- ЧТО Ж
- были
- Что
- Что такое
- Колесо
- когда
- когда бы ни
- будь то
- который
- в то время как
- КТО
- зачем
- будете
- окна
- без
- слова
- Работа
- рабочие
- Мир
- беспокоиться
- бы
- записывать
- год
- лет
- Ты
- молодой
- ВАШЕ
- зефирнет
- Цюрих