Примечание. Эта статья является первой в серии «Анализ приложений ИИ», в которой представлена ментальная модель систем ИИ. Модель служит инструментом для обсуждения, планирования и определения продуктов ИИ междисциплинарными командами по ИИ и продуктам, а также для согласования с бизнес-отделом. Целью проекта является объединение точек зрения менеджеров по продуктам, UX-дизайнеров, специалистов по данным, инженеров и других членов команды. В этой статье я представляю ментальную модель, а в будущих статьях будет показано, как применить ее к конкретным продуктам и функциям ИИ.
Часто компании полагают, что все, что им нужно для включения ИИ в свое предложение, — это нанять экспертов по ИИ и позволить им творить техническую магию. Такой подход приводит их прямо к ошибке интеграции: даже если эти эксперты и инженеры создают исключительные модели и алгоритмы, их результаты часто застревают на уровне игровых площадок, песочниц и демонстраций и никогда не становятся полноценными частями продукта. На протяжении многих лет я видел большое разочарование со стороны специалистов по обработке данных и инженеров, чьи технически выдающиеся реализации ИИ не нашли своего применения в продуктах, ориентированных на пользователей. Скорее, они имели почетный статус передовых экспериментов, которые создавали у внутренних заинтересованных сторон впечатление, что они оседлали волну искусственного интеллекта. Теперь, с повсеместным распространением ИИ после публикации ChatGPT в 2022 году, компании больше не могут позволить себе использовать ИИ в качестве функции «маяка», чтобы продемонстрировать свою технологическую хватку.
Почему так сложно интегрировать ИИ? Есть несколько причин:
- Часто команды сосредотачиваются на одном аспекте системы ИИ. Это даже привело к появлению отдельных лагерей, таких как ИИ, ориентированный на данные, модели и человека. Хотя каждый из них предлагает захватывающие перспективы для исследований, реальный продукт должен объединить данные, модель и взаимодействие человека и машины в целостную систему.
- Разработка ИИ — это коллективное предприятие. При традиционной разработке программного обеспечения вы работаете с относительно четкой дихотомией, состоящей из серверных и внешних компонентов. В ИИ вам нужно будет не только добавить в свою команду больше разнообразных ролей и навыков, но и обеспечить более тесное сотрудничество между различными сторонами. Различные компоненты вашей системы искусственного интеллекта будут тесно взаимодействовать друг с другом. Например, если вы работаете над виртуальным помощником, вашим UX-дизайнерам придется разбираться в быстром проектировании, чтобы создать естественный поток пользователей. Ваши аннотаторы данных должны знать ваш бренд и «черты характера» вашего виртуального помощника, чтобы создавать обучающие данные, которые согласуются и соответствуют вашему позиционированию, а ваш менеджер по продукту должен понять и тщательно изучить архитектуру конвейера данных, чтобы гарантировать он отвечает требованиям управления ваших пользователей.
- Создавая ИИ, компании часто недооценивают важность дизайна. Хотя искусственный интеллект начинается с серверной части, хороший дизайн необходим для того, чтобы он зарекомендовал себя в производстве. AI-дизайн раздвигает границы традиционного UX. Многие из предлагаемых вами функций сами по себе не видны в интерфейсе, а «спрятаны» в модели, и вам необходимо обучать и направлять своих пользователей, чтобы максимизировать эти преимущества. Кроме того, современные фундаментальные модели — это дикие вещи, которые могут давать токсичные, неправильные и вредные результаты, поэтому вам следует установить дополнительные ограждения, чтобы снизить эти риски. Все это может потребовать от вашей команды новых навыков, таких как быстрое проектирование и интерактивное проектирование. Иногда это также означает делать нелогичные вещи, такие как занижение ценности для управления ожиданиями пользователей и добавление препятствий, чтобы дать им больше контроля и прозрачности.
- Шумиха вокруг ИИ создает давление. Многие компании ставят телегу впереди лошади, прибегая к реализациям, которые не проверены потребностями клиентов и рынка. Время от времени использование модного словечка об искусственном интеллекте может помочь вам продвигать и позиционировать себя как прогрессивную и инновационную компанию, но в долгосрочной перспективе вам нужно будет подкрепить свои слухи и эксперименты реальными возможностями. Этого можно достичь при тесной координации между бизнесом и технологиями, которая основана на четком сопоставлении рыночных возможностей с технологическим потенциалом.
В этой статье мы построим ментальную модель систем искусственного интеллекта, которая объединит эти различные аспекты (см. рисунок 1). Это побуждает разработчиков мыслить целостно, создавать четкое понимание своего целевого продукта и по ходу дела обновлять его новыми идеями и данными. Модель можно использовать в качестве инструмента для упрощения совместной работы, согласования различных точек зрения внутри и за пределами команды ИИ, а также создания успешных продуктов на основе общего видения. Его можно применять не только к новым продуктам на основе искусственного интеллекта, но и к функциям искусственного интеллекта, которые включены в существующие продукты.
В следующих разделах будет кратко описан каждый из компонентов, уделяя особое внимание частям, специфичным для продуктов искусственного интеллекта. Мы начнем с бизнес-перспективы — рыночных возможностей и ценности — а затем углубимся в UX и технологии. Чтобы проиллюстрировать модель, мы будем использовать работающий пример второго пилота для создания маркетингового контента.
Если этот подробный образовательный контент будет вам полезен, вы можете подпишитесь на нашу рассылку исследований ИИ быть предупрежденным, когда мы выпустим новый материал.
1. возможность
Учитывая все те крутые вещи, которые теперь можно делать с помощью ИИ, вам, возможно, не терпится запачкать руки и начать строить. Однако, чтобы создать что-то, что нужно и нравится вашим пользователям, вы должны подкрепить свою разработку рыночными возможностями. В идеальном мире возможности приходят к нам от клиентов, которые говорят нам, что им нужно или чего они хотят.[1] Это могут быть неудовлетворенные потребности, болевые точки или желания. Вы можете найти эту информацию в существующих отзывах клиентов, например, в обзорах продуктов и заметках ваших отделов продаж и успеха. Кроме того, не забывайте о себе как о потенциальном пользователе вашего продукта — если вы нацелены на проблему, с которой столкнулись сами, это информационное преимущество является дополнительным преимуществом. Помимо этого, вы также можете проводить упреждающие исследования клиентов, используя такие инструменты, как опросы и интервью.
Например, мне не нужно заглядывать слишком далеко, чтобы увидеть трудности контент-маркетинга для стартапов, а также для более крупных компаний. Я испытал это на себе — по мере роста конкуренции развитие интеллектуального лидерства с индивидуальным, регулярным и (!) высококачественным контентом становится все более важным для дифференциации. Между тем, в небольшой и занятой команде всегда найдутся дела, которые кажутся более важными, чем написание сообщения в блоге недели. Я также часто встречаю в своем кругу людей, которым сложно наладить последовательный режим контент-маркетинга. Эти «локальные», потенциально предвзятые наблюдения могут быть подтверждены опросами, выходящими за пределы сети и подтверждающими наличие более широкого рынка для решения.
Реальный мир немного более размыт, и клиенты не всегда будут приходить к вам, чтобы предложить новые, хорошо сформулированные возможности. Скорее, если вы вытянете свои усики, возможности придут к вам со многих сторон, например:
- Позиционирование на рынке: ИИ в моде — для устоявшихся предприятий его можно использовать для укрепления имиджа бизнеса как инновационного, высокотехнологичного, ориентированного на будущее и т. д. Например, он может поднять существующее маркетинговое агентство до уровня сервиса на базе ИИ и выделить его среди конкурентов. Однако не делайте ИИ ради ИИ. Уловку позиционирования следует применять с осторожностью и в сочетании с другими возможностями — иначе вы рискуете потерять авторитет.
- Конкуренты: Когда ваши конкуренты делают шаг, вполне вероятно, что они уже провели основное исследование и проверку. Посмотрите на них через некоторое время — была ли их разработка успешной? Используйте эту информацию, чтобы оптимизировать собственное решение, принять успешные части и исправить ошибки. Например, предположим, что вы наблюдаете за конкурентом, предлагающим услугу полностью автоматизированного создания маркетингового контента. Пользователи нажимают «большую красную кнопку», и ИИ начинает писать и публиковать контент. После некоторого исследования вы узнаете, что пользователи не решаются использовать этот продукт, потому что они хотят сохранить больше контроля над процессом и внести свой вклад в написание статьи. В конце концов, писательство – это также самовыражение и индивидуальное творчество. Настало время перейти к использованию универсального инструмента, предлагающего богатую функциональность и настройку для формирования вашего контента. Это повышает эффективность пользователей, позволяя им «включаться» в процесс, когда они захотят.
- Нормативно-правовые акты: такие мегатенденции, как технологический прорыв и глобализация, вынуждают регулирующие органы ужесточать свои требования. Правила создают давление и являются надежным источником возможностей. Например, представьте, что вступает в силу постановление, которое строго требует от всех рекламировать контент, созданный искусственным интеллектом, как таковой. Те компании, которые уже используют инструменты для генерации ИИ-контента, исчезнут для внутренних дискуссий о том, хотят ли они этого. Многие из них будут воздерживаться, потому что хотят сохранить имидж подлинного интеллектуального лидера, а не создавать явно шаблонный шаблон, созданный ИИ. Допустим, вы поступили умно и выбрали расширенное решение, которое дает пользователям достаточный контроль, чтобы они могли оставаться официальными «авторами» текстов. С введением нового ограничения вы получаете иммунитет и можете броситься вперед, чтобы извлечь выгоду из регулирования, в то время как вашим конкурентам, использующим полностью автоматизированные решения, потребуется время, чтобы оправиться от неудачи.
- Разрешающие технологии: Новые технологии и значительный скачок в существующих технологиях, таких как волна генеративного искусственного интеллекта в 2022–23 годах, могут открыть новые способы ведения дел или вывести существующие приложения на новый уровень. Допустим, вы последние десять лет руководите традиционным маркетинговым агентством. Теперь вы можете начать внедрять хаки и решения искусственного интеллекта в свой бизнес, чтобы повысить эффективность ваших сотрудников, обслуживать больше клиентов с использованием существующих ресурсов и увеличить свою прибыль. Вы опираетесь на свой существующий опыт, репутацию и (надеюсь, доброжелательную) клиентскую базу, поэтому внедрение улучшений ИИ может быть гораздо более плавным и менее рискованным, чем для новичка.
Наконец, в современном мире продуктов возможности зачастую менее явны и формальны и могут быть непосредственно проверены в экспериментах, что ускоряет разработку. Таким образом, при росте, ориентированном на продукт, члены команды могут выдвигать собственные гипотезы без строгих аргументов, основанных на данных. Эти гипотезы можно формулировать по частям, например, модифицируя подсказку или изменяя локальную компоновку некоторых UX-элементов, что упрощает их реализацию, развертывание и тестирование. Устранив давление с целью обеспечить априорный Данные для каждого нового предложения, этот подход использует интуицию и воображение всех членов команды, одновременно обеспечивая прямую проверку предложений. Допустим, у вас генерация контента проходит гладко, но вы слышите все больше и больше жалоб на общее отсутствие прозрачности и объяснимости ИИ. Вы решаете реализовать дополнительный уровень прозрачности и показывать пользователям конкретные документы, которые использовались для создания фрагмента контента. Ваша команда тестирует эту функцию на группе пользователей и обнаруживает, что они с удовольствием используют ее для отслеживания исходных источников информации. Таким образом, вы решаете включить его в основной продукт, чтобы увеличить использование и удовлетворенность.
2. Значение
Чтобы понять и сообщить ценность вашего продукта или функции ИИ, вам сначала необходимо сопоставить его со сценарием использования — конкретной бизнес-проблемой, которую он решит, — и определить рентабельность инвестиций (возврат инвестиций). Это заставляет вас отвлечься от технологий и сосредоточиться на преимуществах решения для пользователя. Рентабельность инвестиций можно измерить по разным параметрам. Для ИИ вот некоторые из них:
- Увеличение эффективности: ИИ может повысить производительность отдельных лиц, команд и целых компаний. Например, при создании контента вы можете обнаружить, что вместо 4–5 часов, которые обычно требуются для написания сообщения в блоге [2], теперь вы можете сделать это за 1–2 часа и потратить сэкономленное время на другие задачи. Повышение эффективности часто идет рука об руку с экономией средств, поскольку для выполнения того же объема работы требуется меньше человеческих усилий. Таким образом, в контексте бизнеса эта выгода привлекательна как для пользователей, так и для руководства.
- Более персонализированный опыт: Например, ваш инструмент создания контента может попросить пользователей установить параметры своей компании, такие как атрибуты бренда, терминология, преимущества продукта и т. д. Кроме того, он может отслеживать изменения, внесенные конкретным автором, и адаптировать свои поколения к уникальному тексту. стиль этого пользователя с течением времени.
- Веселье и удовольствие: Здесь мы подходим к эмоциональной стороне использования продукта, которую Дон Норман также называет «интуитивным» уровнем [3]. В лагере B2C существуют целые категории продуктов для развлечения и развлечений, такие как игры и дополненная реальность. А что насчет B2B — разве вы не предполагаете, что B2B-продукты существуют в стерильном профессиональном вакууме? На самом деле эта категория может вызвать даже более сильные эмоциональные реакции, чем B2C.[4] Например, письмо можно воспринимать как акт самовыражения, приносящий удовлетворение, или как внутреннюю борьбу с писательским кризисом и другими проблемами. Подумайте о том, как ваш продукт может усилить положительные эмоции от задачи, одновременно облегчая или даже трансформируя ее болезненные аспекты.
- Удобство: Что нужно сделать вашему пользователю, чтобы воспользоваться магическими способностями искусственного интеллекта? Представьте себе интеграцию второго пилота создания контента в популярные инструменты для совместной работы, такие как MS Office, Google Docs и Notion. Пользователи смогут получить доступ к интеллекту и эффективности вашего продукта, не выходя из своего цифрового «дома». Таким образом, вы минимизируете усилия, которые пользователи должны приложить, чтобы ощутить ценность продукта и продолжать его использовать, что, в свою очередь, увеличивает привлечение и внедрение ваших пользователей.
Некоторые преимущества ИИ, например эффективность, можно напрямую оценить с точки зрения рентабельности инвестиций. Для менее ощутимых выгод, таких как удобство и удовольствие, вам нужно будет подумать о косвенных показателях, таких как удовлетворенность пользователей. Имейте в виду, что мышление с точки зрения ценности для конечного пользователя не только устранит разрыв между вашими пользователями и вашим продуктом. В качестве приятного побочного эффекта это может привести к уменьшению технических подробностей в ваших публичных коммуникациях. Это убережет вас от случайного приглашения на вечеринку нежелательных конкурентов.
Наконец, фундаментальный аспект ценности, который вам следует учитывать на раннем этапе, — это устойчивость. Как ваше решение повлияет на общество и окружающую среду? В нашем примере автоматизированная или дополненная генерация контента может заменить и исключить крупномасштабную работу человека. Вероятно, вы не хотите, чтобы вас называли убийцей целой категории профессий — в конце концов, это не только вызовет этические вопросы, но и вызовет сопротивление со стороны пользователей, чьим рабочим местам вы угрожаете. Подумайте, как вы можете справиться с этими страхами. Например, вы можете рассказать пользователям о том, как они могут эффективно использовать свое новое свободное время для разработки еще более сложных маркетинговых стратегий. Это может стать защищенным рвом, даже если другие конкуренты догонят автоматизированную генерацию контента.
3. Данные
Для любого вида искусственного интеллекта и машинного обучения вам необходимо собрать и подготовить данные так, чтобы они отражали реальные входные данные и предоставляли достаточные обучающие сигналы для вашей модели. В настоящее время мы наблюдаем тенденцию к ориентированному на данные ИИ — философии ИИ, которая уходит от бесконечной настройки и оптимизации моделей и фокусируется на устранении многочисленных проблем в данных, которые вводятся в эти модели. Когда вы только начинаете, есть разные способы получить достойный набор данных:
- Вы можете использовать существующий набор данных. Это может быть либо стандартный набор данных машинного обучения, либо набор данных с другой исходной целью, который вы адаптируете для своей задачи. Существуют некоторые классические наборы данных, такие как Набор данных IMDB по обзорам фильмов для анализа настроений и Набор данных MNIST для распознавания рукописных символов. Есть более экзотические и интересные альтернативы, такие как Ловля незаконной рыбалки и Определение породы собаки бесчисленные наборы данных, курируемые пользователями, в таких центрах данных, как Kaggle. Шансы на то, что вы найдете набор данных, созданный для вашей конкретной задачи и полностью удовлетворяющий вашим требованиям, довольно низки, и в большинстве случаев вам придется использовать и другие методы для обогащения ваших данных.
- Вы можете аннотировать или создавать данные вручную для создания правильных обучающих сигналов. Ручное аннотирование данных — например, аннотирование текстов с оценками настроений — было популярным методом на заре машинного обучения. Недавно он вновь привлек к себе внимание как основной ингредиент секретного соуса ChatGPT. Огромные усилия были потрачены вручную на создание и ранжирование ответов модели с учетом предпочтений человека. Этот метод также называется обучением с подкреплением на основе обратной связи с человеком (RLHF). Если у вас есть необходимые ресурсы, вы можете использовать их для создания высококачественных данных для более конкретных задач, например создания маркетингового контента. Аннотации могут выполняться как внутри компании, так и с использованием внешнего поставщика или службы краудсорсинга, такой как Amazon Mechanical Turk. В любом случае, большинство компаний не захотят тратить огромные ресурсы, необходимые для ручного создания данных RLHF, и рассмотрят некоторые приемы для автоматизации создания своих данных.
- Таким образом, вы можете добавить больше примеров в существующий набор данных, используя увеличение данных. Для более простых задач, таких как анализ настроений, вы можете внести в тексты дополнительный шум, поменять пару слов и т. д. Для более простых задач открытой генерации в настоящее время существует большой энтузиазм по поводу использования больших моделей (например, фундаментальных моделей) для автоматизации. формирование обучающих данных. После того, как вы определили лучший метод увеличения ваших данных, вы можете легко масштабировать его для достижения необходимого размера набора данных.
При создании данных вы сталкиваетесь с компромиссом между качеством и количеством. Вы можете вручную аннотировать меньше данных с высоким качеством или потратить свой бюджет на разработку приемов и приемов для автоматического увеличения данных, которые внесут дополнительный шум. Если вы решите делать аннотации вручную, вы можете сделать это самостоятельно и сформировать культуру детализации и качества или передать работу анонимным людям. Краудсорсинг обычно имеет более низкое качество, поэтому вам может потребоваться больше аннотаций, чтобы компенсировать шум. Как найти идеальный баланс? Здесь нет готовых рецептов — в конечном итоге вы найдете идеальную композицию данных, постоянно переключаясь между обучением и улучшением ваших данных. В общем, при предварительном обучении модели ей необходимо получать знания с нуля, что возможно только при большем количестве данных. С другой стороны, если вы хотите доработать и внести последние штрихи в специализацию существующей большой модели, вы можете ценить качество выше количества. Контролируемое ручное аннотирование небольшого набора данных с использованием подробных инструкций может быть оптимальным решением в этом случае.
4. Алгоритм
Данные — это исходный материал, на котором будет учиться ваша модель, и, будем надеяться, вы сможете составить репрезентативный набор данных высокого качества. Теперь настоящая сверхсила вашей системы ИИ — ее способность учиться на существующих данных и обобщать новые данные — заключена в алгоритме. Что касается основных моделей ИИ, вы можете использовать три основных варианта:
- Подскажите существующую модель. Расширенные LLM (большие языковые модели) семейства GPT, такие как ChatGPT и GPT-4, а также от других поставщиков, таких как Anthropic и AI21 Labs, доступны для вывода через API. С помощью подсказок вы можете напрямую общаться с этими моделями, включая в подсказку всю информацию, специфичную для предметной области и задачи, необходимую для задачи. Сюда может входить конкретный контент, который будет использоваться, примеры аналогичных задач (несколько раз подсказки), а также инструкции для модели, которой следует следовать. Например, если ваш пользователь хочет создать сообщение в блоге о новой функции продукта, вы можете попросить его предоставить некоторую основную информацию об этой функции, например ее преимущества и варианты использования, способы ее использования, дату запуска и т. д. Затем ваш продукт заполняет эту информацию в тщательно составленном шаблоне подсказки и просит LLM сгенерировать текст. Подсказки отлично подходят для начала работы с предварительно обученными моделями. Однако ров, который вы можете построить с помощью подсказок, со временем быстро истончится — в среднесрочной перспективе вам понадобится более защитная модель стратегии, чтобы сохранить свое конкурентное преимущество.
- Точная настройка предварительно обученной модели. Этот подход сделал ИИ настолько популярным в последние годы. По мере того, как становится доступно все больше и больше предварительно обученных моделей, а такие порталы, как Huggingface, предлагают репозитории моделей, а также стандартный код для работы с моделями, точная настройка становится методом, который стоит попробовать и реализовать. Когда вы работаете с предварительно обученной моделью, вы можете получить выгоду от инвестиций, которые кто-то уже вложил в данные, обучение и оценку модели, которая уже «знает» многое о языке и мире. Все, что вам нужно сделать, — это точно настроить модель, используя набор данных для конкретной задачи, который может быть намного меньше, чем набор данных, первоначально использованный для предварительного обучения. Например, для создания маркетингового контента вы можете собрать набор постов в блоге, которые хорошо зарекомендовали себя с точки зрения вовлеченности, и перепроектировать инструкции для них. Из этих данных ваша модель узнает о структуре, потоке и стиле успешных статей. Тонкая настройка — это путь при использовании моделей с открытым исходным кодом, но поставщики LLM API, такие как OpenAI и Cohere, также все чаще предлагают функции тонкой настройки. Особенно в случае с открытым исходным кодом вам все равно придется учитывать вопросы выбора модели, накладные расходы на обучение и развертывание более крупных моделей, а также графики обслуживания и обновления вашей модели.
- Обучите свою модель машинного обучения с нуля. В целом этот подход хорошо работает для более простых, но весьма специфических задач, для решения которых у вас есть специальные ноу-хау или достойные наборы данных. Генерация контента не совсем попадает в эту категорию — для того чтобы сдвинуться с мертвой точки, требуются развитые лингвистические способности, а их можно приобрести только после обучения на смехотворно больших объемах данных. Более простые проблемы, такие как анализ настроений для определенного типа текста, часто можно решить с помощью традиционных методов машинного обучения, таких как логистическая регрессия, которые в вычислительном отношении менее затратны, чем модные методы глубокого обучения. Конечно, есть и золотая середина для достаточно сложных задач, таких как извлечение понятий для конкретных областей, для которых вы могли бы рассмотреть возможность обучения глубокой нейронной сети с нуля.
Помимо обучения, оценка имеет первостепенное значение для успешного использования машинного обучения. Подходящие метрики и методы оценки не только важны для уверенного запуска ваших функций ИИ, но также послужат четкой целью для дальнейшей оптимизации и общей основой для внутренних обсуждений и решений. Хотя технические метрики, такие как точность, полнота и аккуратность, могут стать хорошей отправной точкой, в конечном итоге вам захочется искать метрики, которые отражают реальную ценность, которую ваш ИИ приносит пользователям.
5. Пользовательский опыт
Пользовательский опыт использования продуктов искусственного интеллекта — это увлекательная тема: в конце концов, пользователи возлагают большие надежды, но также и опасаются «партнерства» с искусственным интеллектом, который может перегрузить и потенциально перехитрить их интеллект. Разработка этого партнерства человека и искусственного интеллекта требует вдумчивого и разумного процесса открытий и проектирования. Одним из ключевых вопросов является степень автоматизации, которую вы хотите обеспечить с помощью своего продукта. Имейте в виду, полная автоматизация далеко не всегда является идеальным решением. На следующем рисунке показан континуум автоматизации:
Давайте рассмотрим каждый из этих уровней:
- На первом этапе всю работу выполняют люди, автоматизация не производится. Несмотря на шумиху вокруг ИИ, большинство наукоемких задач в современных компаниях по-прежнему выполняются на этом уровне, что открывает огромные возможности для автоматизации. Например, здесь работает автор контента, который сопротивляется инструментам, управляемым искусственным интеллектом, и убежден, что написание текста — это исключительно ручное и своеобразное ремесло.
- На втором этапе использования искусственного интеллекта пользователи имеют полный контроль над выполнением задач и выполняют большую часть работы вручную, а инструменты искусственного интеллекта помогают им экономить время и компенсировать свои слабые места. Например, при написании поста в блоге в сжатые сроки окончательная лингвистическая проверка с помощью Grammarly или аналогичного инструмента может сэкономить время. Это может исключить ручную проверку, которая требует много вашего ограниченного времени и внимания и все равно может привести к ошибкам и упущениям — в конце концов, ошибаться свойственно человеку.
- Благодаря расширенному интеллекту ИИ является партнером, который увеличивает интеллект человека, тем самым используя сильные стороны обоих миров. По сравнению с искусственным интеллектом, машина может сказать гораздо больше в вашем процессе и покрывает более широкий набор обязанностей, таких как создание идей, генерация и редактирование черновиков, а также окончательная лингвистическая проверка. Пользователям по-прежнему необходимо участвовать в работе, принимать решения и выполнять части задач. Пользовательский интерфейс должен четко указывать распределение труда между человеком и ИИ, подчеркивать потенциальные ошибки и обеспечивать прозрачность выполняемых шагов. Короче говоря, «расширенный» опыт ведет пользователей к желаемому результату посредством итераций и уточнений.
- И, наконец, у нас есть полная автоматизация — интригующая идея для фанатов искусственного интеллекта, философов и экспертов, но зачастую не оптимальный выбор для реальных продуктов. Полная автоматизация означает, что вы предлагаете одну «большую красную кнопку», которая запускает процесс. Как только ИИ будет готов, ваши пользователи увидят окончательный результат и либо примут его, либо оставят. Все, что произошло между ними, они не могут контролировать. Как вы можете себе представить, возможности UX здесь довольно ограничены, поскольку интерактивности практически нет. Основная часть ответственности за успех лежит на плечах ваших технических коллег, которым необходимо обеспечить исключительно высокое качество результатов.
Продукты искусственного интеллекта требуют особого подхода, когда дело касается дизайна. Стандартные графические интерфейсы детерминированы и позволяют предвидеть все возможные пути, по которым может пойти пользователь. Напротив, крупные модели ИИ являются вероятностными и неопределенными — они раскрывают целый ряд удивительных возможностей, но также и риски, такие как токсичные, неправильные и вредные результаты. Внешне ваш интерфейс ИИ может выглядеть простым, поскольку многие возможности вашего продукта находятся непосредственно в модели. Например, LLM может интерпретировать подсказки, создавать текст, искать информацию, обобщать ее, применять определенный стиль и терминологию, выполнять инструкции и т. д. Даже если ваш пользовательский интерфейс представляет собой простой чат или интерфейс подсказок, не оставляйте этот потенциал незамеченным. — чтобы привести пользователей к успеху, вам нужно быть откровенным и реалистичным. Сообщайте пользователям о возможностях и ограничениях ваших моделей ИИ, позволяйте им легко обнаруживать и исправлять ошибки, допущенные ИИ, а также обучайте их способам итерации для достижения оптимальных результатов. Делая упор на доверие, прозрачность и обучение пользователей, вы можете заставить своих пользователей сотрудничать с ИИ. Хотя глубокое погружение в развивающуюся дисциплину проектирования ИИ выходит за рамки этой статьи, я настоятельно рекомендую вам искать вдохновение не только в других компаниях, занимающихся ИИ, но и в других областях дизайна, таких как взаимодействие человека и машины. Вскоре вы определите ряд повторяющихся шаблонов проектирования, таких как автозаполнение, подсказки и уведомления ИИ, которые вы сможете интегрировать в свой собственный интерфейс, чтобы максимально эффективно использовать свои данные и модели.
Кроме того, чтобы создать действительно великолепный дизайн, вам, возможно, придется добавить в свою команду новые дизайнерские навыки. Например, если вы создаете чат-приложение для уточнения маркетингового контента, вы будете работать с дизайнером диалогов, который позаботится о потоках разговоров и «индивидуальности» вашего чат-бота. Если вы создаете богатый расширенный продукт, который должен тщательно обучать и направлять пользователей по доступным опциям, дизайнер контента может помочь вам создать правильную информационную архитектуру и добавить необходимое количество подсказок и подсказок для ваших пользователей.
И, наконец, будьте открыты для сюрпризов. Дизайн ИИ может заставить вас переосмыслить ваши первоначальные представления о пользовательском опыте. Например, многие UX-дизайнеры и менеджеры по продуктам были обучены минимизировать задержки и трения, чтобы сделать работу пользователя более гладкой. Что ж, в продуктах ИИ вы можете приостановить эту борьбу и использовать и то, и другое в своих интересах. Задержка и время ожидания отлично подходят для обучения ваших пользователей, например, объясняя, что в данный момент делает ИИ, и указывая возможные следующие шаги с их стороны. Перерывы, такие как диалоги и всплывающие окна с уведомлениями, могут создавать препятствия для укрепления партнерства человека и ИИ и повышения прозрачности и контроля для ваших пользователей.
6. Нефункциональные требования
Помимо данных, алгоритма и пользовательского интерфейса, которые позволяют реализовать конкретную функциональность, так называемые нефункциональные требования (NFR), такие как точность, задержка, масштабируемость, надежность и управление данными, гарантируют, что пользователь действительно получит предполагаемую ценность. Концепция NFR пришла из разработки программного обеспечения, но еще не систематически учитывается в области ИИ. Часто эти требования подбираются спонтанно, по мере того, как они возникают в ходе пользовательских исследований, выработки идей, разработки и эксплуатации возможностей ИИ.
Вам следует постараться понять и определить свои НФР как можно раньше, поскольку на разных этапах вашего пути будут проявляться разные НФР. Например, конфиденциальность необходимо учитывать, начиная с самого начального этапа выбора данных. Точность наиболее важна на этапе производства, когда пользователи начинают использовать вашу систему в Интернете, потенциально перегружая ее неожиданными входными данными. Масштабируемость — это стратегический фактор, который вступает в игру, когда ваш бизнес увеличивает количество пользователей и/или запросов или спектр предлагаемых функций.
Когда дело доходит до НФР, вы не можете иметь их все. Вот некоторые из типичных компромиссов, которые вам придется сбалансировать:
- Одним из первых способов повышения точности является использование более крупной модели, что повлияет на задержку.
- Использование производственных данных «как есть» для дальнейшей оптимизации лучше всего подходит для обучения, но может нарушить ваши правила конфиденциальности и анонимности.
- Более масштабируемые модели являются универсальными, что влияет на их точность при решении конкретных задач компании или пользователя.
То, как вы расставите приоритеты для различных требований, будет зависеть от доступных вычислительных ресурсов, вашей концепции UX, включая степень автоматизации, и влияния решений, поддерживаемых ИИ.
Основные вынос
- Начинайте, помня о конце: Не думайте, что технология сама по себе справится с этой задачей; вам нужна четкая дорожная карта для интеграции вашего ИИ в продукт, ориентированный на пользователя, и информирования ваших пользователей о его преимуществах, рисках и ограничениях.
- Выравнивание рынка: расставьте приоритеты рыночных возможностей и потребностей клиентов для управления разработкой ИИ. Не торопитесь с внедрением ИИ, вызванным шумихой и без проверки на рынке.
- Значение пользователя: Определите, оцените количественно и сообщите ценность продуктов искусственного интеллекта с точки зрения эффективности, персонализации, удобства и других аспектов ценности.
- Качество данных: Сосредоточьтесь на качестве и актуальности данных для эффективного обучения моделей ИИ. Постарайтесь использовать небольшие высококачественные данные для точной настройки и более крупные наборы данных для обучения с нуля.
- Выбор алгоритма/модели: выберите правильный уровень сложности и защищенности (подсказки, тонкая настройка, обучение с нуля) для вашего варианта использования и тщательно оцените его производительность. Со временем, когда вы приобретете необходимый опыт и будете уверены в своем продукте, вы, возможно, захотите переключиться на более продвинутые модельные стратегии.
- Ориентированный на пользователя дизайн: Разрабатывайте продукты искусственного интеллекта с учетом потребностей и эмоций пользователей, балансируя между автоматизацией и пользовательским контролем. Помните о «непредсказуемости» вероятностных моделей ИИ и помогайте своим пользователям работать с ними и извлекать из них пользу.
- Совместный дизайн: делая акцент на доверии, прозрачности и обучении пользователей, вы можете заставить своих пользователей сотрудничать с ИИ.
- Нефункциональные требования: учитывайте такие факторы, как точность, задержка, масштабируемость и надежность на протяжении всего процесса разработки, и постарайтесь оценить компромиссы между ними на ранних этапах.
- Сотрудничество: Обеспечьте тесное сотрудничество между экспертами по искусственному интеллекту, дизайнерами, менеджерами по продуктам и другими членами команды, чтобы получить выгоду от междисциплинарного анализа и успешно интегрировать свой искусственный интеллект.
Рекомендации
[1] Тереза Торрес (2021). Привычки непрерывного открытия: открывайте для себя продукты, которые создают ценность для клиентов и ценность для бизнеса.
[2] Орбита Медиа (2022). Новая статистика блогов: какие контент-стратегии работают в 2022 году? Мы опросили 1016 блоггеров.
[3] Дон Норман (2013). Дизайн повседневных вещей.
[4] Google, Gartner и Motista (2013). От продвижения к эмоциям: подключение B2B-клиентов к брендам.
Примечание: Все изображения принадлежат автору.
Эта статья изначально была опубликована в На пути к науке о данных и повторно опубликовано в TOPBOTS с разрешения автора.
Наслаждайтесь этой статьей? Подпишитесь на дополнительные исследования ИИ исследований.
Мы сообщим вам, когда мы выпустим больше кратких статей, подобных этой.
Похожие страницы:
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- ЧартПрайм. Улучшите свою торговую игру с ChartPrime. Доступ здесь.
- Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
- Источник: https://www.topbots.com/building-ai-products-with-a-holistic-mental-model/
- :имеет
- :является
- :нет
- $UP
- 1
- 2013
- 2021
- 2022
- a
- способность
- в состоянии
- О нас
- доступ
- составили
- точность
- достигнутый
- приобретать
- приобретенный
- приобретение
- Действие (Act):
- фактического соединения
- сообразительность
- приспосабливать
- Добавить
- добавить
- дополнительный
- Дополнительно
- адрес
- принять
- Принятие
- продвинутый
- плюс
- Реклама
- влиять на
- После
- агентство
- впереди
- AI
- AI модели
- ай исследование
- Системы искусственного интеллекта
- Поддержка
- Цель
- алгоритм
- алгоритмы
- выравнивать
- выровненный
- выравнивание
- Все
- позволять
- Позволяющий
- в одиночестве
- вдоль
- уже
- причислены
- альтернативы
- всегда
- удивительный
- Amazon
- количество
- суммы
- an
- анализ
- и
- Anonymous
- Антропный
- любой
- все
- API
- Применение
- Приложения
- прикладной
- Применить
- подхода
- архитектура
- МЫ
- области
- аргумент
- около
- гайд
- статьи
- AS
- спросить
- внешний вид
- аспекты
- помощник
- помощь
- предполагать
- At
- внимание
- привлекательный
- Атрибуты
- дополненная
- Дополненная реальность
- автор
- автоматизировать
- Автоматизированный
- автоматизация
- доступен
- знать
- прочь
- B2B
- B2C
- назад
- Backend
- Баланс
- Балансировка
- Использование темпера с изогнутым основанием
- основанный
- BE
- , так как:
- становиться
- становится
- становление
- было
- до
- польза
- Преимущества
- Кроме
- ЛУЧШЕЕ
- между
- Beyond
- пристрастный
- большой
- больший
- Заблокировать
- Блог
- Сообщения в блоге
- ракета-носитель
- форсирует
- изоферменты печени
- Границы
- марка
- брейки
- ПОРОДА
- кратко
- приносить
- шире
- бюджет
- строить
- Строители
- Строительство
- бизнес
- бизнес
- занятый
- но
- ключевое слово
- by
- призывают
- под названием
- Лагерь
- CAN
- не могу
- возможности
- капитализировать
- пленительный
- заботится
- осторожно
- проводятся
- случаев
- случаев
- Привлекайте
- категории
- Категории
- осторожность
- определенный
- шансы
- изменения
- персонаж
- распознавание символов
- Chatbot
- ChatGPT
- проверка
- выбор
- Выберите
- классика
- Очистить
- явно
- нажмите на
- клиентов
- Закрыть
- ближе
- код
- ПОСЛЕДОВАТЕЛЬНЫЙ
- когорта
- сотрудничать
- сотрудничество
- совместный
- коллеги
- собирать
- сочетание
- объединять
- как
- выходит
- комфорт
- приход
- Общий
- общаться
- Связь
- Компании
- Компания
- сравненный
- конкурс
- конкурентоспособный
- конкурент
- конкурентов
- жалобы
- полный
- полностью
- комплекс
- сложность
- компоненты
- композиция
- сама концепция
- Обеспокоенность
- Проводить
- доверие
- уверенный
- Конфигурация
- подтвердить
- Соединительный
- Рассматривать
- рассмотрение
- соображения
- считается
- последовательный
- Состоящий из
- постоянная
- строить
- содержание
- Генерация контента
- Содержание маркетинга
- контекст
- (CIJ)
- Континуум
- контраст
- способствовать
- контроль
- контроль
- удобство
- диалоговый
- Холодные
- кооперация
- координация
- Основные
- Цена
- экономия на издержках
- может
- Пара
- "Курс"
- Обложки
- выработать
- проработаны
- Создайте
- создает
- Создающий
- создание
- креативность
- Доверие
- Краудсорсинга
- Культура
- В настоящее время
- клиент
- Клиенты
- Dash
- данным
- управляемых данными
- Наборы данных
- Время
- Дней
- крайний срок
- сделка
- десятилетие
- решать
- решения
- глубоко
- глубокое погружение
- глубокое обучение
- определять
- определение
- Степень
- доставить
- доставки
- демонстрировать
- Демос
- Кафедра
- развертывание
- развертывание
- описывать
- Проект
- шаблоны проектирования
- процесс проектирования
- дизайнер
- дизайнеры
- желанный
- Несмотря на
- подробность
- подробный
- развивающийся
- Развитие
- Диалог
- DID
- различный
- дифференцировать
- дифференцирование
- трудный
- Интернет
- размеры
- направлять
- непосредственно
- исчезать
- дисциплина
- обнаружить
- открытие
- обсуждение
- обсуждение
- Нарушение
- распределение
- погружение
- Разное
- различные точки зрения
- do
- Документация
- приносит
- Собака
- дело
- домен
- доменов
- Дон
- сделанный
- Dont
- управляемый
- в течение
- e
- каждый
- Рано
- простота
- легко
- легко
- Edge
- воспитывать
- обучение
- Обучение
- образовательных
- эффект
- фактически
- затрат
- эффективно
- усилие
- или
- элементы
- ELEVATE
- ликвидировать
- появление
- появление
- новые технологии
- эмоции
- подчеркивающий
- сотрудников
- включить
- поощрять
- призывает
- конец
- Бесконечный
- обеспечение соблюдения
- обязательство
- Проект и
- Инженеры
- улучшения
- повышение
- достаточно
- обогащать
- обеспечивать
- Предприятие
- Развлечения
- энтузиазм
- Весь
- Окружающая среда
- ошибка
- ошибки
- особенно
- установить
- установленный
- и т.д
- этический
- оценивать
- оценка
- Даже
- повседневный
- все члены
- точно,
- пример
- Примеры
- исключительный
- исключительно
- захватывающий
- выполнять
- выполнение
- существовать
- существующий
- Экзотический
- ожидания
- дорогим
- опыт
- опытные
- Эксперименты
- опыта
- эксперты
- объясняя
- и, что лучший способ
- добыча
- Face
- факторы
- Осень
- семья
- далеко
- Фэшн
- страх
- Особенность
- Особенности
- ФРС
- Обратная связь
- бороться
- фигура
- окончательный
- в заключение
- Найдите
- находит
- First
- фиксированный
- поток
- Потоки
- Фокус
- фокусируется
- следовать
- после
- Что касается
- Для стартапов
- Форс-мажор
- Войска
- предвидеть
- формальный
- вперед
- Способствовать
- Бесплатно
- трение
- от
- Frontend
- разочарование
- полный
- полноценный
- полностью
- fun
- функциональность
- фундаментальный
- далее
- будущее
- Доходы
- игровой
- разрыв
- Gartner
- дал
- Общие
- порождать
- поколение
- поколения
- генеративный
- Генеративный ИИ
- подлинный
- получить
- GitHub
- Дайте
- дает
- глобализация
- Go
- хорошо
- управление
- предоставлять
- схватывание
- большой
- земля
- Растет
- Рост
- инструкция
- методические рекомендации
- Гиды
- взломы
- было
- рука
- Руки
- происходить
- произошло
- счастливый
- вредный
- Есть
- слышать
- помощь
- здесь
- High
- высококачественный
- Выделите
- очень
- Наем
- целостный
- С надеждой
- надеется,
- Лошадь
- ЧАСЫ
- Как
- How To
- Однако
- HTTPS
- концентраторы
- огромный
- ОбниматьЛицо
- человек
- Людей
- Обман
- i
- идея
- идеальный
- идеация
- идентифицированный
- определения
- if
- нелегальный
- иллюстрирует
- изображение
- изображений
- воображение
- картина
- Влияние
- Воздействие
- осуществлять
- реализации
- значение
- важную
- in
- углубленный
- включают
- В том числе
- включенный
- Увеличение
- все больше и больше
- действительно
- указывать
- individual
- лиц
- информация
- начальный
- инновационный
- затраты
- внутри
- размышления
- Вдохновение
- пример
- вместо
- инструкции
- интегрировать
- Интегрируется
- Интегрируя
- интеграции.
- Интеллекта
- взаимодействовать
- взаимодействие
- интерактивность
- Интерфейс
- интерфейсы
- в нашей внутренней среде,
- внутренне
- Интервью
- интимный
- в
- интригующий
- вводить
- выпустили
- Представляет
- введение
- инвестиций
- манящий
- вопросы
- IT
- итерация
- ЕГО
- работа
- Джобс
- путешествие
- JPG
- Сохранить
- Основные
- Kicks
- Вид
- Знать
- знания
- известный
- труд
- Labs
- Отсутствие
- язык
- большой
- крупномасштабный
- больше
- Фамилия
- Задержка
- запуск
- Планировка
- вести
- Наша команда
- Лиды
- прыжки
- УЧИТЬСЯ
- изучение
- Оставлять
- уход
- привело
- Меньше
- позволять
- уровень
- уровни
- Кредитное плечо
- рычаги
- Используя
- ЖИЗНЬЮ
- такое как
- Вероятно
- недостатки
- Ограниченный
- LLM
- локальным
- Длинное
- дольше
- посмотреть
- потери
- серия
- любят
- Низкий
- ниже
- машина
- обучение с помощью машины
- сделанный
- магия
- рассылки
- Главная
- поддерживать
- техническое обслуживание
- сделать
- ДЕЛАЕТ
- управлять
- менеджер
- Менеджеры
- руководство
- вручную
- многих
- карта
- отображение
- рынок
- возможности рынка
- Маркетинг
- маркетинговое агентство
- Маркетинговые стратегии
- материала
- макс-ширина
- Максимизировать
- означает
- Между тем
- механический
- Медиа
- Встречайте
- Соответствует
- Участники
- психический
- метод
- методы
- Метрика
- средняя
- может быть
- против
- ошибки
- ML
- модель
- Модели
- Модерн
- БОЛЕЕ
- самых
- двигаться
- движется
- кино
- MS
- много
- my
- себя
- натуральный
- необходимо
- Необходимость
- необходимый
- потребности
- сеть
- нервный
- нейронной сети
- никогда
- Новые
- новый продукт
- новичок
- следующий
- нет
- Шум
- нормально
- Заметки
- уведомление
- понятие
- сейчас
- номер
- многочисленный
- of
- от
- предлагают
- предложенный
- предлагающий
- Предложения
- Офис
- Официальный представитель в Грузии
- .
- on
- консолидировать
- ONE
- онлайн
- только
- открытый
- с открытым исходным кодом
- OpenAI
- операция
- Возможности
- Возможность
- против
- оптимальный
- оптимизация
- Оптимизировать
- Опции
- or
- Орбита
- заказ
- оригинал
- первоначально
- Другое
- в противном случае
- наши
- внешний
- Результат
- выходной
- внешнюю
- выдающийся
- за
- подавляющий
- собственный
- боль
- болезненный
- страдания
- параметры
- часть
- участвовать
- Стороны
- партнер
- Партнерство
- части
- вечеринка
- мимо
- паттеранами
- Пауза
- Люди
- для
- восприятии
- Выполнять
- производительность
- выполнены
- выполняет
- разрешение
- Личность
- воплощение
- Персонализированные
- перспектива
- перспективы
- убежденный
- философия
- взял
- кусок
- трубопровод
- Часть
- планирование
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Играть
- удовольствие
- Точка
- пунктов
- Популярное
- должность
- позиционирование
- положительный
- возможное
- После
- Блог
- потенциал
- потенциально
- потенциалов
- полномочия
- Точность
- предпочтения
- Подготовить
- представить
- давление
- предотвращать
- первичный
- Расставляйте приоритеты
- политикой конфиденциальности.
- Проактивная
- вероятно
- Проблема
- проблемам
- процесс
- производит
- производства
- Продукт
- Менеджер по продукции
- Отзывы о товаре
- Производство
- производительность
- Продукция
- профессиональный
- Прибыль
- приложение
- продвижение
- обеспечивать
- Недвижимости
- поставщики
- приводит
- полномочие
- что такое варган?
- Общественные коммуникации
- Публикация
- публиковать
- опубликованный
- цель
- выталкивает
- положил
- Оферты
- количество
- Вопросы
- быстро
- ассортимент
- Ранжирование
- скорее
- Сырье
- достигать
- готовый
- реальные
- реальный мир
- реалистичный
- Реальность
- на самом деле
- причины
- недавно
- признание
- Recover
- повторяющихся
- Red
- уменьшить
- отражать
- отражает
- регулярный
- "Регулирование"
- правила
- Регулирующие органы
- усиливает
- относительно
- освободить
- актуальность
- надежность
- оставаться
- удаление
- представитель
- репутация
- Запросы
- требовать
- обязательный
- Требования
- требуется
- исследованиям
- Сопротивление
- Полезные ресурсы
- ответы
- ответственности
- ответственность
- ограничение
- сохранять
- возвращают
- Отзывы
- Богатые
- верховая езда
- правую
- Снижение
- рисках,
- рискованный
- Дорожная карта
- ROI
- роли
- рутина
- условиями,
- Бег
- работает
- торопить
- Сакэ
- главная
- то же
- песочницы
- удовлетворение
- Сохранить
- сохраняются
- экономия
- сообщили
- Масштабируемость
- масштабируемые
- Шкала
- Весы
- Дефицитный
- Ученые
- сфера
- поцарапать
- Поиск
- Во-вторых
- Secret
- разделах
- посмотреть
- казаться
- видел
- выбор
- чувствительный
- настроение
- отдельный
- Серии
- служить
- служит
- обслуживание
- набор
- Форма
- формирование
- общие
- сдвиг
- светить
- Короткое
- должен
- показывать
- сторона
- подпись
- сигналы
- значительный
- аналогичный
- просто
- простой
- с
- одинарной
- Размер
- навыки
- небольшой
- меньше
- умный
- гладкой
- плавно
- So
- Общество
- Software
- разработка программного обеспечения
- Решение
- Решения
- РЕШАТЬ
- некоторые
- Кто-то
- удалось
- скоро
- сложный
- Источник
- Источники
- особый
- конкретный
- Спектр
- скорость
- тратить
- потраченный
- Этап
- заинтересованных сторон
- стандарт
- Начало
- Начало
- начинается
- Стартапы
- статистика
- Статус:
- Шаг
- Шаги
- По-прежнему
- прямой
- Стратегический
- стратегий
- Стратегия
- сильные
- Строгий
- сильнее
- сильно
- Структура
- Бороться
- стиль
- успех
- успешный
- Успешно
- такие
- достаточный
- подходящее
- суммировать
- РЕЗЮМЕ
- перегружать
- сверхдержава
- Поддержанный
- сюрпризы
- Стабильность
- Коммутатор
- система
- системы
- ТАБЛИЦЫ
- взять
- принимает
- Говорить
- осязаемый
- цель
- направлены
- Сложность задачи
- задачи
- команда
- Члены команды
- команды
- Технический
- технически
- технологический
- технологии
- Технологии
- сказать
- шаблон
- срок
- терминология
- terms
- тестXNUMX
- текст
- чем
- который
- Ассоциация
- мир
- их
- Их
- тема
- сами
- тогда
- Там.
- Эти
- они
- вещи
- think
- мышление
- этой
- тщательно
- те
- мысль
- продуманное лидерство
- три
- Через
- по всему
- Бросание
- Таким образом
- затянуть
- время
- раз
- в
- вместе
- слишком
- инструментом
- инструменты
- ТОП-БОТЫ
- Всего
- Прикосновения
- к
- трассировка
- трек
- традиционный
- Train
- Обучение
- превращение
- Прозрачность
- лечение
- тенденция
- по-настоящему
- Доверие
- стараться
- ОЧЕРЕДЬ
- доводка
- напишите
- типичный
- типично
- вездесущий
- ui
- В конечном счете
- Неопределенный
- лежащий в основе
- понимать
- понимание
- Неожиданный
- созданного
- нежелательный
- Обновление ПО
- Updates
- us
- Применение
- использование
- прецедент
- используемый
- Информация о пользователе
- Пользовательский опыт
- Пользовательский интерфейс
- пользователей
- через
- ux
- UX-дизайнеры
- вакуум
- подтверждено
- Проверка
- ценностное
- разносторонний
- очень
- с помощью
- Виртуальный
- виртуальный помощник
- фактически
- видимый
- видение
- Ожидание
- хотеть
- хочет
- законопроект
- Wave
- Путь..
- способы
- we
- неделя
- добро пожаловать
- ЧТО Ж
- были
- Что
- когда
- когда бы ни
- будь то
- который
- в то время как
- КТО
- все
- чья
- Дикий
- будете
- без
- слова
- Работа
- работает
- работает
- Мир
- мире
- бы
- записывать
- писатель
- письмо
- Неправильно
- лет
- еще
- Ты
- ВАШЕ
- себя
- зефирнет