Microsoft утверждает, что последняя версия ее легкой модели Phi-3 Mini AI конкурирует с такими конкурентами, как GPT-3.5, но при этом достаточно мала, чтобы ее можно было использовать на телефоне.
Phi-3 Mini — это языковая модель с 3.8 миллиардами параметров, обученная на 3.3 триллионах токенов. Эта цифра превышает 2.7 миллиарда параметров Фи-2, которые Microsoft выпустили В декабре 2023.
Вместо того, чтобы вкладывать как можно больше в обучающие модели, основное внимание уделялось рассуждениям. Microsoft заявила: «Например, результат игры в Премьер-лиге в определенный день может быть хорошими данными для обучения для пограничных моделей, но нам необходимо удалить такую информацию, чтобы оставить больше возможностей модели для «рассуждений» для моделей мини-размера. ».
Целенаправленный подход означает, что, хотя Phi-3, возможно, и не обладает такой же широтой знаний, как его конкуренты, он по крайней мере так же хорош, если не лучше, когда дело доходит до рассуждений, по крайней мере, так утверждает Microsoft. В статья про исследование [PDF] Microsoft отмечает, что это позволило ее небольшой языковой модели «достичь уровня высокопроизводительных моделей, таких как GPT-3.5 или Mixtral, имея всего 3.8 млрд параметров (в то время как Mixtral имеет, например, 45 млрд параметров)».
В исследовании также отмечается, что использованные данные для обучения состояли из «сильно отфильтрованных веб-данных… из различных открытых интернет-источников» и данных, сгенерированных LLM. Источники данных, используемые для обучения LLM, являются предметом несколько исков.
Нам сообщили, что небольшой размер Phi-3 Mini означает, что он может работать в автономном режиме на смартфоне. Исследователи заявили, что его можно заставить занимать примерно 1.8 ГБ памяти, и опробовали его в автономном режиме на iPhone 14 с чипом A16 Bionic, работающим на устройстве. В статье исследователи показывают скриншоты, на которых Фи-3 Мини пишет стихотворение и предлагает, чем заняться в Хьюстоне.
Исследователи также подчеркивают недостатки, присущие сосредоточению внимания на понимании языка и рассуждении. «Модель просто не способна хранить слишком много «фактических знаний»», и это можно в определенной степени смягчить, дополнив ее поисковой системой. Однако это лишит возможности запускать его в автономном режиме.
В настоящее время язык в основном ограничен английским, и проблемы, присущие большинству LLM – галлюцинации, усиление предвзятости и генерация неподходящего контента – также можно найти в Phi-3 Mini.
Исследователи говорят в статье: «Впереди предстоит значительная работа для полного решения этих проблем».
Более крупные модели, условно говоря, также анонсированы в виде Phi-3 Small и Phi-3 Medium с 7 и 14 миллиардами параметров соответственно.
Виктор Ботев, технический директор и соучредитель компании Ирис.ai, сказал нам: «Объявление Microsoft о модели Phi-3 представляет собой продолжающуюся тенденцию в развитии искусственного интеллекта. Вместо того, чтобы гоняться за все более крупными моделями, Microsoft разрабатывает инструменты с более тщательно подобранными данными и специализированным обучением. Это позволяет повысить производительность и способности к рассуждению без огромных вычислительных затрат на модели с триллионами параметров. Выполнение этого обещания означало бы устранение огромного барьера внедрения для компаний, ищущих решения в области искусственного интеллекта.
«Microsoft мудро выходит за рамки подхода «чем больше, тем лучше». Для широко распространенных бизнес- и потребительских приложений искусственного интеллекта осуществимость и специфичность важнее, чем огромное количество параметров. Такие модели, как Phi-3, ясно демонстрируют, что при наличии правильных данных и подходе к обучению расширенные возможности ИИ не требуют создания все более крупных моделей, что является решающим фактором для предприятий, где соотношение затрат и качества имеет решающее значение». ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 14
- 2023
- 7
- 8
- a
- способности
- в состоянии
- адрес
- Принятие
- продвинутый
- впереди
- AI
- разрешено
- позволяет
- причислены
- Усиление
- an
- и
- объявило
- Объявление
- Приложения
- подхода
- примерно
- МЫ
- AS
- At
- барьер
- BE
- было
- не являетесь
- Лучшая
- Beyond
- смещение
- больший
- миллиард
- ширина
- Строительство
- бизнес
- бизнес
- но
- by
- CAN
- возможности
- способный
- Пропускная способность
- осторожно
- определенный
- проблемы
- чип
- требования
- явно
- CO
- Соучредитель
- выходит
- конкурентов
- вычислительный
- потребитель
- содержание
- продолжающийся
- Расходы
- может
- критической
- CTO
- Куратор
- данным
- день
- Декабрь
- Решение
- демонстрировать
- развернуть
- развивающийся
- Развитие
- устройство
- do
- приносит
- вниз
- отрицательные стороны
- Двигатель
- Английский
- достаточно
- пример
- степень
- фактор
- осуществимость
- фигура
- Фокус
- фокусировка
- Что касается
- форма
- найденный
- от
- Граница
- выполнение
- полностью
- игра
- поколение
- хорошо
- Есть
- сильно
- Выделите
- очень
- Хьюстон
- Однако
- HTTP
- HTTPS
- огромный
- if
- важную
- улучшенный
- in
- информация
- свойственный
- Интернет
- в
- iPhone
- iphone 14
- IT
- ЕГО
- JPG
- знания
- язык
- последний
- Лига
- наименее
- Оставлять
- уровень
- легкий
- такое как
- искать
- сделанный
- массивный
- значить
- означает
- средний
- Память
- Microsoft
- может быть
- Мышление
- модель
- Модели
- БОЛЕЕ
- самых
- в основном
- много
- изначально
- Необходимость
- Заметки
- of
- оффлайн
- on
- только
- открытый
- or
- внешний
- бумага & картон
- параметры
- особый
- производительность
- Телефон
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- возможное
- премьер-министр
- представить
- проблемам
- обещание
- скорее
- соотношение
- RE
- достигать
- относительно
- удаление
- представляет
- требовать
- исследованиям
- исследователи
- соответственно
- ограниченный
- результат
- правую
- соперников
- Run
- Бег
- s
- Сказал
- сообщили
- скриншоты
- Поиск
- Поисковая система
- показывать
- значительный
- просто
- Размер
- небольшой
- смартфон
- So
- Решения
- удалось
- Источники
- Говоря
- специализированный
- специфичность
- магазин
- предмет
- такие
- целевое
- чем
- который
- Ассоциация
- Там.
- Эти
- вещи
- этой
- в
- Лексемы
- заявил
- слишком
- инструменты
- Всего
- Train
- специалистов
- Обучение
- тенденция
- пыталась
- Триллион
- триллионы
- понимание
- us
- используемый
- различный
- законопроект
- we
- Web
- когда
- который
- в то время как
- широко распространена
- мудро
- без
- Работа
- бы
- письмо
- зефирнет