Microsoft twierdzi, że najnowsze wcielenie lekkiego modelu Phi-3 Mini AI może konkurować z konkurentami takimi jak GPT-3.5, a jednocześnie jest na tyle mały, że można go zainstalować na telefonie.
Phi-3 Mini to model językowy zawierający 3.8 miliarda parametrów, wytrenowany na 3.3 biliona tokenów. Liczba ta jest większa w porównaniu z 2.7 miliarda parametrów Phi-2, które Microsoft wprowadzono w grudniu 2023.
Zamiast wciskać jak najwięcej w modele szkoleniowe, skupiono się na rozumowaniu. Microsoft powiedział: „Na przykład wynik meczu w Premier League danego dnia może stanowić dobre dane treningowe dla modeli z pierwszej linii frontu, ale musimy usunąć takie informacje, aby pozostawić więcej miejsca na „wnioskowanie” dla modeli w rozmiarze mini .”
Ukierunkowane podejście oznacza, że chociaż Phi-3 może nie dysponować tak szeroką wiedzą jak konkurenci, jest co najmniej tak samo dobry, jeśli nie lepszy, jeśli chodzi o rozumowanie, tak twierdzi Microsoft. W Referat naukowy [PDF] Microsoft zauważa, że pozwoliło to jego małemu modelowi językowemu „osiągnąć poziom modeli o dużych możliwościach, takich jak GPT-3.5 lub Mixtral z jedynie 3.8B parametrami całkowitymi (podczas gdy Mixtral ma na przykład 45B parametrów całkowitych).”
W badaniu zauważono również, że wykorzystane dane szkoleniowe składały się z „silnie przefiltrowanych danych internetowych… z różnych otwartych źródeł internetowych” oraz danych wygenerowanych przez LLM. Źródła danych wykorzystywane do szkolenia LLM są przedmiotem kilka spraw sądowych.
Powiedziano nam, że niewielki rozmiar Phi-3 Mini oznacza, że może działać w trybie offline na smartfonie. Badacze stwierdzili, że można go zająć około 1.8 GB pamięci, i wypróbowali go w trybie offline na iPhonie 14 z chipem A16 Bionic działającym natywnie na urządzeniu. W artykule badacze pokazują zrzuty ekranu przedstawiające Phi-3 Mini piszącego wiersz i sugerującego, co warto zobaczyć w Houston.
Naukowcy podkreślają również wady związane z skupianiem się na rozumieniu języka i rozumowaniu. „Model po prostu nie ma możliwości przechowywania zbyt dużej ilości „wiedzy faktycznej”, co można w pewnym stopniu złagodzić, wzbogacając go o wyszukiwarkę. Jednak byłoby to sprzeczne z celem możliwości uruchomienia go w trybie offline.
Obecnie język ten ogranicza się głównie do języka angielskiego, a problemy charakterystyczne dla większości LLM – halucynacje, wzmocnienie uprzedzeń i generowanie nieodpowiednich treści – można również znaleźć w Phi-3 Mini.
Naukowcy stwierdzają w artykule: „Przed nami wiele pracy, aby w pełni sprostać tym wyzwaniom”.
Zapowiedziano także większe modele – relatywnie rzecz biorąc – w postaci Phi-3 Small i Phi-3 Medium z odpowiednio 7 i 14 miliardami parametrów.
Victor Botev, CTO i współzałożyciel w Iris.ai, powiedział nam: „Ogłoszenie przez Microsoft modelu Phi-3 reprezentuje ciągły trend w rozwoju sztucznej inteligencji. Zamiast gonić za coraz większymi modelami, Microsoft opracowuje narzędzia oparte na dokładniej dobranych danych i specjalistycznych szkoleniach. Pozwala to na poprawę wydajności i zdolności wnioskowania bez ogromnych kosztów obliczeniowych modeli z bilionami parametrów. Spełnienie tej obietnicy oznaczałoby usunięcie ogromnej bariery wdrożeniowej dla firm poszukujących rozwiązań AI.
„Microsoft mądrze wychodzi poza zasadę „większe jest lepsze”. W przypadku szeroko rozpowszechnionych zastosowań sztucznej inteligencji dla przedsiębiorstw i konsumentów wykonalność i specyfika są ważniejsze niż ogromne parametry. Modele takie jak Phi-3 wyraźnie pokazują, że przy odpowiednim podejściu do danych i szkoleń zaawansowane możliwości sztucznej inteligencji nie muszą wymagać budowania coraz większych modeli – jest to czynnik decydujący dla firm, w których stosunek kosztów do jakości ma kluczowe znaczenie”. ®
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 1
- 14
- 2023
- 7
- 8
- a
- zdolności
- Zdolny
- adres
- Przyjęcie
- zaawansowany
- przed
- AI
- dozwolony
- pozwala
- również
- Wzmocnienie
- an
- i
- ogłosił
- Zapowiedź
- aplikacje
- podejście
- w przybliżeniu
- SĄ
- AS
- At
- bariera
- BE
- być
- jest
- Ulepsz Swój
- Poza
- stronniczość
- większe
- Miliard
- szerokość
- Budowanie
- biznes
- biznes
- ale
- by
- CAN
- możliwości
- zdolny
- Pojemność
- ostrożnie
- pewien
- wyzwania
- żeton
- roszczenia
- wyraźnie
- CO
- Współzałożyciel
- byliśmy spójni, od początku
- konkurenci
- obliczeniowy
- konsument
- zawartość
- kontynuując
- Koszty:
- mógłby
- krytyczny
- CTO
- kurator
- dane
- dzień
- grudzień
- Decydowanie
- wykazać
- wdrażane
- rozwijanie
- oprogramowania
- urządzenie
- do
- robi
- na dół
- wady
- silnik
- Angielski
- dość
- przykład
- stopień
- czynnik
- wykonalność
- Postać
- Skupiać
- skupienie
- W razie zamówieenia projektu
- Nasz formularz
- znaleziono
- od
- Granica
- spełnianie
- w pełni
- gra
- generacja
- dobry
- Have
- ciężko
- Atrakcja
- wysoko
- Houston
- Jednak
- http
- HTTPS
- olbrzymi
- if
- ważny
- ulepszony
- in
- Informacja
- nieodłączny
- Internet
- najnowszych
- iPhone
- iphone 14
- IT
- JEGO
- jpg
- wiedza
- język
- firmy
- Liga
- najmniej
- Pozostawiać
- poziom
- lekki
- lubić
- poszukuje
- zrobiony
- masywny
- oznaczać
- znaczy
- średni
- Pamięć
- Microsoft
- może
- Mindset
- model
- modele
- jeszcze
- większość
- przeważnie
- dużo
- natywnie
- Potrzebować
- Uwagi
- of
- nieaktywny
- on
- tylko
- koncepcja
- or
- na zewnątrz
- Papier
- parametry
- szczególny
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- telefon
- plato
- Analiza danych Platona
- PlatoDane
- punkt
- możliwy
- premier
- teraźniejszość
- problemy
- obietnica
- raczej
- stosunek
- RE
- dosięgnąć
- stosunkowo
- usunąć
- reprezentuje
- wymagać
- Badania naukowe
- Badacze
- odpowiednio
- ograniczony
- dalsze
- prawo
- rywale
- run
- bieganie
- s
- Powiedział
- powiedzieć
- screeny
- Szukaj
- Wyszukiwarka
- pokazać
- znaczący
- po prostu
- Rozmiar
- mały
- smartphone
- So
- Rozwiązania
- coś
- Źródła
- Mówiąc
- wyspecjalizowanym
- specyficzność
- sklep
- przedmiot
- taki
- ukierunkowane
- niż
- że
- Połączenia
- Tam.
- Te
- rzeczy
- to
- do
- Żetony
- powiedział
- także
- narzędzia
- Kwota produktów:
- Pociąg
- przeszkolony
- Trening
- Trend
- wypróbowany
- Trylion
- biliony
- zrozumienie
- us
- używany
- różnorodny
- była
- we
- sieć
- jeśli chodzi o komunikację i motywację
- który
- Podczas
- rozpowszechniony
- mądrze
- w
- bez
- Praca
- by
- pisanie
- zefirnet