Cum folosește Searchmetrics Amazon SageMaker pentru a găsi automat cuvinte cheie relevante și pentru a-și face analiștii umani cu 20% mai rapid

Searchmetrics este un furnizor global de date de căutare, software și soluții de consultanță, ajutând clienții să transforme datele de căutare în informații unice de afaceri. Până în prezent, Searchmetrics a ajutat peste 1,000 de companii precum McKinsey & Company, Lowe's și AXA să găsească un avantaj în peisajul căutării hiper-competitiv.

În 2021, Searchmetrics a apelat la AWS pentru a ajuta la utilizarea inteligenței artificiale (AI) pentru a-și îmbunătăți și mai mult capacitățile de statistici de căutare.

În această postare, împărtășim modul în care Searchmetrics a creat o soluție AI care a sporit eficiența forței de muncă umane cu 20% prin găsirea automată a cuvintelor cheie de căutare relevante pentru orice subiect, folosind Amazon SageMaker și integrarea sa nativă cu Hugging Face.

Utilizarea inteligenței artificiale pentru a identifica relevanța dintr-o listă de cuvinte cheie

O parte cheie a ofertei de statistici a Searchmetrics este capacitatea sa de a identifica cele mai relevante cuvinte cheie de căutare pentru un anumit subiect sau intenție de căutare.

Pentru a face acest lucru, Searchmetrics are o echipă de analiști care evaluează potențiala relevanță a anumitor cuvinte cheie având în vedere un anumit cuvânt de bază. Analiștii folosesc un instrument intern pentru a examina un cuvânt cheie dintr-un anumit subiect și o listă generată de cuvinte cheie potențial înrudite, apoi trebuie să selecteze unul sau mai multe cuvinte cheie înrudite care sunt relevante pentru acel subiect.

Acest proces manual de filtrare și selecție a consumat timp și a încetinit capacitatea Searchmetrics de a oferi informații clienților săi.

Pentru a îmbunătăți acest proces, Searchmetrics a căutat să construiască o soluție AI care ar putea folosi procesarea limbajului natural (NLP) pentru a înțelege intenția unui anumit subiect de căutare și pentru a clasifica automat o listă nevăzută de potențiale cuvinte cheie în funcție de relevanță.

Folosind SageMaker și Hugging Face pentru a construi rapid capabilități avansate NLP

Pentru a rezolva acest lucru, echipa de inginerie a Searchmetrics a apelat la SageMaker, o platformă de învățare automată (ML) end-to-end care ajută dezvoltatorii și oamenii de știință de date să construiască, să antreneze și să implementeze rapid și ușor modele ML.

SageMaker accelerează implementarea sarcinilor de lucru ML simplificând procesul de construire ML. Oferă un set larg de capabilități ML pe lângă o infrastructură complet gestionată. Acest lucru elimină greutatea nediferențiată care împiedică prea des dezvoltarea ML.

Searchmetrics a ales SageMaker datorită gamei complete de capabilități pe care le-a oferit la fiecare pas al procesului de dezvoltare ML:

• SageMaker notebook-uri a permis echipei Searchmetrics să creeze rapid medii de dezvoltare ML gestionate complet, să efectueze preprocesarea datelor și să experimenteze diferite abordări
• transformarea lotului capabilitățile din SageMaker au permis Searchmetrics să-și proceseze eficient sarcinile utile de inferență în vrac, precum și să se integreze cu ușurință în serviciul său web existent în producție

Searchmetrics a fost, de asemenea, interesat în mod deosebit de integrarea nativă a SageMaker cu Fata îmbrățișată, o startup interesantă NLP care oferă acces ușor la peste 7,000 de modele de limbaj pre-antrenate prin populara sa bibliotecă Transformers.

SageMaker oferă o integrare directă cu Hugging Face printr-un estimator dedicat Hugging Face din SageMaker SDK. Acest lucru facilitează rularea modelelor Hugging Face pe infrastructura SageMaker complet gestionată.

Cu această integrare, Searchmetrics a putut să testeze și să experimenteze o gamă de modele și abordări diferite pentru a găsi cea mai performantă abordare pentru cazul lor de utilizare.

Soluția finală utilizează o conductă de clasificare zero-shot pentru a identifica cele mai relevante cuvinte cheie. Au fost evaluate diferite modele pre-antrenate și strategii de interogare, cu facebook/bart-large-mnli oferind cele mai promițătoare rezultate.

Utilizarea AWS pentru a îmbunătăți eficiența operațională și a găsi noi oportunități de inovare

Cu SageMaker și integrarea sa nativă cu Hugging Face, Searchmetrics a reușit să creeze, să antreneze și să implementeze o soluție NLP care ar putea înțelege un anumit subiect și ar putea clasifica cu precizie o listă nevăzută de cuvinte cheie în funcție de relevanța lor. Setul de instrumente oferit de SageMaker a făcut mai ușor experimentarea și implementarea.

Atunci când a fost integrată cu instrumentul intern existent al Searchmetrics, această capacitate AI a oferit o reducere medie de 20% a timpului necesar analiștilor umani pentru a-și finaliza munca. Acest lucru a dus la un debit mai mare, o experiență îmbunătățită a utilizatorului și o integrare mai rapidă a noilor utilizatori.

Acest succes inițial nu numai că a îmbunătățit performanța operațională a analiștilor de căutare ai Searchmetrics, dar a ajutat și Searchmetrics să găsească o cale mai clară spre implementarea unor soluții de automatizare mai cuprinzătoare folosind AI în afacerea sa.

Aceste noi oportunități interesante de inovare ajută Searchmetrics să-și îmbunătățească în continuare capacitățile de informații și, de asemenea, îi ajută să se asigure că clienții continuă să rămână în fruntea peisajului de căutare hiper-competitiv.

În plus, Hugging Face și AWS au anunțat un parteneriat la începutul anului 2022, care face și mai ușor antrenarea modelelor Hugging Face pe SageMaker. Această funcționalitate este disponibilă prin dezvoltarea Hugging Face Containere de învățare profundă AWS (DLC-uri). Aceste containere includ Hugging Face Transformers, Tokenizers și biblioteca Datasets, care ne permite să folosim aceste resurse pentru activități de instruire și inferență.

Pentru o listă a imaginilor DLC disponibile, consultați disponibile Deep Learning Containers Images, care sunt întreținute și actualizate în mod regulat cu corecții de securitate. Puteți găsi multe exemple despre cum să antrenați modelele Hugging Face cu aceste DLC-uri și Hugging Face Python SDK în cele ce urmează GitHub repo.

Aflați mai multe despre cum vă puteți accelera capacitatea de a inova cu AI/ML vizitând Noțiuni introductive cu Amazon SageMaker, obținerea de conținut de învățare practică prin revizuirea Resurse pentru dezvoltatori Amazon SageMaker, sau în vizită Hugging Face pe Amazon SageMaker.

---

Despre autor

Daniel Burke este liderul european pentru AI și ML în grupul Private Equity de la AWS. Daniel lucrează direct cu fonduri de private equity și companiile lor din portofoliu, ajutându-le să-și accelereze adoptarea AI și ML pentru a îmbunătăți inovația și a crește valoarea întreprinderii.

• Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
• CryptoHawk. Radar Altcoin. Încercare gratuită.
• Sursa: https://aws.amazon.com/blogs/machine-learning/how-searchmetrics-uses-amazon-sagemaker-to-automatically-find-relevant-keywords-and-make-their-human-analysts-20- Mai repede/