Sfaturi pentru a vă îmbunătăți modelul de etichete personalizate Amazon Rekognition

În această postare, discutăm cele mai bune practici pentru a îmbunătăți performanța modelelor dvs. de vizualizare pe computer Etichete personalizate Amazon Rekognition. Rekognition Custom Labels este un serviciu complet gestionat pentru a construi modele personalizate de viziune computerizată pentru clasificarea imaginilor și cazurile de utilizare pentru detectarea obiectelor. Etichetele personalizate Rekognition se bazează pe modelele pre-antrenate în Amazon Rekognition, care sunt deja antrenate pe zeci de milioane de imagini din mai multe categorii. În loc de mii de imagini, puteți începe cu un set mic de imagini de antrenament (câteva sute sau mai puțin) care sunt specifice cazului dvs. de utilizare. Etichetele personalizate Rekognition elimina complexitatea implicată în construirea unui model personalizat. Acesta inspectează automat datele de antrenament, selectează algoritmii ML potriviți, selectează tipul de instanță, antrenează mai multe modele candidate cu diferite setări de hiperparametri și emite cel mai bine antrenat model. Etichetele personalizate Rekognition oferă, de asemenea, o interfață ușor de utilizat de la Consola de administrare AWS pentru gestionarea întregului flux de lucru ML, inclusiv etichetarea imaginilor, instruirea modelului, implementarea modelului și vizualizarea rezultatelor testului.

Există momente în care acuratețea unui model nu este cea mai bună și nu aveți multe opțiuni pentru a ajusta parametrii de configurare ai modelului. În culise există mai mulți factori care joacă un rol cheie pentru a construi un model performant, cum ar fi următorii:

• Unghiul imaginii
• Rezoluția imaginii
• Raportul de aspect al imaginii
• Expunerea la lumină
• Claritatea și intensitatea fundalului
• Contrast color
• Dimensiunea datelor eșantionului

Următorii sunt pașii generali care trebuie urmați pentru a pregăti un model de etichete personalizate Rekognition de nivel de producție:

1. Examinați taxonomia – Aceasta definește lista de atribute/articole pe care doriți să le identificați într-o imagine.
2. Colectați date relevante – Acesta este cel mai important pas, în care trebuie să colectați imagini relevante care ar trebui să semene cu ceea ce ați vedea într-un mediu de producție. Aceasta ar putea implica imagini cu obiecte cu fundaluri, iluminare sau unghiuri ale camerei diferite. Apoi creați un set de date de antrenament și testare prin împărțirea imaginilor colectate. Trebuie să includeți doar imagini din lumea reală ca parte a setului de date de testare și nu ar trebui să includeți imagini generate sintetic. Adnotările datelor pe care le-ați colectat sunt cruciale pentru performanța modelului. Asigurați-vă că casetele de delimitare sunt strânse în jurul obiectelor și că etichetele sunt corecte. Discutăm câteva sfaturi pe care le puteți lua în considerare atunci când construiți un set de date adecvat mai târziu în această postare.
3. Examinați valorile de formare – Utilizați seturile de date anterioare pentru a antrena un model și a revizui valorile de antrenament pentru scorul F1, precizie și reamintire. Vom discuta în detalii despre cum să analizăm metricile de antrenament mai târziu în această postare.
4. Evaluați modelul antrenat – Utilizați un set de imagini nevăzute (neutilizate pentru antrenamentul modelului) cu etichete cunoscute pentru a evalua predicțiile. Acest pas trebuie efectuat întotdeauna pentru a vă asigura că modelul funcționează conform așteptărilor într-un mediu de producție.
5. Reinstruire (opțional) – În general, antrenarea oricărui model de învățare automată este un proces iterativ pentru a obține rezultatele dorite, un model de viziune computerizată nu este diferit. Examinați rezultatele din Pasul 4, pentru a vedea dacă mai multe imagini trebuie adăugate la datele de antrenament și repetați pașii 3 – 5 de mai sus.

În această postare, ne concentrăm pe cele mai bune practici privind colectarea datelor relevante (Pasul 2) și evaluarea valorilor pregătite (Pasul 3) pentru a vă îmbunătăți performanța modelului.

Colectați date relevante

Aceasta este etapa cea mai critică a formării unui model de etichete personalizate Rekognition de nivel de producție. Mai exact, există două seturi de date: instruire și testare. Datele de antrenament sunt folosite pentru antrenamentul modelului și trebuie să depui efortul pentru a construi un set de antrenament adecvat. Modelele de etichete personalizate Rekognition sunt optimizate pentru Scor F1 pe setul de date de testare pentru a selecta cel mai precis model pentru proiectul dvs. Prin urmare, este esențial să creați un set de date de testare care să semene cu lumea reală.

Numărul de imagini

Vă recomandăm să aveți minimum 15-20 de imagini pe etichetă. Având mai multe imagini cu mai multe variații care reflectă cazul dvs. de utilizare, va îmbunătăți performanța modelului.

Set de date echilibrat

În mod ideal, fiecare etichetă din setul de date ar trebui să aibă un număr similar de mostre. Nu ar trebui să existe o diferență masivă în numărul de imagini pe etichetă. De exemplu, un set de date în care cel mai mare număr de imagini pentru o etichetă este de 1,000 față de 50 de imagini pentru o altă etichetă seamănă cu un set de date dezechilibrat. Vă recomandăm să evitați scenariile cu un raport deformat de 1:50 între eticheta cu cel mai mic număr de imagini față de eticheta cu cel mai mare număr de imagini.

Diferite tipuri de imagini

Includeți imagini în setul de date de instruire și testare care seamănă cu ceea ce veți folosi în lumea reală. De exemplu, dacă doriți să clasificați imagini ale camerelor de zi față de dormitoare, ar trebui să includeți imagini goale și mobilate ale ambelor camere.

Următoarea este un exemplu de imagine a unui living mobilat.

În schimb, următorul este un exemplu de sufragerie nemobilată.

Următoarea este un exemplu de imagine a unui dormitor mobilat.

Următoarea este un exemplu de imagine a unui dormitor nemobilat.

Fundaluri variate

Includeți imagini cu fundaluri diferite. Imaginile cu context natural pot oferi rezultate mai bune decât fundalul simplu.

Următoarea este un exemplu de imagine a curții din față a unei case.

Următoarea este un exemplu de imagine a curții din față a unei case diferite, cu un fundal diferit.

Condiții de iluminare variate

Includeți imagini cu iluminare variată, astfel încât să acopere diferitele condiții de iluminare care apar în timpul inferenței (de exemplu, cu și fără bliț). De asemenea, puteți include imagini cu saturație, nuanță și luminozitate diferite.

Următoarea este un exemplu de imagine a unei flori sub lumină normală.

În schimb, următoarea imagine este a aceleiași flori sub lumină puternică.

Unghiuri variate

Includeți imagini luate din diferite unghiuri ale obiectului. Acest lucru ajută modelul să învețe diferite caracteristici ale obiectelor.

Următoarele imagini sunt ale aceluiași dormitor din unghiuri diferite.

Pot exista ocazii în care nu este posibil să obțineți imagini de diferite tipuri. În aceste scenarii, imaginile sintetice pot fi generate ca parte a setului de date de antrenament. Pentru mai multe informații despre tehnicile comune de mărire a imaginii, consultați Augmentarea datelor.

Adăugați etichete negative

Pentru clasificarea imaginilor, adăugarea de etichete negative poate ajuta la creșterea preciziei modelului. De exemplu, puteți adăuga o etichetă negativă, care nu se potrivește cu niciuna dintre etichetele necesare. Următoarea imagine reprezintă diferitele etichete utilizate pentru a identifica florile crescute complet.

Adăugarea etichetei negative not_fully_grown ajută modelul să învețe caracteristici care nu fac parte din fully_grown eticheta.

Gestionarea confuziei pe etichetă

Analizați rezultatele din setul de date de testare pentru a recunoaște orice tipare care este omisă în setul de date de antrenament sau de testare. Uneori este ușor să reperezi astfel de modele examinând vizual imaginile. În imaginea următoare, modelul se străduiește să rezolve între o etichetă de curte și de terasă.

În acest scenariu, adăugarea mai multor imagini la aceste etichete în setul de date și, de asemenea, redefinirea etichetelor astfel încât fiecare etichetă să fie distinctă poate ajuta la creșterea acurateței modelului.

Mărirea datelor

În interiorul etichetelor personalizate Rekognition, efectuăm diverse măriri de date pentru antrenamentul modelului, inclusiv decuparea aleatorie a imaginii, tremurul de culoare, zgomote gaussiene aleatorii și multe altele. Pe baza cazurilor dvs. de utilizare specifice, ar putea fi, de asemenea, benefic să adăugați creșteri de date mai explicite la datele de antrenament. De exemplu, dacă sunteți interesat să detectați animale atât în ​​imagini color, cât și în alb-negru, puteți obține o precizie mai bună adăugând versiuni alb-negru și color ale acelorași imagini la datele de antrenament.

Nu recomandăm creșteri ale datelor de testare decât dacă creșterile reflectă cazurile de utilizare în producție.

Examinați valorile de formare

Scorul F1, precizia, reamintirea și pragul presupus sunt metrics care sunt generate ca rezultat al antrenării unui model utilizând etichete personalizate Rekognition. Modelele sunt optimizate pentru cel mai bun scor F1 pe baza setului de date de testare furnizat. Pragul presupus este, de asemenea, generat pe baza setului de date de testare. Puteți ajusta pragul în funcție de cerințele dvs. de afaceri în ceea ce privește precizia sau rechemarea.

Deoarece pragurile presupuse sunt stabilite pe setul de date de testare, un set de testare adecvat ar trebui să reflecte cazul de utilizare a producției din lumea reală. Dacă setul de date de testare nu este reprezentativ pentru cazul de utilizare, este posibil să observați scoruri F1 artificial ridicate și performanțe slabe ale modelului pe imaginile dvs. din lumea reală.

Aceste valori sunt utile atunci când se efectuează o evaluare inițială a modelului. Pentru un sistem de producție, vă recomandăm să evaluați modelul în raport cu un set de date extern (500–1,000 de imagini nevăzute) reprezentativ pentru lumea reală. Acest lucru ajută la evaluarea modului în care modelul ar funcționa într-un sistem de producție și, de asemenea, la identificarea eventualelor modele lipsă și la corectarea lor prin reinstruirea modelului. Dacă observați o nepotrivire între scorurile F1 și evaluarea externă, vă sugerăm să examinați dacă datele dvs. de testare reflectă cazul de utilizare din lumea reală.

Concluzie

În această postare, v-am prezentat cele mai bune practici pentru îmbunătățirea modelelor de etichete personalizate Rekognition. Vă încurajăm să aflați mai multe despre Recunoașterea etichetelor personalizate și încercați-l pentru seturile de date specifice companiei dvs.

---

Despre autori

Amit Gupta este arhitect senior de soluții de servicii AI la AWS. Este pasionat de a oferi clienților soluții de învățare automată bine proiectate la scară.

Yogesh Chaturvedi este arhitect de soluții la AWS, cu accent pe viziunea computerizată. El lucrează cu clienții pentru a-și aborda provocările de afaceri folosind tehnologii cloud. În afara serviciului, îi place să facă drumeții, să călătorească și să urmărească sporturi.

Hao Yang este cercetător senior aplicat în echipa Amazon Rekognition Custom Labels. Principalele sale interese de cercetare sunt detectarea obiectelor și învățarea cu adnotări limitate. În afara lucrărilor, lui Hao îi place să vizioneze filme, fotografii și activități în aer liber.

Pashmeen Mistry este Senior Product Manager pentru Amazon Rekognition Custom Labels. În afara serviciului, lui Pashmeen îi plac drumețiile aventuroase, fotografierea și petrecerea timpului cu familia sa.