Procesarea imaginilor și casete de delimitare pentru OCR

---

Casete de delimitare în procesarea imaginilor

La început, caseta de delimitare este o casetă dreptunghiulară imaginară care include un obiect și un set de puncte de date. În contextul procesării digitale a imaginilor, caseta de delimitare denotă coordonatele graniței pe axele X și Y care încadrează o imagine. Ele sunt folosite pentru a identifica o țintă și servesc ca referință pentru detectarea obiectului și pentru a genera o casetă de coliziune pentru obiect.

Ce sunt cutiile de delimitare?

Cutiile de delimitare sunt elementele cheie și unul dintre instrumentele principale de procesare a imaginilor pentru proiectele de adnotare video. În esență, o casetă de delimitare este un dreptunghi imaginar care conturează obiectul dintr-o imagine ca parte a cerinței unui proiect de învățare automată. Cadrul dreptunghiular imaginar cuprinde obiectul în imagine.

Cutiile de delimitare specifică poziția obiectului, clasa sa și gradul de încredere care indică gradul de probabilitate ca obiectul să fie de fapt prezent în caseta de delimitare.

Viziunea computerizată oferă aplicații uimitoare – de la mașini cu conducere autonomă la recunoașterea facială și multe altele. Și acest lucru, la rândul său, este posibil prin procesarea imaginii.

Deci, este procesarea imaginii la fel de simplă ca desenarea dreptunghiurilor sau a modelelor în jurul obiectelor? Nu. Acestea fiind spuse, ce fac cutiile de delimitare?

Să înțelegem.

Cum funcționează cutiile de delimitare în procesarea imaginilor?

După cum am menționat, caseta de delimitare este un dreptunghi imaginar care acționează ca punct de referință pentru detectarea obiectului și dezvoltă o casetă de coliziune pentru obiect.

Deci, cum îi ajută pe adnotatorii de date? Ei bine, profesioniștii folosesc ideea de cutii de delimitare pentru a desena dreptunghiuri imaginare peste imagini. Ei creează contururi ale obiectelor în cauză în cadrul fiecărei imagini și îi definesc coordonatele X și Y. Acest lucru simplifică munca algoritmilor de învățare automată, ajutându-i să găsească căi de coliziune și altele, economisind astfel resursele de calcul.

De exemplu, în imaginea de mai jos, fiecare vehicul este un obiect cheie a cărui poziție și locație sunt esențiale pentru antrenarea modelelor de învățare automată. Adnotatorii de date folosesc tehnica casetelor de delimitare pentru a desena dreptunghiuri în jurul fiecăruia dintre aceste obiecte – vehicule, în acest caz.

Sursa: keymakr

Apoi, ei folosesc coordonatele pentru a înțelege poziția și locația fiecărui obiect, ceea ce este util pentru a antrena modelele de învățare automată. O singură casetă de delimitare nu oferă o rată bună de predicție. Pentru detectarea îmbunătățită a obiectelor, mai multe casete de delimitare trebuie utilizate în combinație cu metode de creștere a datelor.

Cutiile de delimitare sunt tehnici de adnotare a imaginii extrem de eficiente și robuste, care reduc costurile considerabil.

Parametrii care definesc o casetă de delimitare

Parametrii se bazează pe convențiile utilizate pentru a specifica caseta de delimitare. Parametrii cheie utilizați includ:

• Clasa: denotă obiectul din interiorul casetei de delimitare - de exemplu, mașini, case, clădiri etc.
• (X1, Y1): se referă la coordonatele X și Y ale colțului din stânga sus al dreptunghiului.
• (X2, Y2): se referă la coordonatele X și Y ale colțului din dreapta jos al dreptunghiului.
• (Xc, Yc): se referă la coordonatele X și Y ale centrului casetei de delimitare.
• Lățimea: Aceasta denotă lățimea casetei de delimitare.
• Înălțime: Aceasta indică înălțimea casetei de delimitare.
• Încredere: Aceasta reprezintă posibilitatea ca obiectul să fie în cutie. Să spunem că încrederea este de 0.9. Aceasta înseamnă că există o probabilitate de 90% ca obiectul să fie prezent în interiorul cutiei.

Convenții care specifică o casetă de delimitare

Când specificați o casetă de delimitare, de obicei, trebuie incluse două convenții principale. Acestea sunt:

• Coordonatele X și Y ale punctelor din stânga sus și din dreapta jos ale dreptunghiului.
• Coordonatele X și Y ale centrului casetei de delimitare, împreună cu lățimea și înălțimea acesteia.

Să ilustrăm acest lucru cu exemplul unei mașini.

A. În ceea ce privește prima convenție, caseta de delimitare este specificată în funcție de coordonatele punctelor din stânga sus și din dreapta jos.

Sursa: AnalyticsVidhya

b. În ceea ce privește cea de-a doua convenție, caseta de delimitare este descrisă în funcție de coordonatele centrale, lățimea și înălțimea.

Sursa: AnalyticsVidhya

Cum sunt legate convențiile?

În funcție de cazul de utilizare, este posibilă conversia între diferitele tipuri de convenții.

• Xc = (X1 + X2)/2
• Yc = (Y1 + Y2)/2
• Latime = (X2 – X1)
• Înălțime = (Y2 – Y1)

Cutii de delimitare explicate cu codul de programare

Să vedem un alt exemplu despre locația sau poziția unui obiect cu fragmente de cod.

Sursa: d2i

Încărcăm imaginea care va fi folosită pentru această ilustrație. Imaginea are un câine în stânga și o pisică în dreapta. Există două obiecte – un câine și o pisică în imagine.

Sursa: d2i

Sursa: d2i

Să luăm x și y ca coordonate pentru colțurile din stânga sus și din dreapta jos ale casetei de delimitare. Să spunem, (x1,y1) și (x2,y2). În mod similar, să luăm în considerare coordonatele axei (x,y) pentru centrul casetei de delimitare, împreună cu lățimea și înălțimea acesteia.

În continuare, definim două funcții pentru a converti aceste forme: box_corner_to_center convertește reprezentarea cu două colțuri în reprezentarea centru-înălțime-lățime și box_center_to_corner face invers.

Casetele cu argumente de intrare trebuie să fie un tensor bidimensional de formă (n,4), unde n este numărul de casete de delimitare.

Sursa: d2i

În continuare, să definim casetele de delimitare ale câinelui și pisicii pe imagine pe baza datelor de coordonate.

Sursa: d2i

Pentru a verifica corectitudinea funcțiilor de conversie a celor două casete de delimitare, putem converti de două ori.

Sursa: d2i

Sursa: d2i

Apoi, putem desena casetele de delimitare ale obiectelor de pe imagine pentru a verifica dacă sunt corecte. Înainte de aceasta, definim o funcție bbox_t_rect care reprezintă caseta de delimitare în formatul relevant al pachetului matplotlib.

Sursa: d2i

Acum, după ce adăugăm casetele de delimitare ale obiectelor de câine și pisică la imagine, vedem că conturul principal al acestor obiecte se află în cele două casete.

Sursa: d2i

Sursa: d2i

---

Doriți să automatizați sarcinile manuale repetitive? Verificați software-ul nostru de procesare a documentelor bazat pe fluxul de lucru Nanonets. Extrageți date din facturi, cărți de identitate sau orice document pe pilot automat!

---

Cazuri de utilizare obișnuite ale cutiilor de delimitare

Localizare de obiecte a vehiculelor autonome

Cutiile de delimitare sunt esențiale în formarea vehiculelor autonome sau autonome pentru a identifica obiectele de pe drum, cum ar fi clădiri, semnale de circulație, orice obstacole și multe altele. Acestea ajută la adnotarea oricăror obstacole și le permit roboților să conducă vehiculul în siguranță și să prevină accidentele, chiar și în caz de aglomerație.

Imagini robotice

Tehnicile de adnotare a imaginilor, cum ar fi cutiile de delimitare, sunt utilizate pe scară largă pentru a marca punctele de vedere ale roboților și dronelor. Aceste vehicule autonome ajută la clasificarea obiectelor de pe pământ folosind fotografiile obținute din această metodă de adnotare.

Etichetarea imaginilor pentru comerțul electronic și retail

Adnotările cu casete de delimitare ajută la îmbunătățirea vizualizării produselor, ceea ce reprezintă un mare plus în comerțul electronic și comerțul cu amănuntul. Modelele instruite pe articole similare pot adnota obiecte precum îmbrăcăminte de modă, accesorii, mobilier, produse cosmetice etc., mai precis atunci când sunt etichetate corespunzător. Mai jos sunt câteva dintre provocările abordate de adnotările casetelor de delimitare în retail:

• Rezultate de căutare incorecte

Dacă căutarea este singura modalitate prin care clienții pot da peste site-ul de comerț electronic, atunci datele incorecte ale catalogului pot duce la rezultate de căutare inexacte, fără a conduce astfel traficul clienților către site.

• Lanțuri de aprovizionare neorganizate

Pentru cei care doresc să-și extindă afacerea cu amănuntul, astfel încât milioane de produse să poată fi expediate anual, devine imperativ să aibă datele offline și online sincronizate.

• Digitalizare continuă

Este esențial să aveți toate produsele digitizate și etichetate sistematic și prompt pentru a vă asigura că clienții nu pierd nicio oportunitate nouă. În plus, etichetele trebuie să fie în context, aderarea la care devine dificilă pe măsură ce afacerea cu amănuntul se extinde și se adaugă mai multe produse.

Detectează pierderea mașinii pentru cererile de asigurare

Tehnica cutiilor de delimitare ajută la urmărirea mașinilor, bicicletelor sau a altor vehicule avariate într-un accident. Modelele de învățare automată folosesc aceste imagini din casetele de delimitare pentru a înțelege poziția și intensitatea pierderilor. Acest lucru ajută la estimarea costului pierderilor suferite, pe baza căruia clienții își pot prezenta estimarea înainte de a depune un proces.

Sursa: Superanotate

Detectarea obiectelor din interior

Cutiile de delimitare ajută computerele să detecteze articolele din interior, cum ar fi paturi, canapele, birouri, dulapuri sau aparate electrice. Acest lucru permite computerelor să aibă o senzație a spațiului și a tipurilor de obiecte prezente, cu dimensiunile și locația lor. Acest lucru, la rândul său, ajută modelele de învățare automată să identifice aceste elemente într-o situație reală.

Cutiile de delimitare sunt utilizate pe scară largă în fotografii ca instrument de învățare profundă pentru înțelegerea și interpretarea diferitelor tipuri de obiecte.

Identificarea bolilor și a creșterii plantelor în agricultură

Detectarea precoce a bolilor plantelor ajută fermierii să prevină pierderile severe. Odată cu apariția agriculturii inteligente, provocarea constă în formarea datelor pentru a preda modele de învățare automată pentru a detecta bolile plantelor. Cutiile de delimitare sunt un factor important care oferă mașinilor viziunea necesară.

Industria prelucrătoare

Detectarea obiectelor și identificarea articolelor în industrii este un aspect esențial al producției. Cu roboții și computerele activate cu inteligență artificială, rolul intervenției manuale este redus. Acestea fiind spuse, cutiile de delimitare joacă un rol crucial, ajutând la formarea modelelor de învățare automată pentru a localiza și detecta componentele industriale. În plus, procesele precum controlul calității, sortarea și operațiunile pe linia de asamblare, care fac parte din managementul calității, necesită detectarea obiectelor.

Imagistica medicala

Cutiile de delimitare găsesc și aplicații în industria sănătății, cum ar fi în imagistica medicală. Tehnica imagistică medicală se ocupă cu detectarea obiectelor anatomice precum inima și necesită o analiză rapidă și precisă. Cutiile de delimitare pot fi folosite pentru a antrena modelele de învățare automată, care vor putea apoi detecta inima sau alte organe rapid și precis.

CCTV-uri automate

CCTV-urile automate sunt un mandat în majoritatea unităților rezidențiale, comerciale și de altă natură. Adesea, este necesară o memorie mare pentru a păstra filmările CCTV capturate pentru o perioadă lungă de timp. Cu tehnici de detectare a obiectelor, cum ar fi cutiile de delimitare, se poate asigura că filmarea este înregistrată numai atunci când anumite obiecte sunt identificate. Cutiile de delimitare pot antrena modelele de învățare automată, care vor detecta doar acele obiecte și, în acel moment, materialul poate fi capturat. Acest lucru ar ajuta, de asemenea, la minimizarea spațiului de stocare necesar pentru CCTV și la reducerea costurilor.

Recunoașterea și detectarea facială

Recunoașterea facială oferă aplicații multiple, cum ar fi este folosită în supravegherea biometrică. În plus, diverse agenții precum bănci, aeroporturi, magazine cu amănuntul, stadioane și alte instituții folosesc recunoașterea feței pentru a preveni crimele și violența. Acestea fiind spuse, detectarea facială este un element important al vederii computerizate care implică procesarea imaginilor. Și din nou, casetele de delimitare pot fi folosite ca un instrument eficient pentru recunoașterea caracterelor.

---

Doriți să utilizați automatizarea proceselor robotizate? Consultați software-ul de procesare a documentelor bazat pe fluxul de lucru Nanonets. Fără cod. Platformă fără probleme.

---

Casete de delimitare pentru recunoașterea caracterelor

Detectarea obiectelor cuprinde – clasificarea imaginilor și localizarea obiectelor. Aceasta înseamnă că pentru ca un computer să detecteze un obiect, trebuie să știe care este obiectul în cauză și unde se află. Clasificarea imaginii atribuie o etichetă de clasă unei imagini. Localizarea obiectului este legată de desenarea casetei de delimitare în jurul obiectului în cauză într-o imagine.

Procesul implică un adnotator care desenează casetele de delimitare în jurul obiectelor și le etichetează. Acest lucru ajută la antrenarea algoritmului și îi permite să înțeleagă cum arată obiectul. Ca prim pas pentru detectarea obiectelor, setul de date imagine trebuie să aibă etichete.

Pentru a eticheta o imagine, urmați pașii de mai jos:

• Alegeți setul de date pe care doriți să îl instruiți și să îl testați. Faceți un folder din el.
• Să luăm exemplul unui proiect de detectare a feței precum: BTS, Avenger etc.
• Creați date despre numele folderului.
• În Google Drive, creați un folder cu numele FaceDetection.
• În folderul FaceDetection, creați un folder cu imaginea.
• În folderul de imagini, creați foldere cu imaginea de testare, testați XML, trenați imaginea și antrenați XML.

Sursa:indusmic

Acum, în folderul de imagini ale trenului, descărcați și încărcați 10-15 imagini cu BTS și Avengers în format JPEG. În mod similar, în folderul de imagini de testare, procedați la fel pentru 5-6 imagini. Se recomandă să aveți mai multe imagini în setul de date pentru rezultate precise.

Sursa: indusmic

Sursa: indusmic

Apoi, generați un fișier XML pentru fiecare imagine a imaginii de testare și antrenați folderele cu imagini

Descărcați și faceți clic pe Windows v_1.8.0. Faceți clic pe fișierul .exe din GitHub și apăsați pe Run.

Apoi, faceți clic pe directorul deschis pentru a selecta folderul imaginii. Veți vedea imaginea care trebuie etichetată. Pentru a eticheta, apăsați W de pe tastatură și faceți clic dreapta și trageți cursorul pentru a desena caseta în jurul obiectului. Dați-i un nume și faceți clic pe OK.

Sursa: indusmic

Apoi, salvați imaginea pentru a genera fișierul XML al imaginii în folderul de imagini, așa cum se arată mai jos.

Sursa: indusmic

Deschideți fișierul XML pentru a vedea coordonatele.

Sursa: indusmic

Repetați procedura pentru toate imaginile pentru a genera fișierele XML și căutați coordonatele.

---

Dacă lucrați cu facturi și chitanțe sau vă faceți griji cu privire la verificarea ID-ului, consultați Nanonets OCR online or Extractor de text PDF pentru a extrage text din documente PDF gratuit. Faceți clic mai jos pentru a afla mai multe despre Soluție de automatizare pentru întreprinderi Nanonets.

---

Diverse formate de adnotare utilizate în casetele de delimitare

În esență, o casetă de delimitare are 4 puncte în axele (x,y) reprezentând colțurile:

Sus-stânga: (x_min, y_min)

Sus, dreapta: (x_max, y_min)

Stânga jos:(x_min, y_max)

dreapta jos: (x_max, y_max)

Coordonatele casetei de delimitare sunt calculate în raport cu colțul din stânga sus al imaginii.

Există mai multe formate de adnotare a casetei de delimitare, fiecare folosind propria sa reprezentare a coordonatelor casetei de delimitare.

A. Albumentații

Ei folosesc patru valori pentru a reprezenta caseta de delimitare – [x_min, y_min, x_max, y_max] – care sunt normalizate prin împărțirea coordonatelor în pixeli pentru axa x la lățime și axa y la înălțimea imaginii.

Să presupunem că coordonatele casetei de delimitare sunt: ​​x1 = 678, y1 = 24; x2 = 543, y2= 213.

Fie lățime = 870, Înălțime = 789

Apoi, [678/870, 24/789, 543/870, 213/789] = [ 0.779310, 0.030418 ,0.624137, 0.269961]

Albumentații utilizează și interpretează aceste valori în interior cu casete de delimitare și le îmbunătățește.

b. COCO

Acesta este un format utilizat de setul de date Common Objects in Context COCO. În format COCO, o casetă de delimitare este reprezentată de patru valori: (x_min, y_min, lățime, înălțime). În esență, ele se referă la colțul din stânga sus și lățimea și înălțimea casetei de delimitare.

c. YOLO

În acest format, o casetă de delimitare este prezentată cu patru valori: (x_center, y_center, lățime, înălțime). Aici, x_center și y_center denotă coordonatele normalizate x și y ale centrului casetei de delimitare. Pentru a normaliza, coordonata x a centrului cu lățimea imaginii și coordonata y a centrului după înălțimea imaginii. Valorile lățimii și înălțimii sunt de asemenea normalizate.

d. PASCAL

În formatul Pascal, caseta de delimitare este reprezentată de coordonatele din stânga sus și din dreapta jos. Deci, valorile codificate în pixeli sunt: ​​[x_min, y_min, x_max, y_max]. Aici, [x_min, y_min] este cel din colțul din stânga sus, în timp ce [x_max, y_max] denotă colțul din dreapta jos al casetei de delimitare.

---

Doriți să automatizați sarcinile manuale repetitive? Economisiți timp, efort și bani sporind în același timp eficiența!

---

Precauții și cele mai bune practici în utilizarea cutiilor de delimitare

Sunt recomandate unele măsuri de precauție și cele mai bune practici pentru utilizarea optimă a casetelor de delimitare în procesarea imaginilor. Ei includ:

Variații de dimensiune a cutiei

Utilizarea tuturor casetelor de delimitare de aceeași dimensiune nu va oferi rezultate precise. Antrenarea modelelor dvs. pe cutii de delimitare de aceleași dimensiuni ar face ca modelul să funcționeze mai rău. De exemplu, dacă același obiect pare mai mic ca dimensiune, modelul poate să nu îl detecteze. În cazul obiectelor care apar mai mari decât se aștepta, acesta poate ocupa un număr mai mare de pixeli și nu oferă poziția și locația exactă a obiectului. Esența este să țineți cont de variația în dimensiune și volum a obiectului pentru a obține rezultatele dorite.

Etanșeitate perfectă în pixeli

Etanșeitatea este un factor crucial. Aceasta înseamnă că marginile casetei de delimitare trebuie să fie cât mai aproape de obiectul în cauză pentru rezultate precise. Lacunele constante pot afecta acuratețea în determinarea zonei de suprapunere dintre predicția modelului și obiectul real, creând astfel probleme.

Elemente în diagonală plasate în cutii de delimitare

Problema cu care se confruntă articolele plasate în diagonală într-o cutie de delimitare este că ocupă mult mai puțin spațiu în interiorul cutiei în comparație cu fundalul. Cu toate acestea, dacă este expus mai mult timp, modelul poate presupune că ținta este fundalul, deoarece acesta consumă mai mult spațiu. Deci, ca cea mai bună practică, se recomandă utilizarea poligoanelor și a segmentării instanțelor pentru obiectele diagonale. Cu toate acestea, este posibil să predați modelele cu o cutie de delimitare cu o cantitate bună de date de antrenament.

Reduceți suprapunerea casetei

Este întotdeauna sigur să evitați suprapunerile de adnotări în toate scenariile. Uneori, acest lucru poate provoca atât de multă dezordine încât doar unele casete suprapuse pot fi în sfârșit vizibile. Obiectele care au o suprapunere de etichetare cu alte entități produc rezultate relativ mai rele. Modelul nu va reuși să facă diferența între obiectul țintă și alte elemente din cauza suprapunerii excesive. În astfel de cazuri, poligoane pot fi utilizate pentru o precizie mai mare.

Concluzie

Procesarea imaginilor este un domeniu emergent al tehnologiei care oferă o gamă largă. Acestea fiind spuse, cutiile de delimitare formează cea mai frecvent aplicată tehnică de procesare a imaginii.

Pentru a rezuma, căsuțele de delimitare sunt o metodă de adnotare a imaginilor pentru a antrena modele de învățare automată bazate pe inteligență artificială. Este folosit pentru detectarea obiectelor și recunoașterea țintei într-o gamă largă de aplicații, inclusiv roboți, drone, vehicule autonome, camere de supraveghere și alte dispozitive de viziune artificială.

Resurse sugerate:

https://www.kdnuggets.com/2022/07/bounding-box-deep-learning-future-video-annotation.html#:~:text=A%20bounding%20box%20is%20a,location%2C%20size%2C%20and%20orientation.

https://www.v7labs.com/blog/bounding-box-annotation

https://towardsdatascience.com/image-data-labelling-and-annotation-everything-you-need-to-know-86ede6c684b1

---

Nanoneți API OCR și OCR online au multe interesante cazuri de utilizare tHat ar putea optimiza performanța afacerii dvs., economisi costuri și crește creșterea. Afla modul în care cazurile de utilizare Nanonets se pot aplica produsului dvs.

---