Obdelava slik in omejevalni okvirji za OCR

---

Omejevalni okvirji pri obdelavi slik

Na začetku je omejevalni okvir namišljen pravokoten okvir, ki vključuje predmet in nabor podatkovnih točk. V kontekstu obdelave digitalne slike omejevalni okvir označuje koordinate obrobe na oseh X in Y, ki zajemajo sliko. Uporabljajo se za identifikacijo tarče in služijo kot referenca za odkrivanje predmeta ter ustvarjanje polja za trčenje za predmet.

Kaj so omejevalni okvirji?

Omejitveni okvirji so ključni elementi in eno od primarnih orodij za obdelavo slik za projekte video opomb. V bistvu je omejevalni okvir namišljen pravokotnik, ki orisuje predmet na sliki kot del zahteve projekta strojnega učenja. Namišljeni pravokotni okvir oklepa predmet na sliki.

Omejevalni okvirji določajo položaj predmeta, njegov razred in zanesljivost, ki pove stopnjo verjetnosti, da je predmet dejansko prisoten v omejevalnem polju.

Računalniški vid ponuja neverjetne aplikacije – od samovozečih avtomobilov do prepoznavanja obrazov in več. To pa je omogočeno z obdelavo slik.

Je torej obdelava slik tako preprosta kot risanje pravokotnikov ali vzorcev okoli predmetov? Ne. Glede na to, kaj počnejo omejevalni okvirji?

Razumejmo.

Kako delujejo omejevalni okvirji pri obdelavi slik?

Kot že omenjeno, je omejevalni okvir namišljen pravokotnik, ki deluje kot referenčna točka za zaznavanje predmeta in oblikuje okvir trkov za predmet.

Torej, kako pomaga označevalcem podatkov? No, strokovnjaki uporabljajo zamisel o omejevalnih okvirih, da čez slike narišejo namišljene pravokotnike. Znotraj vsake slike ustvarijo obrise zadevnih predmetov in določijo koordinate X in Y. To poenostavlja delo algoritmov strojnega učenja, pomaga jim najti poti trkov in podobno, s čimer prihrani računalniške vire.

Na spodnji sliki je na primer vsako vozilo ključni predmet, katerega položaj in lokacija sta bistvena za usposabljanje modelov strojnega učenja. Označevalci podatkov uporabljajo tehniko omejevalnih polj, da narišejo pravokotnike okoli vsakega od teh predmetov – v tem primeru vozil.

vir: keymakr

Nato s pomočjo koordinat razumejo položaj in lokacijo vsakega predmeta, kar je koristno za urjenje modelov strojnega učenja. En sam omejevalni okvir ne zagotavlja dobre stopnje napovedi. Za izboljšano zaznavanje predmetov je treba uporabiti več omejevalnih polj v kombinaciji z metodami povečanja podatkov.

Omejitveni okvirji so zelo učinkovite in robustne tehnike označevanja slik, ki znatno zmanjšajo stroške.

Parametri, ki določajo omejevalni okvir

Parametri temeljijo na konvencijah, ki se uporabljajo za določanje omejevalnega polja. Ključni uporabljeni parametri vključujejo:

• Razred: Označuje predmet znotraj omejevalnega polja - na primer avtomobile, hiše, zgradbe itd.
• (X1, Y1): To se nanaša na koordinate X in Y v zgornjem levem kotu pravokotnika.
• (X2, Y2): To se nanaša na koordinate X in Y v spodnjem desnem kotu pravokotnika.
• (Xc, Yc): To se nanaša na koordinate X in Y središča omejevalnega polja.
• Širina: To označuje širino omejevalnega polja.
• Višina: To označuje višino omejevalnega polja.
• Zaupanje: To predstavlja možnost, da je predmet v škatli. Recimo, zaupanje je 0.9. To pomeni, da obstaja 90-odstotna verjetnost, da bo predmet dejansko prisoten v škatli.

Dogovori, ki določajo omejevalni okvir

Pri določanju omejevalnega okvirja je običajno treba vključiti dve glavni konvenciji. To so:

• X in Y koordinate zgornje leve in spodnje desne točke pravokotnika.
• Koordinate X in Y središča omejevalnega polja, skupaj z njegovo širino in višino.

Naj to ponazorimo na primeru avtomobila.

a. Glede na prvo konvencijo je omejevalni okvir določen glede na koordinate zgornje leve in spodnje desne točke.

vir: AnalyticsVidhya

b. Glede na drugo konvencijo je omejevalni okvir opisan glede na sredinske koordinate, širino in višino.

vir: AnalyticsVidhya

Kako sta konvencije povezani?

Odvisno od primera uporabe je možna pretvorba med različnimi vrstami konvencije.

• Xc = (X1 + X2)/2
• Yc = (Y1 + Y2)/2
• Širina = (X2 – X1)
• Višina = (Y2 – Y1)

Omejevalni okvirji, razloženi s programsko kodo

Oglejmo si še en primer o lokaciji ali položaju predmeta z odrezki kode.

vir: d2i

Naložimo sliko, ki jo bomo uporabili za to ilustracijo. Na sliki je na levi pes in na desni mačka. Na sliki sta dva predmeta – pes in mačka.

vir: d2i

vir: d2i

Vzemimo x in y kot koordinate za zgornji levi in ​​spodnji desni kot omejevalnega polja. Recimo (x1,y1) in (x2,y2). Podobno razmislimo o koordinatah osi (x,y) za središče omejevalnega polja, skupaj z njegovo širino in višino.

Nato definiramo dve funkciji za pretvorbo teh oblik: box_corner_to_center pretvori predstavitev dveh vogalov v predstavitev višine in širine središča, box_center_to_corner pa obratno.

Vhodna polja z argumenti morajo biti dvodimenzionalni tenzor oblike (n,4), kjer je n število mejnih polj.

vir: d2i

Nato na podlagi podatkov o koordinatah določimo mejni okvir psa in mačke na sliki.

vir: d2i

Če želite preveriti pravilnost pretvorbenih funkcij obeh omejevalnih okvirjev, lahko pretvorimo dvakrat.

vir: d2i

vir: d2i

Nato lahko na sliki narišemo omejevalne okvire predmetov, da preverimo, ali so točni. Pred tem definiramo funkcijo bbox_t_rect, ki predstavlja omejevalni okvir v ustreznem formatu paketa matplotlib.

vir: d2i

Zdaj, ko sliki dodamo omejevalna okvirja predmetov psa in mačke, vidimo, da je glavni obris teh predmetov znotraj dveh okvirjev.

vir: d2i

vir: d2i

---

Želite avtomatizirati ponavljajoča se ročna opravila? Preverite našo programsko opremo za obdelavo dokumentov, ki temelji na delovnem toku Nanonets. Izvlecite podatke iz računov, osebnih izkaznic ali katerega koli dokumenta na avtopilotu!

---

Pogosti primeri uporabe omejevalnih polj

Lokalizacija objektov samovozečih vozil

Omejitveni okvirji so sestavni del usposabljanja samovozečih ali avtonomnih vozil za prepoznavanje predmetov na cesti, kot so zgradbe, prometni signali, morebitne ovire in drugo. Pomagajo označiti morebitne ovire in robotom omogočijo varno vožnjo z vozilom ter preprečijo nesreče, tudi v primeru zastojev.

Posnetki robotike

Tehnike označevanja slik, kot so omejevalni okvirji, se pogosto uporabljajo za označevanje zornih kotov robotov in dronov. Ta avtonomna vozila pomagajo razvrščati predmete na zemlji z uporabo fotografij, pridobljenih s to metodo označevanja.

Označevanje slik za e-trgovino in maloprodajo

Opombe v omejevalnem polju pomagajo izboljšati vizualizacijo izdelka, kar je velik plus v e-trgovini in maloprodaji. Modeli, usposobljeni za podobne predmete, lahko natančneje označijo predmete, kot so modna oblačila, dodatki, pohištvo, kozmetika itd., če so pravilno označeni. Spodaj je nekaj izzivov, s katerimi se soočajo opombe o omejevalnih poljih v maloprodaji:

• Nepravilni rezultati iskanja

Če je iskanje edini način, na katerega lahko kupci naletijo na spletno mesto e-trgovine, potem lahko napačni podatki kataloga povzročijo netočne rezultate iskanja in s tem ne privabijo prometa strank na spletno mesto.

• Neorganizirane dobavne verige

Za tiste, ki želijo razširiti svoje maloprodajno poslovanje, tako da je mogoče letno poslati na milijone izdelkov, postane nujno, da so podatki brez povezave in na spletu sinhronizirani.

• Nenehna digitalizacija

Ključnega pomena je, da so vsi izdelki digitalizirani in označeni sistematično in takoj, da zagotovimo, da kupci ne zamudijo nobene nove priložnosti. Poleg tega morajo biti oznake v kontekstu, ki se ga je težko držati, ko se maloprodajna dejavnost širi in se dodaja več izdelkov.

Zazna izgubo avtomobila za zavarovalne zahtevke

Tehnika omejevalnih okvirjev pomaga slediti avtomobilom, kolesom ali drugim vozilom, poškodovanim v nesreči. Modeli strojnega učenja uporabljajo te slike iz omejevalnih okvirjev za razumevanje položaja in intenzivnosti izgub. To pomaga predvideti stroške nastalih izgub, na podlagi katerih lahko stranke predstavijo svojo oceno, preden vložijo tožbo.

vir: Superopomba

Zaznavanje notranjih predmetov

Omejitveni okvirji pomagajo računalnikom zaznati predmete v zaprtih prostorih, kot so postelje, zofe, mize, omare ali električne naprave. To omogoča računalnikom, da dobijo občutek prostora in vrste prisotnih predmetov z njihovimi dimenzijami in lokacijo. To pa pomaga modelom strojnega učenja pri prepoznavanju teh elementov v resničnem življenju.

Omejevalni okvirji se pogosto uporabljajo na fotografijah kot orodje za globoko učenje za razumevanje in razlago različnih vrst predmetov.

Identifikacija bolezni in rasti rastlin v kmetijstvu

Zgodnje odkrivanje rastlinskih bolezni kmetom pomaga preprečiti hude izgube. S pojavom pametnega kmetovanja je izziv usposabljanje podatkov za učenje modelov strojnega učenja za odkrivanje bolezni rastlin. Omejitveni okvirji so glavno gonilo, ki strojem zagotavlja potrebno vizijo.

Proizvodna industrija

Zaznavanje in prepoznavanje predmetov v industriji je bistven vidik proizvodnje. Z roboti in računalniki, ki podpirajo AI, je vloga ročnega posredovanja manjša. Kljub temu imajo omejevalni okvirji ključno vlogo, saj pomagajo usposobiti modele strojnega učenja za lociranje in odkrivanje industrijskih komponent. Poleg tega procesi, kot so nadzor kakovosti, sortiranje in operacije na tekočem traku, ki so vsi del upravljanja kakovosti, potrebujejo zaznavanje predmetov.

Medicinsko slikanje

Omejitveni okvirji se uporabljajo tudi v zdravstveni industriji, na primer pri medicinskem slikanju. Tehnika medicinskega slikanja se ukvarja z odkrivanjem anatomskih objektov, kot je srce, in zahteva hitro in natančno analizo. Omejitvene okvirje je mogoče uporabiti za usposabljanje modelov strojnega učenja, ki bodo nato lahko hitro in natančno zaznali srce ali druge organe.

Avtomatizirani CCTV

Avtomatizirani CCTV-ji so obvezni v večini stanovanjskih, poslovnih in drugih ustanov. Pogosto je potreben velik pomnilnik, da se zajeti posnetki CCTV ohranijo dolgo. S tehnikami zaznavanja objektov, kot so omejevalni okvirji, je mogoče zagotoviti, da se posnetek posname šele, ko so določeni predmeti identificirani. Omejitveni okvirji lahko učijo modele strojnega učenja, ki bodo zaznali samo te predmete in v tistem trenutku je mogoče posneti posnetek. To bi tudi pomagalo zmanjšati obseg shranjevanja, potrebnega za CCTV, in zmanjšati stroške.

Prepoznavanje in zaznavanje obraza

Prepoznavanje obraza ponuja več aplikacij, na primer pri biometričnem nadzoru. Poleg tega različne agencije, kot so banke, letališča, maloprodajne trgovine, stadioni in druge ustanove, uporabljajo prepoznavanje obrazov za preprečevanje zločinov in nasilja. Kljub temu je zaznavanje obrazov pomemben element računalniškega vida, ki vključuje obdelavo slik. In spet se lahko omejevalni okvirji uporabljajo kot učinkovito orodje za prepoznavanje znakov.

---

Želite uporabiti robotsko avtomatizacijo procesov? Oglejte si programsko opremo za obdelavo dokumentov Nanonets, ki temelji na delovnem toku. Brez kode. Platforma brez težav.

---

Omejitveni okvirji za prepoznavanje znakov

Zaznavanje objektov obsega – klasifikacijo slike in lokalizacijo objekta. To pomeni, da mora računalnik za zaznavanje predmeta vedeti, kaj je predmet in kje se nahaja. Klasifikacija slik dodeli sliki oznako razreda. Lokalizacija predmeta je povezana z risanjem omejevalnega okvirja okoli zadevnega predmeta na sliki.

Postopek vključuje označevalca, ki nariše omejevalne okvire okoli predmetov in jih označi. To pomaga usposobiti algoritem in mu omogoči, da razume, kako je predmet videti. Kot prvi korak za odkrivanje objektov mora imeti nabor slikovnih podatkov oznake.

Če želite označiti sliko, sledite spodnjim korakom:

• Izberite nabor podatkov, ki ga želite usposobiti in preizkusiti. Naredite mapo iz tega.
• Vzemimo primer projekta zaznavanja obrazov, kot so: BTS, Avenger itd.
• Ustvari podatke o imenu mape.
• V storitvi Google Drive ustvarite mapo z imenom FaceDetection.
• V mapi FaceDetection ustvarite mapo slike.
• V mapi slike ustvarite mape testne slike, testnega XML-ja, slike vlaka in XML-ja vlaka.

vir:indusmično

Zdaj v mapo s slikami vlaka prenesite in naložite 10-15 slik BTS in Avengers v formatu JPEG. Podobno v mapi testne slike naredite enako za 5-6 slik. Za natančne rezultate je priporočljivo imeti več slik v naboru podatkov.

vir: indusmično

vir: indusmično

Nato ustvarite datoteko XML za vsako sliko testne slike in mape s slikami vlaka

Prenesite in kliknite windows v_1.8.0. Kliknite datoteko .exe iz GitHub in pritisnite Zaženi.

Nato kliknite odprti imenik, da izberete mapo s sliko. Videli boste sliko, ki jo je treba označiti. Če želite označiti, pritisnite W na tipkovnici in z desno miškino tipko kliknite ter povlecite kazalec, da narišete okvir okoli predmeta. Poimenujte ga in kliknite V redu.

vir: indusmično

Nato shranite sliko, da ustvarite datoteko XML slike v mapi s slikami, kot je prikazano spodaj.

vir: indusmično

Odprite datoteko XML, da vidite koordinate.

vir: indusmično

Ponovite postopek za vse slike, da ustvarite datoteke XML in poiščete koordinate.

---

Če delate z računi in potrdili ali vas skrbi preverjanje osebnih dokumentov, si oglejte Nanonets spletni OCR or Ekstraktor besedila PDF za ekstrahiranje besedila iz dokumentov PDF zastonj. Kliknite spodaj, če želite izvedeti več o Rešitev za avtomatizacijo podjetij Nanonets.

---

Različni formati opomb, ki se uporabljajo v omejevalnih poljih

V bistvu ima omejevalni okvir 4 točke na oseh (x,y), ki predstavljajo vogale:

Zgoraj levo: (x_min, y_min)

Zgoraj desno: (x_max, y_min)

Spodaj-levo:(x_min, y_max)

Spodaj-desno: (x_max, y_max)

Koordinate omejevalnega polja so izračunane glede na zgornji levi kot slike.

Obstaja več formatov pripisov omejevalnih okvirjev, od katerih vsak uporablja svojo predstavitev koordinat omejevalnih okvirjev.

a. Albummentacije

Uporabljajo štiri vrednosti za predstavitev omejevalnega polja – [x_min, y_min, x_max, y_max] – ki so normalizirane tako, da se koordinate v slikovnih pikah za os x delijo s širino in os y z višino slike.

Recimo, da so koordinate omejevalnega polja: x1 = 678, y1 = 24; x2 = 543, y2 = 213.

Naj bo širina = 870, višina = 789

Potem je [678/870, 24/789, 543/870, 213/789] = [0.779310, 0.030418, 0.624137, 0.269961]

Albummentations interno uporablja in interpretira te vrednosti z omejevalnimi okvirji in jih izboljša.

b. COCO

To je oblika, ki jo uporablja nabor podatkov COCO Common Objects in Context. V formatu COCO je omejevalni okvir predstavljen s štirimi vrednostmi: (x_min, y_min, širina, višina). V bistvu se nanašajo na zgornji levi kot ter širino in višino omejevalnega polja.

c. YOLO

V tej obliki je omejevalni okvir predstavljen s štirimi vrednostmi: (x_center, y_center, širina, višina). Tukaj x_center in y_center označujeta normalizirani koordinati x in y središča omejevalnega polja. Za normalizacijo koordinato x središča glede na širino slike in koordinato središča y glede na višino slike. Normirani sta tudi vrednosti širine in višine.

d. PASCAL

V formatu Pascal je omejevalni okvir predstavljen z zgornjimi levimi in spodnjimi desnimi koordinatami. Torej so vrednosti, kodirane v slikovnih pikah: [x_min, y_min, x_max, y_max]. Tu je [x_min, y_min] tisti v zgornjem levem kotu, medtem ko [x_max, y_max] označuje spodnji desni kot omejevalnega polja.

---

Želite avtomatizirati ponavljajoča se ročna opravila? Prihranite čas, trud in denar ter hkrati povečajte učinkovitost!

---

Previdnostni ukrepi in najboljše prakse pri uporabi omejevalnih okvirjev

Za optimalno uporabo omejevalnih okvirjev pri obdelavi slik so priporočeni nekateri previdnostni ukrepi in najboljše prakse. Vključujejo:

Različice velikosti škatle

Če uporabite vse omejevalne okvirje enake velikosti, rezultati ne bodo natančni. Usposabljanje vaših modelov na omejevalnih okvirih enakih velikosti bi poslabšalo delovanje modela. Na primer, če je isti predmet videti manjši, ga model morda ne bo zaznal. V primeru, da so predmeti videti večji od pričakovanega, lahko zavzame večje število slikovnih pik in ne zagotavlja natančnega položaja in lokacije predmeta. Bistvo je upoštevati razlike v velikosti in prostornini predmeta, da bi dosegli želene rezultate.

Pixel-popolna tesnost

Tesnost je odločilen dejavnik. To pomeni, da morajo biti robovi omejevalnega polja čim bližje zadevnemu predmetu za natančne rezultate. Dosledne vrzeli lahko vplivajo na natančnost pri določanju območja prekrivanja med napovedjo modela in dejanskim objektom, kar povzroča težave.

Diagonalni elementi, postavljeni v omejevalne okvirje

Težava, s katero se srečujejo elementi, ki so diagonalno postavljeni znotraj omejevalnega polja, je, da zavzamejo bistveno manj prostora znotraj polja v primerjavi z ozadjem. Če pa je izpostavljen dlje, lahko model domneva, da je tarča ozadje, saj to porabi več prostora. Zato je kot najboljša praksa priporočljiva uporaba poligonov in segmentacije primerkov za diagonalne predmete. Kljub temu je mogoče naučiti modele z omejevalnim poljem z dobro količino podatkov za usposabljanje.

Zmanjšajte prekrivanje polj

Vedno se je varno izogniti prekrivanju opomb v vseh scenarijih. Včasih lahko to povzroči toliko nereda, da so končno vidna samo nekatera prekrivajoča se polja. Objekti, pri katerih se oznake prekrivajo z drugimi entitetami, dajejo relativno slabše rezultate. Model ne bo uspel razlikovati med ciljnim objektom in drugimi elementi zaradi pretiranega prekrivanja. V takih primerih se lahko za večjo natančnost uporabijo poligoni.

zaključek

Obdelava slik je nastajajoče področje tehnologije, ki ponuja širok obseg. Kljub temu so omejevalni okvirji najpogosteje uporabljena tehnika obdelave slik.

Če povzamemo, omejevalni okvirji so metoda označevanja slik za usposabljanje modelov strojnega učenja, ki temeljijo na AI. Uporablja se za zaznavanje objektov in prepoznavanje ciljev v številnih aplikacijah, vključno z roboti, droni, avtonomnimi vozili, nadzornimi kamerami in drugimi napravami strojnega vida.

Predlagani viri:

https://www.kdnuggets.com/2022/07/bounding-box-deep-learning-future-video-annotation.html#:~:text=A%20bounding%20box%20is%20a,location%2C%20size%2C%20and%20orientation.

https://www.v7labs.com/blog/bounding-box-annotation

https://towardsdatascience.com/image-data-labelling-and-annotation-everything-you-need-to-know-86ede6c684b1

---

Nanoneti spletni OCR in OCR API imajo veliko zanimivih primeri uporabe tkapa bi lahko optimizirala vašo poslovno uspešnost, prihranila stroške in spodbudila rast. Ugotovite kako se lahko primeri uporabe Nanonets nanašajo na vaš izdelek.

---