OCR-i pilditöötlus- ja piirdekastid

---

Piirdekastid pilditöötluses

Alguses on piirdekast kujuteldav ristkülikukujuline kast, mis sisaldab objekti ja andmepunktide komplekti. Digitaalse pilditöötluse kontekstis tähistab piirdekast piiri koordinaate pilti ümbritsevatel X- ja Y-telgedel. Neid kasutatakse sihtmärgi tuvastamiseks ja need on objekti tuvastamise võrdlusaluseks ja objekti jaoks kokkupõrkekasti genereerimiseks.

Mis on piirdekarbid?

Piirdekastid on videomärkuste projektide põhielemendid ja üks peamisi pilditöötlustööriistu. Sisuliselt on piirdekast kujuteldav ristkülik, mis kujutab masinõppeprojekti nõude osana pildil oleva objekti kontuuri. Kujutletav ristkülikukujuline raam ümbritseb objekti pildil.

Piirdekastid määravad objekti asukoha, selle klassi ja usaldusväärsuse, mis näitab tõenäosuse, et objekt on piirdekastis tegelikult olemas.

Arvutinägemine pakub hämmastavaid rakendusi – alates isejuhtivast autost kuni näotuvastuseni ja palju muud. Ja see on omakorda võimalik tänu pilditöötlusele.

Niisiis, kas pilditöötlus on nii lihtne kui objektide ümber ristkülikute või mustrite joonistamine? Ei. Mida piirdekastid teevad?

Saame aru.

Kuidas piirdekastid pilditöötluses töötavad?

Nagu mainitud, on piirdekast kujuteldav ristkülik, mis toimib objekti tuvastamise võrdluspunktina ja loob objekti jaoks kokkupõrkekasti.

Niisiis, kuidas see andmete annotaatoreid aitab? Professionaalid kasutavad kastide piiramise ideed, et joonistada piltidele kujuteldavad ristkülikud. Nad loovad igas pildis kõnealuste objektide piirjooned ja määravad selle X- ja Y-koordinaadid. See muudab masinõppe algoritmide töö lihtsamaks, aidates neil leida kokkupõrketeid jms, säästes seeläbi arvutusressursse.

Näiteks alloleval pildil on iga sõiduk võtmeobjekt, mille asukoht ja asukoht on masinõppemudelite koolitamiseks olulised. Andmeannotaatorid kasutavad piirdekastide tehnikat, et joonistada ristkülikud ümber iga objekti – antud juhul sõidukite.

Allikas: klahvimakr

Seejärel kasutavad nad koordinaate, et mõista iga objekti asukohta ja asukohta, mis on kasulik masinõppemudelite koolitamiseks. Üks piirdekast ei anna head ennustusmäära. Objektide täiustatud tuvastamiseks tuleb kasutada mitut piirdekasti koos andmete suurendamise meetoditega.

Piirdekastid on väga tõhusad ja vastupidavad pildimärkuste tegemise tehnikad, mis vähendavad märkimisväärselt kulusid.

Piirdekasti määravad parameetrid

Parameetrid põhinevad piirdekasti määramisel kasutatud tavadel. Peamised kasutatavad parameetrid on järgmised:

• Klass: tähistab piirdekastis olevat objekti – näiteks autosid, maju, hooneid jne.
• (X1, Y1): see viitab ristküliku ülemise vasaku nurga X- ja Y-koordinaatidele.
• (X2, Y2): see viitab ristküliku alumise parema nurga X- ja Y-koordinaatidele.
• (Xc, Yc): see viitab piirdekasti keskpunkti X- ja Y-koordinaatidele.
• Laius: see tähistab piirdekasti laiust.
• Kõrgus: see tähistab piirdekasti kõrgust.
• Usaldus: see näitab võimalust, et objekt on kastis. Ütleme, et usaldus on 0.9. See tähendab, et eseme olemasolu kastis on 90% tõenäosusega.

Piirdekasti määravad kokkulepped

Piirdekasti määramisel tuleb tavaliselt kaasata kaks peamist tava. Need on:

• Ristküliku ülemise vasaku ja alumise parema punkti X- ja Y-koordinaadid.
• Piirdekasti keskpunkti X- ja Y-koordinaadid koos selle laiuse ja kõrgusega.

Illustreerime seda auto näitel.

a. Seoses esimese kokkuleppega on piirdekast määratud vastavalt ülemise vasaku ja alumise parema punkti koordinaatidele.

Allikas: AnalyticsVidhya

b. Seoses teise kokkuleppega kirjeldatakse piirdekasti keskkoordinaatide, laiuse ja kõrguse järgi.

Allikas: AnalyticsVidhya

Kuidas on konventsioonid seotud?

Olenevalt kasutusjuhtumist on võimalik teisendada erinevate tavatüüpide vahel.

• Xc = (X1 + X2)/2
• Yc = (Y1 + Y2)/2
• Laius = (X2 – X1)
• Kõrgus = (Y2 – Y1)

Piirdekastid, mida selgitatakse programmeerimiskoodiga

Vaatame veel ühte näidet koodijuppidega objekti asukoha või asukoha kohta.

Allikas: d2i

Laadime selle illustratsiooni jaoks kasutatava pildi. Pildil on vasakul koer ja paremal kass. Pildil on kaks objekti – koer ja kass.

Allikas: d2i

Allikas: d2i

Võtame x ja y piirdekasti ülemise vasaku ja alumise parema nurga koordinaatideks. Öelge (x1,y1) ja (x2,y2). Samamoodi vaatleme (x,y) – telje koordinaate piirdekasti keskpunkti jaoks koos selle laiuse ja kõrgusega.

Järgmisena määratleme nende vormide teisendamiseks kaks funktsiooni: box_corner_to_center teisendab kahe nurga esituse keskkõrguse-laiuse esituseks ja box_center_to_corner teeb seda vastupidi.

Sisendargumendikastid peavad olema kujundi kahemõõtmeline tensor (n,4), kus n on piirdekastide arv.

Allikas: d2i

Järgmisena defineerime koordinaatide andmete põhjal pildil koera ja kassi piirdekastid.

Allikas: d2i

Kahe piirdekasti teisendusfunktsiooni õigsuse kontrollimiseks saame teisendada kaks korda.

Allikas: d2i

Allikas: d2i

Järgmisena saame joonistada pildile objektide piirdekastid, et kontrollida, kas need on täpsed. Enne seda määratleme funktsiooni bbox_t_rect, mis tähistab matplotlib paketi vastavas vormingus piirdekasti.

Allikas: d2i

Nüüd, pärast koera ja kassi objektide piirdekastide lisamist pildile, näeme, et nende objektide põhikontuur on kahe kasti sees.

Allikas: d2i

Allikas: d2i

---

Kas soovite korduvaid käsitsi tehtavaid ülesandeid automatiseerida? Vaadake meie Nanonetsi töövoopõhist dokumenditöötlustarkvara. Väljavõte autopiloodil andmeid arvetest, isikutunnistustest või mis tahes dokumentidest!

---

Piirituskastide tavalised kasutusjuhtumid

Isejuhtivate sõidukite objektide lokaliseerimine

Piirdekarbid on lahutamatu osa isejuhtivate või autonoomsete sõidukite koolitamisel, et tuvastada teel objekte, nagu hooned, foorid, takistused ja palju muud. Need aitavad märkida takistusi ja võimaldavad robotitel sõidukit ohutult juhtida ja õnnetusi ära hoida isegi ummikute korral.

Robootika pildid

Robotite ja droonide vaatepunktide märgistamiseks kasutatakse laialdaselt kujutiste märkimistehnikaid, nagu piirdekastid. Need autonoomsed sõidukid aitavad klassifitseerida maa peal olevaid objekte, kasutades selle annotatsioonimeetodi abil saadud fotosid.

Piltide märgistamine e-kaubanduse ja jaemüügi jaoks

Piirdekasti märkused aitavad parandada toote visualiseerimist, mis on e-kaubanduses ja jaemüügis suur pluss. Sarnaste esemete kallal koolitatud modellid saavad korrektse märgistuse korral märkmeid teha sellistele objektidele nagu moerõivad, aksessuaarid, mööbel, kosmeetika jne. Allpool on toodud mõned väljakutsed, mida jaemüügis piiravate kastide annotatsioonid lahendavad.

• Valed otsingutulemused

Kui otsimine on ainus viis, kuidas kliendid e-kaubanduse saidile komistavad, võivad valed kataloogiandmed põhjustada ebatäpseid otsingutulemusi, mis ei suuna klientide liiklust saidile.

• Organiseerimata tarneahelad

Neile, kes soovivad laiendada oma jaemüügiäri nii, et igal aastal saaks tarnida miljoneid tooteid, muutub võrguühenduseta ja võrguandmete sünkroonimine hädavajalikuks.

• Pidev digiteerimine

Oluline on lasta kõik tooted süstemaatiliselt ja kiiresti digiteerida ja märgistada, et kliendid ei jätaks ühtegi uut võimalust kasutamata. Lisaks peavad sildid olema kontekstis, millest kinnipidamine muutub jaekaubanduse laienedes ja toodete lisandudes keeruliseks.

Kindlustusnõuete puhul tuvastab auto kaotuse

Piirdekastide tehnika aitab jälgida õnnetuses kahjustatud autosid, jalgrattaid või muid sõidukeid. Masinõppemudelid kasutavad neid piirdekastidest pärit pilte, et mõista kadude asukohta ja intensiivsust. See aitab prognoosida tekkinud kahjude maksumust, mille põhjal saavad kliendid esitada oma hinnangu enne kohtusse pöördumist.

Allikas: Superannoteerida

Siseruumides kasutatavate esemete tuvastamine

Piirdekarbid aitavad arvutitel tuvastada siseruumides olevaid esemeid, nagu voodid, diivanid, lauad, kapid või elektriseadmed. See võimaldab arvutitel tajuda ruumi ja olemasolevate objektide tüüpe koos nende mõõtmete ja asukohaga. See omakorda aitab masinõppe mudelitel neid objekte reaalses olukorras tuvastada.

Piirdekaste kasutatakse fotodel laialdaselt sügava õppevahendina erinevate objektide mõistmiseks ja tõlgendamiseks.

Haiguste ja taimede kasvu tuvastamine põllumajanduses

Taimehaiguste varajane avastamine aitab põllumeestel suuri kahjusid ära hoida. Aruka põllumajanduse esilekerkimisel seisneb väljakutse andmete väljaõppes, et õpetada masinõppemudeleid taimehaigusi tuvastama. Piirdekarbid on peamine jõud, mis tagavad masinatele vajaliku nägemise.

Tootmistööstus

Objektide tuvastamine ja esemete tuvastamine tööstusharudes on tootmise oluline aspekt. AI-toega robotite ja arvutitega väheneb käsitsi sekkumise roll. Sellegipoolest mängivad piirdekastid üliolulist rolli, aidates koolitada masinõppemudeleid tööstuslike komponentide leidmiseks ja tuvastamiseks. Lisaks vajavad objektide tuvastamist sellised protsessid nagu kvaliteedikontroll, sorteerimine ja koosteliini toimingud, mis on kõik kvaliteedijuhtimise osa.

Meditsiiniline pildistamine

Piirdekarbid leiavad rakendust ka tervishoiutööstuses, näiteks meditsiinilises pildistamises. Meditsiinilise pildistamise tehnika tegeleb anatoomiliste objektide, nagu süda, tuvastamisega ning nõuab kiiret ja täpset analüüsi. Piirituskaste saab kasutada masinõppemudelite treenimiseks, mis seejärel suudavad kiiresti ja täpselt tuvastada südame või muud organid.

Automatiseeritud CCTV-d

Automatiseeritud CCTV-d on volitused enamikes elamu-, äri- ja muudes asutustes. Sageli on vaja palju mälumahtu, et jäädvustatud CCTV kaadrit kaua hoida. Objektide tuvastamise tehnikatega, nagu piirdekastid, saab tagada, et kaadrid salvestatakse ainult siis, kui teatud objektid on tuvastatud. Piirdekastid võivad treenida masinõppemudeleid, mis tuvastavad ainult need objektid ja sel hetkel saab filmitud materjali jäädvustada. See aitaks ka minimeerida CCTV jaoks vajalikku salvestusruumi ja vähendada kulusid.

Näotuvastus ja tuvastamine

Näotuvastus pakub mitmeid rakendusi, näiteks seda kasutatakse biomeetrilises seires. Lisaks kasutavad näotuvastust kuritegude ja vägivalla ärahoidmiseks erinevad agentuurid, nagu pangad, lennujaamad, jaekauplused, staadionid ja muud asutused. Sellegipoolest on näotuvastus arvuti nägemise oluline element, mis hõlmab pilditöötlust. Ja siingi saab piiravaid kaste kasutada tõhusa vahendina märkide tuvastamisel.

---

Kas soovite kasutada robotiprotsesside automatiseerimist? Tutvuge Nanonetsi töövoopõhise dokumenditöötlustarkvaraga. Kood puudub. Ei mingit probleemiplatvormi.

---

Piirdekastid tegelaste äratundmiseks

Objektide tuvastamine hõlmab – kujutiste klassifitseerimist ja objektide lokaliseerimist. See tähendab, et arvuti peab objekti tuvastamiseks teadma, mis on kõnealune objekt ja kus see asub. Pildi klassifikatsioon määrab pildile klassi sildi. Objekti lokaliseerimine on seotud pildil kõnealuse objekti ümber oleva piirdekasti joonistamisega.

Protsess hõlmab annotaatorit, kes joonistab objektide ümber piirdekastid ja märgistab need. See aitab algoritmi treenida ja mõistab, kuidas objekt välja näeb. Objekti tuvastamise esimese sammuna peavad pildiandmestikul olema sildid.

Pildi märgistamiseks toimige järgmiselt.

• Valige andmestik, mida soovite treenida ja testida. Tehke sellest kaust.
• Võtame näiteks näotuvastusprojekti nagu: BTS, Avenger jne.
• Tehke kausta nimeandmed.
• Looge Google Drive'is kaust nimega FaceDetection.
• Looge kaustas FaceDetection pildist kaust.
• Pildikaustas tehke testpildi kaustad, testige XML-i, treenige kujutist ja treenige XML-i.

Allikas:tööstuslik

Nüüd laadige rongipiltide kausta alla ja laadige üles 10–15 pilti BTS-ist ja Avengersist JPEG-vormingus. Samamoodi tehke testpiltide kaustas sama 5-6 pildi puhul. Täpsete tulemuste saamiseks on andmestikus soovitatav lisada rohkem pilte.

Allikas: tööstuslik

Allikas: tööstuslik

Järgmisena genereerige iga testpildi kujutise jaoks XML-fail ja treenige pildikaustad

Laadige alla ja klõpsake Windows v_1.8.0. Klõpsake GitHubis exe-faili ja klõpsake nuppu Käivita.

Järgmisena klõpsake pildi kausta valimiseks avatud kataloogi. Näete pilti, mis tuleb märgistada. Sildi lisamiseks vajutage klaviatuuril W ja paremklõpsake ja lohistage kursorit, et joonistada kast objekti ümber. Andke sellele nimi ja klõpsake nuppu OK.

Allikas: tööstuslik

Järgmisena salvestage pilt, et luua pildi kausta XML-fail, nagu allpool näidatud.

Allikas: tööstuslik

Koordinaatide vaatamiseks avage XML-fail.

Allikas: tööstuslik

XML-failide loomiseks ja koordinaatide otsimiseks korrake protseduuri kõigi piltide puhul.

---

Kui töötate arvete ja kviitungitega või muretsete ID-kontrolli pärast, vaadake Nanonetsit võrgus OCR or PDF-teksti ekstraktor PDF-dokumentidest teksti eraldamiseks tasuta. Selle kohta lisateabe saamiseks klõpsake allpool Nanonetsi ettevõtte automatiseerimislahendus.

---

Piirituskastides kasutatavad erinevad märkuste vormingud

Põhimõtteliselt on piirdekastil 4 punkti (x,y) telgedel, mis tähistavad nurki:

Üleval vasakul: (x_min, y_min)

Üleval paremal: (x_max, y_min)

Alt vasakul: (x_min, y_max)

All paremal: (x_max, y_max)

Piirdekasti koordinaadid arvutatakse pildi vasaku ülanurga suhtes.

Piirdekasti annotatsioonivorminguid on mitu, millest igaüks kasutab piirdekasti koordinaatide esitusviisi.

a. Albumid

Nad kasutavad piirdekasti tähistamiseks nelja väärtust – [x_min, y_min, x_max, y_max] –, mis normaliseeritakse, jagades x-telje koordinaadid pikslites kujutise laiuse ja y-telje kõrgusega.

Ütleme, et piirdekasti koordinaadid on: x1 = 678, y1 = 24; x2 = 543, y2 = 213.

Laske laius = 870, kõrgus = 789

Siis [678/870, 24/789, 543/870, 213/789] = [ 0.779310, 0.030418 ,0.624137, 0.269961]

Albumentations kasutab ja tõlgendab neid väärtusi sisemiselt piirdekastidega ning täiustab neid.

b. COCO

Seda vormingut kasutab COCO andmestik Common Objects in Context. COCO-vormingus on piirdekast esindatud nelja väärtusega: (x_min, y_min, laius, kõrgus). Põhimõtteliselt viitavad need vasakpoolsele ülanurgale ning piirdekasti laiusele ja kõrgusele.

c. YOLO

Selles vormingus esitatakse piirav kast nelja väärtusega:(x_center, y_center, laius, kõrgus). Siin tähistavad x_center ja y_center piirdekasti keskpunkti normaliseeritud x- ja y-koordinaate. Normaliseerimiseks keskpunkti x-koordinaati pildi laiuse ja keskpunkti y-koordinaati pildi kõrgusega. Samuti normaliseeritakse laiuse ja kõrguse väärtused.

d. PASCAL

Pascali vormingus on piirdekast esindatud ülemise vasaku ja alumise parema koordinaatidega. Seega on pikslites kodeeritud väärtused: [x_min, y_min, x_max, y_max]. Siin on [x_min, y_min] vasakpoolse ülanurga väärtus, samas kui [x_max, y_max] tähistab piirdekasti paremat alumist nurka.

---

Kas soovite korduvaid käsitsi tehtavaid ülesandeid automatiseerida? Säästke aega, jõupingutusi ja raha, suurendades samal ajal tõhusust!

---

Ettevaatusabinõud ja parimad tavad piirdekastide kasutamisel

Piirituskastide optimaalseks kasutamiseks pilditöötluses on soovitatav järgida mõningaid ettevaatusabinõusid ja parimaid tavasid. Nad sisaldavad:

Kasti suuruse variatsioonid

Kõigi sama suurusega piirdekastide kasutamine ei anna täpseid tulemusi. Mudelite samasuuruste piirdekastide koolitamine halvendaks mudeli toimivust. Näiteks kui sama objekt näib olevat väiksem, ei pruugi mudel seda tuvastada. Kui objektid näivad olevat oodatust suuremad, võib see hõivata suurema arvu piksleid ega anna objekti täpset asukohta ja asukohta. Tuum on soovitud tulemuste saavutamiseks meeles pidada objekti suuruse ja mahu erinevust.

Pikslite täiuslik tihedus

Tihedus on otsustava tähtsusega tegur. See tähendab, et täpsete tulemuste saamiseks peavad piirdekasti servad olema kõnealusele objektile võimalikult lähedal. Järjepidevad lüngad võivad mõjutada mudeli ennustuse ja tegeliku objekti vahelise kattuvuse ala määramise täpsust, tekitades sellega probleeme.

Piirdekastidesse paigutatud diagonaalsed elemendid

Piirdekasti diagonaalselt paigutatud esemete probleem seisneb selles, et need võtavad kastis taustaga võrreldes tunduvalt vähem ruumi. Kui aga eksponeeritakse kauem, võib mudel eeldada, et sihtmärk on taust, kuna see võtab rohkem ruumi. Seega on parima tavana soovitatav kasutada diagonaalsete objektide jaoks hulknurki ja eksemplari segmenteerimist. Siiski on võimalik õpetada mudeleid piirdekastiga, millel on hea hulk treeningandmeid.

Kasti kattumise vähendamine

Alati on ohutu vältida märkuste kattumist kõigis stsenaariumides. Mõnikord võib see põhjustada nii palju segadust, et lõpuks võivad nähtavad olla ainult mõned kattuvad kastid. Objektid, mille märgistus kattub teiste üksustega, annavad suhteliselt halvemaid tulemusi. Liigse kattumise tõttu ei suuda mudel sihtobjekti muudest üksustest eristada. Sellistel juhtudel võib suurema täpsuse saavutamiseks kasutada hulknurki.

Järeldus

Pilditöötlus on arenev tehnoloogiavaldkond, mis pakub laia ulatust. Sellegipoolest moodustavad piirdekastid kõige sagedamini kasutatava pilditöötlusmeetodi.

Kokkuvõtteks võib öelda, et piirdekastid on piltide märkimise meetod AI-põhiste masinõppemudelite koolitamiseks. Seda kasutatakse objektide tuvastamiseks ja sihtmärgi tuvastamiseks paljudes rakendustes, sealhulgas robotites, droonides, autonoomsetes sõidukites, valvekaamerates ja muudes masinnägemisseadmetes.

Soovitatavad ressursid:

https://www.kdnuggets.com/2022/07/bounding-box-deep-learning-future-video-annotation.html#:~:text=A%20bounding%20box%20is%20a,location%2C%20size%2C%20and%20orientation.

https://www.v7labs.com/blog/bounding-box-annotation

https://towardsdatascience.com/image-data-labelling-and-annotation-everything-you-need-to-know-86ede6c684b1

---

Nanonetid võrgus OCR ja OCR API on palju huvitavaid kasutage juhtumeid tmüts võib teie ettevõtte toimivust optimeerida, kulusid kokku hoida ja kasvu kiirendada. Uuri välja kuidas saab Nanonetsi kasutusjuhtumeid teie tootele rakendada.

---