Billedbehandling og afgrænsningsbokse til OCR

---

Afgrænsningsrammer i billedbehandling

I starten er afgrænsningsrammen en imaginær rektangulær boks, der inkluderer et objekt og et sæt datapunkter. I forbindelse med digital billedbehandling angiver afgrænsningsrammen grænsens koordinater på X- og Y-akserne, der omslutter et billede. De bruges til at identificere et mål og tjene som reference til objektdetektion og generere en kollisionsboks til objektet.

Hvad er afgrænsningskasser?

Afgrænsningsrammer er nøgleelementerne og et af de primære billedbehandlingsværktøjer til videoannoteringsprojekter. I det væsentlige er en afgrænsningsramme et imaginært rektangel, der skitserer objektet i et billede som en del af et maskinlæringsprojektkrav. Den imaginære rektangulære ramme omslutter objektet i billedet.

Afgrænsningsfelter angiver objektets position, dets klasse og konfidens, som fortæller graden af ​​sandsynlighed for, at objektet faktisk er til stede i afgrænsningsrammen.

Computer vision byder på fantastiske applikationer – fra selvkørende biler til ansigtsgenkendelse og meget mere. Og dette er til gengæld muliggjort med billedbehandling.

Så er billedbehandling så simpel som at tegne rektangler eller mønstre omkring objekter? Nej. Når det er sagt, hvad gør afgrænsningskasser?

Lad os forstå.

Hvordan fungerer Bounding Boxes i billedbehandling?

Afgrænsningsboksen er som nævnt et imaginært rektangel, der fungerer som referencepunkt for objektdetektering og udvikler en kollisionsboks for objektet.

Så hvordan hjælper det dataannotatorer? Nå, fagfolk bruger ideen om afgrænsningskasser til at tegne imaginære rektangler over billederne. De skaber konturer af de pågældende objekter inden for hvert billede og definerer dets X- og Y-koordinater. Dette gør arbejdet med maskinlæringsalgoritmer enklere og hjælper dem med at finde kollisionsveje og sådan, og derved spare computerressourcer.

For eksempel, på billedet nedenfor, er hvert køretøj et nøgleobjekt, hvis position og placering er afgørende for træning af maskinlæringsmodellerne. Dataannotatorer bruger afgrænsningsboksteknikken til at tegne rektanglerne omkring hvert af disse objekter - køretøjer, i dette tilfælde.

Kilde: nøglemakr

Derefter bruger de koordinaterne til at forstå positionen og placeringen af ​​hvert objekt, hvilket er nyttigt til at træne maskinlæringsmodellerne. Et enkelt afgrænsningsfelt giver ikke en god forudsigelseshastighed. For forbedret objektdetektering skal der bruges flere afgrænsningsfelter i kombination med dataforøgelsesmetoder.

Afgrænsningskasser er yderst effektive og robuste billedannoteringsteknikker, der reducerer omkostningerne betragteligt.

Parametre, der definerer en afgrænsningsramme

Parametrene er baseret på de konventioner, der bruges til at angive afgrænsningsrammen. De anvendte nøgleparametre omfatter:

• Klasse: Det angiver objektet inde i afgrænsningsrammen - for eksempel biler, huse, bygninger osv.
• (X1, Y1): Dette refererer til X- og Y-koordinaterne i det øverste venstre hjørne af rektanglet.
• (X2, Y2): Dette refererer til X- og Y-koordinaterne i det nederste højre hjørne af rektanglet.
• (Xc, Yc): Dette refererer til X- og Y-koordinaterne for midten af ​​afgrænsningsrammen.
• Bredde: Dette angiver bredden af ​​afgrænsningsrammen.
• Højde: Dette angiver højden af ​​afgrænsningsrammen.
• Tillid: Dette repræsenterer muligheden for, at objektet er i kassen. Lad os sige, konfidensen er 0.9. Det betyder, at der er 90 % sandsynlighed for, at objektet faktisk vil være til stede inde i boksen.

Konventioner, der specificerer en afgrænsningsramme

Når du angiver en afgrænsningsramme, skal der normalt inkluderes to hovedkonventioner. Disse er:

• X- og Y-koordinaterne for det øverste venstre og nederste højre punkt i rektanglet.
• X- og Y-koordinaterne for midten af ​​afgrænsningsrammen sammen med dens bredde og højde.

Lad os illustrere dette med eksemplet med en bil.

en. Med hensyn til den første konvention er afgrænsningsrammen specificeret i henhold til koordinaterne for det øverste venstre og nederste højre punkt.

Kilde: AnalyticsVidhya

b. Med hensyn til den anden konvention er afgrænsningsrammen beskrevet i henhold til centerkoordinaterne, bredden og højden.

Kilde: AnalyticsVidhya

Hvordan hænger konventionerne sammen?

Afhængig af use case er det muligt at konvertere mellem de forskellige konventionstyper.

• Xc = (X1 + X2)/2
• Yc = (Y1 + Y2)/2
• Bredde = (X2 – X1)
• Højde = (Y2 – Y1)

Afgrænsningsfelter forklaret med programmeringskode

Lad os se et andet eksempel om placeringen eller positionen af ​​et objekt med kodestykker.

Kilde: d2i

Vi indlæser billedet, der skal bruges til denne illustration. Billedet har en hund til venstre og en kat til højre. Der er to objekter - en hund og en kat på billedet.

Kilde: d2i

Kilde: d2i

Lad os tage x og y som koordinater for det øverste venstre og nederste højre hjørne af afgrænsningsrammen. Sig, (x1,y1) og (x2,y2). Lad os på samme måde overveje (x,y) – aksens koordinater for midten af ​​afgrænsningsrammen sammen med dens bredde og højde.

Dernæst definerer vi to funktioner til at konvertere disse former: box_corner_to_center konverterer to-hjørne-repræsentationen til center-height-width-repræsentationen og box_center_to_corner gør det omvendt.

Indgangsargumentfelterne skal være en todimensionel formtensor (n,4), hvor n er antallet af afgrænsningsfelter.

Kilde: d2i

Lad os derefter definere hundens og kattens afgrænsningsfelter på billedet baseret på koordinatdataene.

Kilde: d2i

For at verificere rigtigheden af ​​de to afgrænsningsfelters konverteringsfunktioner kan vi konvertere to gange.

Kilde: d2i

Kilde: d2i

Dernæst kan vi tegne afgrænsningsfelterne for objekterne på billedet for at kontrollere, om de er nøjagtige. Før det definerer vi en funktion bbox_t_rect, som repræsenterer afgrænsningsrammen i det relevante format af matplotlib-pakken.

Kilde: d2i

Nu, efter at have tilføjet afgrænsningsfelterne for hunde- og katteobjekter til billedet, ser vi, at hovedkonturen af ​​disse objekter er inden for de to felter.

Kilde: d2i

Kilde: d2i

---

Vil du automatisere gentagne manuelle opgaver? Tjek vores Nanonets workflow-baserede dokumentbehandlingssoftware. Udtræk data fra fakturaer, identitetskort eller ethvert dokument på autopilot!

---

Almindelige anvendelsestilfælde af afgrænsningskasser

Objektlokalisering af selvkørende køretøjer

Afgrænsningskasser er en integreret del af træningen af ​​selvkørende eller autonome køretøjer til at identificere genstande på vejen som bygninger, trafiksignaler, eventuelle forhindringer og mere. De hjælper med at annotere eventuelle forhindringer og gør det muligt for robotter at køre køretøjet sikkert og forhindre ulykker, selv i tilfælde af overbelastning.

Robotik billeder

Billedanmærkningsteknikker som afgrænsningsfelter er meget brugt til at markere synspunkter fra robotter og droner. Disse autonome køretøjer hjælper med at klassificere objekter på jorden ved hjælp af fotografierne opnået fra denne annotationsmetode.

Billedmærkning til e-handel og detailhandel

Afgrænsningsboksannoteringer hjælper med at forbedre produktvisualiseringen, hvilket er et stort plus i e-handel og detailhandel. Modeller, der er trænet i lignende genstande, kan anmærke genstande som modetøj, tilbehør, møbler, kosmetik osv., mere præcist, når de er korrekt mærket. Nedenfor er nogle af de udfordringer, der løses af afgrænsningsboksannoteringer i detailhandlen:

• Forkerte søgeresultater

Hvis søgning er den eneste måde, kunder kan støde på e-handelssiden, så kan forkerte katalogdata resultere i unøjagtige søgeresultater og derved ikke føre kundetrafik til webstedet.

• Uorganiserede forsyningskæder

For dem, der ønsker at udvide deres detailforretning, så millioner af produkter kan sendes årligt, bliver det bydende nødvendigt at have offline- og onlinedata synkroniseret.

• Løbende digitalisering

Det er afgørende at få alle produkter digitaliseret og tagget systematisk og hurtigt for at sikre, at kunderne ikke går glip af nye muligheder. Derudover skal taggene være i kontekst, hvilket bliver vanskeligt at overholde, efterhånden som detailforretningen udvides og flere produkter tilføjes.

Registrerer biltab for forsikringskrav

Teknikken med afgrænsningskasser hjælper med at spore biler, cykler eller andre køretøjer, der er beskadiget i en ulykke. Maskinlæringsmodeller bruger disse billeder fra afgrænsningskasser til at forstå tabets position og intensitet. Dette hjælper med at forudsige omkostningerne ved tab, baseret på hvilke klienter kan præsentere deres skøn, før de laver en retssag.

Kilde: Superanmærkning

Registrering af indendørs genstande

Afgrænsningskasser hjælper computere med at opdage indendørs genstande som senge, sofaer, skriveborde, skabe eller elektriske apparater. Dette lader computere få en fornemmelse af rummet og de typer af objekter, der er til stede, med deres dimensioner og placering. Dette hjælper til gengæld maskinlæringsmodeller med at identificere disse elementer i en virkelig situation.

Afgrænsningskasser er meget brugt i fotografier som et dybt læringsværktøj til at forstå og fortolke forskellige slags objekter.

Identifikation af sygdom og plantevækst i landbruget

Tidlig påvisning af plantesygdomme hjælper landmænd med at forhindre alvorlige tab. Med fremkomsten af ​​smart farming ligger udfordringen i at træne data til at lære maskinlæringsmodeller til at opdage plantesygdomme. Afgrænsningskasser er en vigtig drivkraft, der giver det nødvendige udsyn til maskiner.

Fremstillingsindustri

Objektdetektion og identifikation af varer i industrier er et væsentligt aspekt af fremstilling. Med AI-aktiverede robotter og computere reduceres rollen som manuel indgriben. Når det er sagt, spiller afgrænsningsbokse en afgørende rolle ved at hjælpe med at træne maskinlæringsmodellerne til at lokalisere og detektere industrielle komponenter. Derudover kræver processer som kvalitetskontrol, sortering og samlebåndsoperationer, som alle er en del af kvalitetsstyring, objektdetektering.

Medicinsk billeddannelse

Afgrænsningskasser finder også anvendelser i sundhedsindustrien, såsom inden for medicinsk billeddannelse. Teknikken til medicinsk billeddannelse beskæftiger sig med detektering af anatomiske genstande som hjertet og kræver hurtig og nøjagtig analyse. Afgrænsningsbokse kan bruges til at træne maskinlæringsmodellerne, som så vil være i stand til at detektere hjertet eller andre organer hurtigt og præcist.

Automatiserede CCTV'er

Automatiserede CCTV'er er et mandat i de fleste boliger, kommercielle og andre virksomheder. Ofte kræves der høj hukommelseslagring for at beholde de optagne CCTV-optagelser i lang tid. Med objektdetekteringsteknikker som afgrænsningsbokse kan det sikres, at optagelserne kun optages, når bestemte objekter er identificeret. Afgrænsningsbokse kan træne maskinlæringsmodellerne, som kun registrerer disse objekter, og på det øjeblik kan optagelserne optages. Dette vil også hjælpe med at minimere omfanget af den nødvendige lagring til CCTV og reducere omkostningerne.

Ansigtsgenkendelse og -genkendelse

Ansigtsgenkendelse tilbyder flere applikationer, såsom det bruges i biometrisk overvågning. Desuden bruger forskellige bureauer som banker, lufthavne, detailbutikker, stadioner og andre institutioner ansigtsgenkendelse for at forhindre forbrydelser og vold. Når det er sagt, er ansigtsgenkendelse et vigtigt element i computersyn, der involverer billedbehandling. Og her kan afgrænsningsfelter igen bruges som et effektivt værktøj til karaktergenkendelse.

---

Vil du bruge robotprocesautomatisering? Tjek Nanonets workflow-baseret dokumentbehandlingssoftware. Ingen kode. Ingen besværlig platform.

---

Afgrænsningsfelter til karaktergenkendelse

Objektdetektion omfatter – billedklassificering og objektlokalisering. Det betyder, at en computer kan registrere et objekt, at den skal vide, hvad det pågældende objekt er, og hvor det er placeret. Billedklassificering tildeler en klasseetiket til et billede. Objektlokalisering er relateret til at tegne afgrænsningsrammen omkring det pågældende objekt i et billede.

Processen involverer en annotator, der tegner afgrænsningsfelterne rundt om objekterne og mærker dem. Dette hjælper med at træne algoritmen og giver den mulighed for at forstå, hvordan objektet ser ud. Som det første trin til objektdetektering skal billeddatasættet have etiketter.

Følg nedenstående trin for at mærke et billede:

• Vælg det datasæt, du vil træne og teste. Lav en mappe af det.
• Lad os tage eksemplet med et ansigtsgenkendelsesprojekt som: BTS, Avenger osv.
• Lav mappenavnsdata.
• I Google Drev skal du oprette en mappe med navnet FaceDetection.
• I mappen FaceDetection skal du lave en mappe med billedet.
• I billedmappen laver du mapper af testbilledet, test XML, train image og train XML.

Kilde:industrielle

Download og upload nu 10-15 billeder af BTS og Avengers i JPEG-format i togbilledmappen. På samme måde, i testbilledmappen, gør det samme for 5-6 billeder. Det anbefales at have flere billeder i datasættet for nøjagtige resultater.

Kilde: industrielle

Kilde: industrielle

Derefter skal du generere en XML-fil for hvert billede af testbilledet og træne billedmapper

Download og klik på windows v_1.8.0. Klik på .exe-filen fra GitHub, og tryk på Kør.

Klik derefter på den åbne mappe for at vælge mappen til billedet. Du vil se det billede, der skal mærkes. For at mærke skal du trykke på W på tastaturet og højreklikke og trække markøren for at tegne boksen rundt om objektet. Giv den et navn, og klik på OK.

Kilde: industrielle

Gem derefter billedet for at generere XML-filen for billedet i billedmappen, som vist nedenfor.

Kilde: industrielle

Åbn XML-filen for at se koordinaterne.

Kilde: industrielle

Gentag proceduren for alle billederne for at generere XML-filerne og se efter koordinaterne.

---

Hvis du arbejder med fakturaer og kvitteringer eller bekymrer dig om ID-bekræftelse, så tjek Nanonets online OCR or PDF-tekstudtrækker at udtrække tekst fra PDF-dokumenter gratis. Klik nedenfor for at lære mere om Nanonets Enterprise Automation Solution.

---

Forskellige annotationsformater brugt i afgrænsningsfelter

Grundlæggende har en afgrænsningsramme 4 punkter i (x,y) akser, der repræsenterer hjørnerne:

Øverst til venstre: (x_min, y_min)

Øverst til højre: (x_max, y_min)

Nederst til venstre:(x_min, y_max)

Nederst til højre: (x_max, y_max)

Koordinaterne for afgrænsningsrammen beregnes i forhold til det øverste venstre hjørne af billedet.

Der er flere afgrænsningsramme-annotationsformater, som hver bruger sin egen repræsentation af afgrænsningsrammens koordinater.

en. Albummenteringer

De bruger fire værdier til at repræsentere afgrænsningsrammen – [x_min, y_min, x_max, y_max] – som normaliseres ved at dividere koordinaterne i pixels for x-aksen med bredden og y-aksen med højden af ​​billedet.

Lad os sige, at afgrænsningsrammens koordinater er: x1 = 678, y1 = 24; x2 = 543, y2= 213.

Lad bredde = 870, Højde = 789

Derefter [678/870, 24/789, 543/870, 213/789] = [ 0.779310, 0.030418 ,0.624137, 0.269961]

Albumentations bruger og fortolker disse værdier internt med afgrænsningsfelter og forbedrer dem.

b. COCO

Dette er et format, der bruges af Common Objects in Context COCO-datasættet. I COCO-format er en afgrænsningsramme repræsenteret af fire værdier: (x_min, y_min, width, height). I det væsentlige refererer de til det øverste venstre hjørne og bredden og højden af ​​afgrænsningsrammen.

c. YOLO

I dette format præsenteres en afgrænsningsramme med fire værdier:(x_center, y_center, width, height). Her angiver x_center og y_center de normaliserede x- og y-koordinater for midten af ​​afgrænsningsrammen. For at normalisere, x-koordinaten for midten af ​​billedets bredde og y-koordinaten for midten af ​​billedets højde. Værdierne for bredde og højde er også normaliseret.

d. PASCAL

I Pascal-formatet er afgrænsningsrammen repræsenteret af koordinaterne øverst til venstre og nederst til højre. Så værdierne kodet i pixels er: [x_min, y_min, x_max, y_max]. Her er [x_min, y_min] det øverste venstre hjørne, mens [x_max, y_max] angiver det nederste højre hjørne af afgrænsningsrammen.

---

Vil du automatisere gentagne manuelle opgaver? Spar tid, indsats og penge, mens du øger effektiviteten!

---

Forholdsregler og bedste praksis ved brug af afgrænsningskasser

Nogle forholdsregler og bedste praksis anbefales for optimal brug af afgrænsningsfelter i billedbehandling. De omfatter:

Æskestørrelsesvariationer

Brug af alle afgrænsningsfelter af samme størrelse vil ikke give nøjagtige resultater. At træne dine modeller på afgrænsningskasser af samme størrelse ville få modellen til at præstere dårligere. For eksempel, hvis det samme objekt virker mindre i størrelse, kan modellen muligvis ikke registrere det. I tilfælde af objekter, der ser ud til at være større end forventet, kan det optage et større antal pixels og ikke give den præcise position og placering af objektet. Kernen er at huske variationen i størrelse og volumen af ​​objektet for at opnå de ønskede resultater.

Pixel-perfekt tæthed

Tæthed er en afgørende faktor. Det betyder, at afgrænsningsrammens kanter skal være så tæt på det pågældende objekt som muligt for at opnå nøjagtige resultater. Konsistente huller kan påvirke nøjagtigheden i at bestemme overlapningsområdet mellem modellens forudsigelse og det virkelige objekt og derved skabe problemer.

Diagonale genstande placeret i afgrænsningskasser

Problemet med elementer diagonalt placeret i en afgrænsningsramme er, at de fylder betydeligt mindre inde i kassen sammenlignet med baggrunden. Men hvis den eksponeres længere, kan modellen antage, at målet er baggrunden, da det bruger mere plads. Så som en bedste praksis anbefales det at bruge polygoner og instanssegmentering til diagonale objekter. Alligevel er det muligt at undervise modellerne med en afgrænsningsboks med en god mængde træningsdata.

Reducer boksoverlapning

Det er altid sikkert at undgå anmærkningsoverlapninger i alle scenarier. Nogle gange kan dette forårsage så meget rod, at kun nogle overlappende kasser kan være endeligt synlige. Objekter, der har en mærkningsoverlapning med andre enheder, giver relativt dårligere resultater. Modellen vil ikke kunne skelne mellem målobjektet og andre elementer på grund af for stor overlapning. I sådanne tilfælde kan polygoner bruges for højere nøjagtighed.

Konklusion

Billedbehandling er et spirende teknologiområde, der byder på bred vifte. Når det er sagt, danner afgrænsningsfelter den mest almindeligt anvendte billedbehandlingsteknik.

For at opsummere er afgrænsningsfelter en billedannoteringsmetode til at træne AI-baserede maskinlæringsmodeller. Det bruges til objektdetektering og målgenkendelse i en lang række applikationer, herunder robotter, droner, autonome køretøjer, overvågningskameraer og andre maskinsynsenheder.

Foreslåede ressourcer:

https://www.kdnuggets.com/2022/07/bounding-box-deep-learning-future-video-annotation.html#:~:text=A%20bounding%20box%20is%20a,location%2C%20size%2C%20and%20orientation.

https://www.v7labs.com/blog/bounding-box-annotation

https://towardsdatascience.com/image-data-labelling-and-annotation-everything-you-need-to-know-86ede6c684b1

---

Nanonetter online OCR & OCR API har mange interessante brug sager that kunne optimere din virksomheds ydeevne, spare omkostninger og øge væksten. Finde ud af hvordan Nanonets' use cases kan gælde for dit produkt.

---