Teatame Amazon Rekognitioni kohandatud siltide mudeli kopeerimisfunktsiooni käivitamisest

Amazon Rekognitioni kohandatud sildid on täielikult hallatav arvutinägemise teenus, mis võimaldab arendajatel luua kohandatud mudeleid, et klassifitseerida ja tuvastada piltidel olevaid objekte, mis on teie ettevõttele spetsiifilised ja ainulaadsed. Rekognitioni kohandatud sildid ei nõua eelnevaid arvutinägemise teadmisi. Näiteks võite leida oma logo sotsiaalmeedia postitustest, tuvastada oma tooteid kaupluste riiulitel, klassifitseerida masinaosi koosteliinil, eristada terveid ja nakatunud taimi või tuvastada videotes animeeritud tegelasi.

Piltide analüüsimiseks kohandatud mudeli väljatöötamine on märkimisväärne ettevõtmine, mis nõuab aega, asjatundlikkust ja ressursse ning võtab sageli kuid. Lisaks on sageli vaja tuhandeid või kümneid tuhandeid käsitsi märgistatud pilte, et anda mudelile otsuste tegemiseks piisavalt andmeid. Nende andmete kogumine võib võtta kuid ja nõuab suuri märgistajate meeskondi, et need masinõppes (ML) kasutamiseks ette valmistada.

Rekognition Custom Labels põhineb olemasolevatel võimalustel Amazon Rekognitsioon, mis on juba koolitatud kümnete miljonite piltide jaoks paljudes kategooriates. Tuhandete piltide asemel peate lihtsalt Amazon Rekognitioni konsooli abil üles laadima väikese komplekti treeningpilte (tavaliselt paarsada või vähem pilti), mis on teie kasutusjuhtumile omased. Kui pildid on juba märgistatud, saate modelli treenimist alustada vaid mõne klõpsuga. Kui ei, saate need sildistada otse Rekognitioni kohandatud siltide konsoolil või kasutada Amazon SageMaker Ground Truth neid märgistada. Rekognition Custom Labels kasutab treeningandmete automaatseks kontrollimiseks, õige mudeliraamistiku ja algoritmi valimiseks, hüperparameetrite optimeerimiseks ja mudeli koolitamiseks ülekandeõpet. Kui olete mudeli täpsusega rahul, võite alustada koolitatud mudeli hostimist vaid ühe klõpsuga.

Täna on meil hea meel teatada mudelite kopeerimisfunktsiooni Rekognition Custom Labels käivitamisest. See funktsioon võimaldab teil kopeerida oma Rekognitioni kohandatud siltide mudeleid erinevates projektides, mis võivad asuda samal AWS-i kontol või sama AWS-i piirkonna AWS-i kontode vahel, ilma mudeleid nullist ümber õpetamata. See uus võimalus hõlbustab Rekognitioni kohandatud siltide mudelite teisaldamist erinevates keskkondades, nagu arendus, kvaliteedi tagamine, integreerimine ja tootmine, ilma et peaksite kopeerima algseid koolitus- ja testiandmekogumeid ning mudelit ümber õpetama. Võite kasutada AWS-i käsurea liides (AWS CLI), et kopeerida koolitatud mudeleid erinevates projektides, mis võivad asuda samal AWS-i kontol või erinevatel AWS-i kontodel.

Selles postituses näitame teile, kuidas kopeerida mudeleid sama AWS-i piirkonna erinevate AWS-i kontode vahel.

Mudeli kopeerimise funktsiooni eelised

Sellel uuel funktsioonil on järgmised eelised.

• Mitme kontoga ML-Opsi parimad tavad – Saate ühe mudeli välja õpetada ja tagada prognoositava juurutamise järjepidevate tulemustega mitmel kontol, mis on kaardistatud erinevatesse keskkondadesse, nagu arendus, kvaliteedi tagamine, integreerimine ja tootmine, võimaldades teil järgida oma organisatsioonis ML-Opsi parimaid tavasid.
• Kulude kokkuhoid ja kiirem kasutuselevõtt – Saate koolitatud mudelit kiiresti kontode vahel kopeerida, vältides igal kontol ümberõppeks kuluvat aega ja säästes mudeli ümberõppe kulusid.
• Kaitske tundlikke andmekogumeid – Te ei pea enam andmekogumeid jagama erinevate AWS-i kontode või kasutajate vahel. Treeningandmed peavad olema saadaval ainult sellel AWS-i kontol, kus mudelitreeningut tehakse. See on väga oluline teatud tööstusharude jaoks, kus andmete eraldamine on äri- või regulatiivsete nõuete täitmiseks hädavajalik.
• Lihtne koostöö – Partnerid või müüjad saavad nüüd hõlpsasti koolitada Amazon Rekognitioni kohandatud siltide mudelit oma AWS-i kontol ja jagada mudeleid kasutajatega AWS-i kontodel.
• Järjepidev jõudlus – Mudeli jõudlus on nüüd erinevatel AWS-i kontodel ühtlane. Mudelitreening on üldiselt mittedeterministlik ja kaks sama andmestikuga koolitatud mudelit ei taga samu jõudlusskoore ja samu ennustusi. Mudeli kopeerimine aitab veenduda, et kopeeritud mudeli käitumine on kooskõlas lähtemudeliga, välistades vajaduse mudelit uuesti testida.

Lahenduse ülevaade

Järgmine diagramm illustreerib meie lahenduse arhitektuuri.

See postitus eeldab, et teie lähtekontol on väljaõpetatud Rekognitioni kohandatud siltide mudel. Juhiste saamiseks vaadake Kohandatud ühe klassi objektide tuvastamise mudeli koolitamine Amazon Rekognitioni kohandatud siltidega. Selles postituses kasutasime pildiklassifikatsiooni "Toad" projekti Rekognitioni kohandatud siltidest näidisprojektide nimekiri ja koolitanud lähtekontol ruumide klassifitseerimismudelit, et klassifitseerida köögi, vannitoa, elutoa ja muu kujutisi.

Mudeli kopeerimisfunktsiooni funktsionaalsuse demonstreerimiseks teeme lähtekontol järgmised sammud.

1. Käivitage mudel ja tehke näidispiltide põhjal järeldusi.
2. Määratlege ressursipõhine poliitika, et võimaldada Rekognitioni kohandatud siltide mudeli kopeerimiseks kontoülene juurdepääs.

Seejärel kopeerime lähtemudeli sihtkontole.

3. Loo Amazoni lihtne salvestusteenus (Amazon S3) kopp, mis toimib mudeli hindamise ja jõudluse statistika konteinerina.
4. Loo projekt.
5. Kopeerige koolitatud mudel lähtekontolt sihtkontole.
6. Käivitage mudel ja käivitage näidispiltide põhjal järeldus.
7. Kontrollige, et järeldustulemused vastavad lähtekonto mudeli tulemustele.

Eeldused

Lisaks sellele, et teie lähtekontol on koolitatud mudel, tehke kindlasti järgmised eeltingimused.

1. Installige AWS CLI V2.
2. Seadistage oma AWS CLI järgmise koodiga ja sisestage oma piirkond:

   aws configure

3. Käivitage järgmised käsud, et veenduda, et teie kohalikku hosti on installitud AWS CLI versioon 2.xx.

   aws --version

4. Värskendage allolevat AWS-i mandaadifaili $HOME/.aws/credentials järgmise kirjega:

   [source-account]
   aws_access_key_id = ####
   aws_secret_access_key = #######
   
   [target-account]
   aws_access_key_id = ####
   aws_secret_access_key = #######

5. Saada ProjectArn ja ProjectVersionArn AWS-i lähtekonto jaoks.ProjectArn on teie lähtemudeliga seotud projekt. ProjectVersionArn on mudeli versioon, mida soovite sihtkontole kopeerida. Leiate SourceProjectArn kasutades järgmist käsku:

   aws rekognition describe-projects 
   --region us-east-1 
   --profile source-account
   
   {
       "ProjectDescriptions": [{
           "ProjectArn": "arn:aws:rekognition:us-east-1::111111111111:project/rooms_1/1657588855531",
           .
           .
       }]
   }

   Kui näete mitut väljundi rida, valige ProjectArn on seotud kopeeritava mudeliga.

   Leiad SourceProjectVersionArn mudeli jaoks, mille treenisite kasutades SourceProjectArn (eelmine väljund). Asendage SourceProjectArn järgmises käsus:

   aws rekognition describe-project-versions 
   --project-arn SourceProjectArn 
   --region us-east-1 
   --profile source-account

   Käsk tagastab SourceProjectVersionArn. Kui näete mitut väljundi rida, valige ProjectVersionArn huvi.

   {
       "ProjectVersionDescriptions": [
           {
               "ProjectVersionArn": "arn:aws:rekognition:us-east-1:111111111111:project/rooms_1/version/rooms_1.2022-07-12T09.39.36/1657643976475",
               .
               .
           }
       ]
   }

Nüüd olete valmis lahenduse rakendamiseks vajalikke toiminguid tegema. Asendage väärtused SourceProjectArn ja SourceProjectVersionArn järgmistes käskudes teie loodud väärtustega.

1. Käivitage mudel ja käivitage näidispiltide põhjal järeldus

Sisestage mudeli käivitamiseks lähtekontol järgmine kood:

aws rekognition start-project-version 
--project-version-arn SourceProjectVersionArn 
--min-inference-units 1 
--region us-east-1 
--profile source-account
{
    "Status": "STARTING"
}

Pärast mudeli hostimist ja tööolekus saate teha järeldusi.

Järelduste tegemiseks kasutasime järgmisi pilte (demo1.jpeg ja demo2.jpeg). Need pildid asuvad meie kohalikus failisüsteemis samas kataloogis, kust käitatakse AWS CLI käske.

Järgmine pilt on demo1.jpeg, mis näitab tagaaeda.

Vaadake järgmist järelduskoodi ja väljundit:

aws rekognition detect-custom-labels 
--project-version-arn SourceProjectVersionArn   
--image-bytes fileb://demo1.jpeg 
--region us-east-1 
--profile source-account
{
    "Name": "backyard",
    "Confidence": 45.77000045776367
 }

Järgmine pilt on demo2.jpeg, millel on kujutatud magamistuba.

Vaadake järgmist järelduskoodi ja väljundit:

aws rekognition detect-custom-labels 
--project-version-arn SourceProjectVersionArn   
--image-bytes fileb://demo2.jpeg 
--region us-east-1 
--profile source-account
{
    "Name": "bedroom",
    "Confidence": 61.84600067138672
 }

Järelduste tulemused näitavad, et pilt kuulub klassidesse backyard ja bedroom, usaldusskooriga vastavalt 45.77 ja 61.84.

2. Kontoülese juurdepääsu võimaldamiseks määratlege koolitatud mudeli IAM-i ressursipoliitika

Ressursipõhise IAM-poliitika loomiseks tehke lähtekontol järgmised toimingud.

1. Lubage oma konkreetsel AWS-i kontol ressurssidele juurde pääseda, kasutades IAM-i ressursipoliitikat (lisateabe saamiseks vaadake Projektipoliitika dokumendi koostamine. Asendage väärtused TargetAWSAccountId ja SourceProjectVersionArn järgmises poliitikas:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Principal": {
                   "AWS": [ "TargetAWSAccountId" ]
               },
               "Action": "Rekognition:CopyProjectVersion",
               "Resource": "SourceProjectVersionArn",
               "Effect": "Allow"
           }
       ]
   }

2. Lisage poliitika lähtekonto projektile, kutsudes välja järgmise käsu.

   aws rekognition put-project-policy 
   --project-arn SourceProjectArn 
   --policy-name PolicyName 
   --policy-document '{
       "Version": "2012-10-17",
       "Statement": [
           {
               "Principal": {
                   "AWS": [ "TargetAWSAccountId" ]
               },
               "Action": "Rekognition:CopyProjectVersion",
               "Resource": "SourceProjectVersionArn",
               "Effect": "Allow"
           }
       ]
   }' 
   --region us-east-1 
   --profile source-account

   asendama SourceProjectArn, PolicyName, TargetAWSAccountIdja SourceProjectVersionArn.

   Väljund näitab loodud poliitika redaktsiooni ID-d:

   {
       "PolicyRevisionId": "f95907f9c1472c114f61b0e1f31ed131"
   }

Nüüd oleme valmis koolitatud mudeli lähtekontolt sihtkontole kopeerima.

3. Looge sihtkontol S3-salv

Saate kasutada oma kontol olemasolevat S3 ämbrit või luua uue S3 ämbri. Selle postituse jaoks nimetame seda S3 ämbriks DestinationS3Bucket.

4. Looge uus Rekognitioni kohandatud siltide projekt

Looge uus projekt järgmise koodiga:

aws rekognition create-project 
--project-name target_rooms_1 
--region us-east-1 
--profile target-account 

See loob a TargetProjectArn sihtkontol:

{
    "ProjectArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/1657599660206"
}

Pange tähele sihtprojekti väärtust ProjectArn valdkonnas. Kasutame seda väärtust järgmises kopeerimismudeli käsus.

5. Kopeerige mudel lähtekontolt sihtkontole

Esitage allikas ja sihtmärk ProjectArn, allikas ProjectVersionArn, ja sihtmärgiks S3 ämber ja S3 võtme eesliide järgmises koodis:

aws rekognition copy-project-version 
--source-project-arn SourceProjectArn 
--source-project-version-arn SourceProjectVersionArn 
--destination-project-arn TargetProjectArn 
--version-name TargetVersionName 
--output-config '{"S3Bucket":"DestinationS3Bucket", "S3KeyPrefix":"DestinationS3BucketPrefix"}' 
--region us-east-1 
--profile target-account

See loob kopeeritud mudeli TargetProjectVersionArn sihtkontol. The TargetVersionName meie puhul on nimetatud copy_rooms_1:

{
    "ProjectVersionArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/version/copy_rooms_1/1657667877079"
}

Kontrollige mudeli kopeerimisprotsessi olekut:

aws rekognition describe-project-versions 
--project-arn TargetProjectArn 
--version-names TargetVersionName 
--region us-east-1 
--profile target-account

Mudeli koopia lähtekontolt sihtkontole on lõpetatud, kui Status muutub COPYING_COMPLETED:

 {
    "ProjectVersionDescriptions": [
        {
            "ProjectVersionArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/version/copy_rooms_1/1657667877079",
            "CreationTimestamp": "2022-07-12T16:17:57.079000-07:00",
            "Status": "COPYING_COMPLETED",
            "StatusMessage": "Model copy operation was successful",
            ..........
            ..........
            "EvaluationResult": {
                "F1Score": 0.0,
                "Summary": {

6. Käivitage mudel ja käivitage järeldus

Sihtkontol mudeli käivitamiseks sisestage järgmine kood:

aws rekognition start-project-version 
--project-version-arn TargetProjectArn 
--min-inference-units 1 
--region us-east-1 
--profile target-account
{
    "Status": "STARTING"
}

Kontrollige mudeli olekut:

aws rekognition describe-project-versions 
--project-arn TargetProjectArn 
--version-names copy_rooms_1 
--region us-east-1 
--profile target-account

Mudel on nüüd hostitud ja töötab:

{
    "ProjectVersionDescriptions": [
        {
            "ProjectVersionArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/version/copy_rooms_1/1657667877079",
            "CreationTimestamp": "2022-07-12T16:17:57.079000-07:00",
            "MinInferenceUnits": 1,
            "Status": "RUNNING",
            "StatusMessage": "The model is running.",
            ..........
            ..........
        }
    ]
}

Käivitage järeldus järgmise koodiga:

aws rekognition detect-custom-labels 
 --project-version-arn TargetProjectVersionArn 
 --image-bytes fileb://demo1.jpeg 
 --region us-east-1 
 --profile target-account
{
    "Name": "backyard",
    "Confidence": 45.77000045776367
 }
aws rekognition detect-custom-labels 
 --project-version-arn TargetProjectVersionArn 
 --image-bytes fileb://demo2.jpeg 
 --region us-east-1 
 --profile target-account
{
    "Name": "bedroom",
    "Confidence": 61.84600067138672

7. Kontrollige järelduste tulemuste vastavust

Sihtkonto piltide demo1.jpg ja demo2.jpg klassid ja usaldusskoorid peaksid ühtima lähtekonto tulemustega.

Järeldus

Selles postituses demonstreerisime Rekognitioni kohandatud sildi mudeli kopeerimise funktsiooni. See funktsioon võimaldab teil koolitada klassifikatsiooni või objekti tuvastamise mudelit ühel kontol ja seejärel jagada mudelit teise kontoga samas piirkonnas. See lihtsustab mitme konto strateegiat, kus mudelit saab ühe korra koolitada ja jagada sama piirkonna kontode vahel, ilma et peaks koolitusandmekogumeid ümber õpetama või jagama. See võimaldab prognoositavat juurutamist igal kontol teie MLOps-i töövoo osana. Lisateabe saamiseks vaadake Amazon Rekognitioni kohandatud siltide mudeli kopeeriminevõi proovige selle postituse läbiviimist, kasutades pilvekestat koos AWS-i CLI-ga.

Selle kirjutamise seisuga on Amazon Rekognitioni kohandatud siltide mudelite kopeerimise funktsioon saadaval järgmistes piirkondades:

• USA idaosa (Ohio)
• USA idaosa (N. Virginia)
• USA lääneosa (Oregon)
• Aasia Vaikne ookean (Mumbai)
• Aasia Vaikne ookean (Soul)
• Aasia Vaikne ookean (Singapur)
• Aasia Vaikne ookean (Sydney)
• Aasia Vaikne ookean (Tokyo)
• EL (Frankfurt)
• EL (Iirimaa)
• EL (London)

Proovige seda funktsiooni ja saatke meile tagasisidet kas aadressil AWS foorum Amazon Rekognitioni jaoks või teie AWS-i tugikontaktide kaudu.

Autoritest

Amit Gupta on AWS-i AI teenuste lahenduste vanemarhitekt. Ta on kirglik võimaldada klientidele hästi läbimõeldud masinõppelahendusi ulatuslikult.

Yogesh Chaturvedi on AWS-i lahenduste arhitekt, keskendudes arvutinägemisele. Ta töötab klientidega, et lahendada nende äriprobleemid pilvetehnoloogiate abil. Väljaspool tööd naudib ta matkamist, reisimist ja spordi vaatamist.

Aakashi sügavus on AWS-iga vanemtarkvarainsener. Talle meeldib töötada arvutinägemise, tehisintellekti ja hajutatud süsteemide kallal. Väljaspool tööd naudib ta matkamist ja reisimist.

Pashmeen Mistry on Amazon Rekognitioni kohandatud siltide vanemtootejuht. Väljaspool tööd naudib Pashmeen seikluslikke matku, fotograafiat ja perega aja veetmist.