Käyttäjien luoma sisältö (UGC) kasvaa eksponentiaalisesti, samoin kuin sisällön ja verkkoyhteisöjen turvallisuuden ja vaatimustenmukaisuuden säilyttämisen vaatimukset ja kustannukset. Nykyaikaiset verkko- ja mobiilialustat ruokkivat yrityksiä ja lisäävät käyttäjien sitoutumista sosiaalisten ominaisuuksien kautta startupeista suuriin organisaatioihin. Verkkoyhteisön jäsenet odottavat turvallisia ja osallistavia kokemuksia, joissa he voivat vapaasti kuluttaa ja lähettää kuvia, videoita, tekstiä ja ääntä. UGC:n jatkuvasti kasvava määrä, monimuotoisuus ja monimutkaisuus tekevät perinteisistä ihmisen moderoinnin työnkuluista haastavia skaalata käyttäjien suojelemiseksi. Nämä rajoitukset pakottavat asiakkaat tehottomiin, kalliisiin ja reaktiivisiin lieventämisprosesseihin, jotka aiheuttavat tarpeettoman riskin käyttäjille ja yritykselle. Tuloksena on huono, haitallinen ja ei-kallistava yhteisökokemus, joka irrottaa käyttäjät ja vaikuttaa negatiivisesti yhteisön ja liiketoiminnan tavoitteisiin.
Ratkaisu on skaalautuva sisällönvalvontatyönkulku, joka perustuu tekoäly-, koneoppimis- (ML), syväoppimis- (DL) ja luonnollisen kielenkäsittelyn (NLP) teknologioihin. Nämä rakenteet kääntävät, litteroivat, tunnistavat, havaitsevat, peittävät, muokkaavat ja tuovat strategisesti ihmisten lahjakkuuksia moderointityönkulkuun, jotta ne voivat suorittaa tarvittavat toimenpiteet käyttäjien turvallisuuden ja sitoutumisen pitämiseksi samalla kun lisätään tarkkuutta ja prosessin tehokkuutta sekä alennetaan toimintakustannuksia.
Tässä viestissä tarkastellaan sisällön moderoinnin työnkulkujen rakentamista AWS AI -palveluilla. Lisätietoja liiketoiminnan tarpeista, vaikutuksista ja kustannussäästöistä, joita automaattinen sisällön moderointi tuo sosiaaliseen mediaan, pelaamiseen, verkkokauppaan ja mainontateollisuuteen, katso artikkeli Käytä AWS AI -palveluita sisällön valvonnan ja vaatimustenmukaisuuden automatisoimiseen.
Ratkaisun yleiskatsaus
Et tarvitse ML-asiantuntemusta näiden työnkulkujen toteuttamiseen, ja voit räätälöidä nämä mallit yrityksesi erityistarpeisiin! AWS tarjoaa nämä ominaisuudet täysin hallittujen palveluiden kautta, jotka poistavat toiminnan monimutkaisuuden ja erottelemattoman raskaan noston, ja ilman datatieteiden tiimiä.
Tässä postauksessa näytämme, kuinka tehokkaasti moderoidaan tiloja, joissa asiakkaat keskustelevat ja arvostelevat tuotteita tekstin, äänen, kuvien, videon ja jopa PDF-tiedostojen avulla. Seuraava kaavio havainnollistaa ratkaisun arkkitehtuuria.
Edellytykset
Oletusarvoisesti nämä mallit osoittavat palvelintonta menetelmää, jossa maksat vain käyttämästäsi. Maksat edelleen laskentaresursseista, kuten AWS-veljeskunta säiliöt ja varastot, kuten Amazonin yksinkertainen tallennuspalvelu (Amazon S3), kunnes poistat kyseiset resurssit. Keskustelut AWS AI -palvelut noudattavat myös kulutushinnoittelumallia operaatiokohtaisesti.
Muut kuin tuotantoympäristöt voivat testata kaikkia näitä malleja Free Tier -tasolla olettaen, että tilisi on kelvollinen.
Kohtalainen pelkkä teksti
Ensin sinun on otettava käyttöön pelkän tekstin sisällön valvonta. Tämä menettely toimii perustana kehittyneemmille mediatyypeille ja sisältää kaksi korkean tason vaihetta:
- Käännä teksti.
- Analysoi tekstiä.
Globaalit asiakkaat haluavat tehdä yhteistyötä sosiaalisten alustojen kanssa äidinkielellään. Tämän odotuksen täyttäminen voi lisätä monimutkaisuutta, koska suunnittelutiimien on rakennettava työnkulku tai vaiheet jokaiselle kielelle. Sen sijaan voit käyttää Amazon Käännä muuntaa tekstiä yli 70 kielelle ja versiolle yli 15 alueella. Tämän ominaisuuden avulla voit kirjoittaa analyysisääntöjä yhdelle kielelle ja soveltaa niitä kaikkialla maailmanlaajuisessa verkkoyhteisössä.
Amazon Translate on hermoston konekäännöspalvelu, joka tarjoaa nopean, laadukkaan, edullisen ja muokattavissa olevan kielikäännöksen. Voit integroida sen työnkulkuihisi havaitaksesi hallitsevan kielen ja kääntää tekstiä. Seuraava kaavio havainnollistaa työnkulkua.
API:t toimivat seuraavasti:
- - DetectDominantLanguage API määrittää syöttötekstin hallitsevan kielen. Katso luettelo kielistä, jotka Amazon Comprehend voi havaita, katso Hallitseva kieli.
- - KäännäTeksti API kääntää syöttötekstin lähdekielestä kohdekielelle valinnaisella vaihtoehdolla kirosanojen naamiointi. Katso luettelo käytettävissä olevista kielistä ja kielikoodeista kohdasta Tuetut kielet ja kielikoodit.
- - StartExecution ja Käynnistä SyncExecution API:t alkavat AWS-vaihetoiminnot valtion kone.
Seuraavaksi voit käyttää NLP:tä tekstin yhteyksien löytämiseen, kuten avainlauseiden löytämiseen, tunteiden analysointiin ja henkilökohtaisten tunnistetietojen (PII) havaitsemiseen. Amazonin käsitys Sovellusliittymät poimivat nämä arvokkaat oivallukset ja välittävät ne mukautetuille toimintokäsittelijöille.
Käsittelijöiden ajaminen sisällä AWS Lambda Functions skaalaa koodisi joustavasti ajattelematta palvelimia tai klustereita. Vaihtoehtoisesti voit käsitellä Amazon Comprehendin oivalluksia mikropalveluarkkitehtuurimallit. Ajonajasta riippumatta koodisi keskittyy tulosten käyttöön, ei tekstin jäsentämiseen.
Seuraava kaavio havainnollistaa työnkulkua.
Lambda-toiminnot ovat vuorovaikutuksessa seuraavien API:iden kanssa:
- - DetectEntities API löytää ja ryhmittelee tekstissä olevien tosielämän objektien, kuten ihmisten ja paikkojen, nimet. Voit käyttää mukautettua sanastoa sopimattomien ja yrityskohtaisten entiteettityyppien poistamiseen.
- - DetectSentiment API tunnistaa tekstin yleisen tunteen positiiviseksi, negatiiviseksi tai neutraaliksi. Voit kouluttaa mukautettuja luokittajia tunnistamaan toimialakohtaiset kiinnostavat tilanteet ja poimimaan tekstin käsitteellisen merkityksen.
- - DetectPIIEtities API tunnistaa tekstistäsi henkilökohtaisia tunnistetietoja, kuten osoitteen, pankkitilin numeron tai puhelinnumeron. Tulos sisältää PII-entiteetin tyypin ja sitä vastaavan sijainnin.
Keskitä äänitiedostoja
Jos haluat moderoida äänitiedostoja, sinun on kirjoitettava tiedosto tekstiksi ja analysoitava se. Tällä prosessilla on kaksi muunnelmaa riippuen siitä, käsitteletkö yksittäisiä tiedostoja (synkroninen) vai live-äänivirtaa (asynkroninen). Synkroniset työnkulut ovat ihanteellisia eräkäsittelyyn, jolloin soittaja saa yhden täydellisen vastauksen. Sitä vastoin äänivirrat vaativat säännöllistä näytteistystä useilla transkriptiotuloksilla.
Amazonin transkriptio on automaattinen puheentunnistuspalvelu, joka käyttää ML-malleja äänen muuntamiseen tekstiksi. Voit integroida sen synkronisiin työnkulkuihin käyttämällä transkriptiotyön aloittaminen ja määräajoin kyselee työn tilaa. Kun työ on valmis, voit analysoida tulosteen käyttämällä edellisen vaiheen pelkkätekstivalvontatyönkulkua.
Seuraava kaavio havainnollistaa työnkulkua.
API:t toimivat seuraavasti:
- - KäynnistäTranscriptionJob API aloittaa asynkronisen työn puheen litteroimiseksi tekstiksi.
- - HankiTranscriptionJob API palauttaa tiedot transkriptiotyöstä. Nähdäksesi työn tilan, tarkista
TranscriptionJobStatus
ala. Jos tilaominaisuus onCOMPLETED
, löydät tulokset kohdassa määritetystä sijainnistaTranscriptFileUri
ala. Jos otat sisällön muokkaamisen käyttöön, muokattu transkriptio tulee näkyviinRedactedTranscriptFileUri
.
Suorat äänistreamit tarvitsevat erilaisen kuvion, joka tukee reaaliaikaista toimitusmallia. Suoratoisto voi sisältää valmiiksi tallennettua mediaa, kuten elokuvia, musiikkia ja podcasteja, ja reaaliaikaista mediaa, kuten suoria uutislähetyksiä. Voit litteroida äänipaloja välittömästi käyttämällä Amazon Transcriben suoratoisto HTTP/2- ja WebSockets-protokollien kautta. Kun olet lähettänyt osan palveluun, saat yhden tai useamman transkription tulosobjektit kuvataan osittaisen ja täydellisen transkription segmentit. Valvontaa vaativat segmentit voivat käyttää uudelleen edellisen osan pelkkä teksti -työnkulkua. Seuraava kaavio havainnollistaa tätä prosessia.
- Aloita StreamingTranscription API käynnistää kaksisuuntaisen HTTP/2-virran, jossa ääni striimaa Amazon Transcribeille ja suoratoistaa transkription tulokset sovellukseesi.
Kohdista kuvia ja valokuvia
Kuvien valvominen edellyttää sopimattoman, ei-toivotun tai loukkaavan sisällön havaitsemista kuvien ja kuvien sisällöstä, joka sisältää alastomuutta, vihjailua, väkivaltaa ja muita luokkia.
Amazonin tunnistus avulla voit virtaviivaistaa tai automatisoida kuvien ja videoiden valvontatyönkulkuja ilman ML-asiantuntemusta. Amazon Rekognition palauttaa hierarkkisen taksonomian moderointiin liittyvistä tarroista. Näiden tietojen avulla on helppo määrittää yksityiskohtaiset liiketoimintasäännöt standardien ja käytäntöjesi, käyttäjien turvallisuuden ja vaatimustenmukaisuusohjeiden mukaisesti. Näiden ominaisuuksien käyttäminen ei edellytä ML-kokemusta. Amazon Rekognition pystyy havaitsemaan ja lukemaan kuvan tekstin ja palauttamaan rajoitusruudut jokaiselle löydetylle sanalle. Amazon Rekognition tukee tekstintunnistusta englanniksi, arabiaksi, venäjäksi, saksaksi, ranskaksi, italiaksi, portugaliksi ja espanjaksi!
Voit käyttää koneennusteita automatisoidaksesi tietyt valvontatehtävät kokonaan. Tämän ominaisuuden ansiosta moderaattorit voivat keskittyä korkeamman asteen työhön. Lisäksi Amazon Rekognition voi nopeasti tarkastella miljoonia kuvia tai tuhansia videoita ML:n avulla ja merkitä lisätoimia vaativien resurssien osajoukon. Esisuodatus auttaa tarjoamaan kattavan mutta kustannustehokkaan moderoinnin kattavuuden ja vähentää samalla ihmisryhmien valvoman sisällön määrää.
Seuraava kaavio havainnollistaa työnkulkua.
API:t toimivat seuraavasti:
- - DetectModerationLabels API havaitsee vaarallisen sisällön määritetyistä JPEG- tai PNG-muotoisista kuvista. Käytä DetectModerationLabelsia kuvien moderointiin tarpeidesi mukaan. Voit esimerkiksi suodattaa kuvat, jotka sisältävät alastomuutta, mutta eivät kuvia, joissa on vihjailevaa sisältöä.
- - TunnistaText API tunnistaa tekstin syöttökuvassa ja muuntaa sen koneellisesti luettavaksi tekstiksi.
Keskitä rich text asiakirjoja
Seuraavaksi voit käyttää Amazonin teksti poimia käsinkirjoitettua tekstiä ja tietoja skannatuista asiakirjoista. Tämä prosessi alkaa kutsumalla AloitaDocumentAnalysis toiminto Microsoft Word- ja Adobe PDF -tiedostojen jäsentämiseksi. Voit seurata työn edistymistä GetDocumentAnalysis toimintaa.
Analyysitulos määrittää asiakirjan jokaisen peittämättömän sivun, kappaleen, taulukon ja avainarvoparin. Oletetaan esimerkiksi, että terveydenhuollon tarjoajan täytyy peittää potilaiden nimet vain väitteen kuvauskentässä. Siinä tapauksessa analyysiraportti voi toimia älykkäät asiakirjankäsittelyputket jotka muokkaavat ja muokkaavat tietyn tietokentän. Seuraava kaavio havainnollistaa putkilinjaa.
API:t toimivat seuraavasti:
- - AloitaDocumentAnalysis API aloittaa syöttöasiakirjan asynkronisen analyysin havaittujen kohteiden, kuten avainarvoparien, taulukoiden ja valintaelementtien välisistä suhteista.
- - GetDocumentAnalysis API saa tulokset Amazon Textract asynkroniselle toiminnolle, joka analysoi asiakirjan tekstiä
Moderoi videoita
Tavallinen lähestymistapa videosisällön valvontaan on kehysnäytteenottomenettely. Monissa käyttötapauksissa ei tarvitse tarkistaa jokaista kehystä, vaan yhden valitseminen 15–30 sekunnin välein riittää. Otetut videokehykset voivat käyttää tilakonetta uudelleen edellisen osan kuvien moderointiin. Vastaavasti olemassa oleva äänen moderointiprosessi voi tukea tiedoston kuuluvaa sisältöä. Seuraava kaavio havainnollistaa tätä työnkulkua.
- vedota API suorittaa Lambda-funktiota ja odottaa synkronisesti vastausta.
Oletetaan, että mediatiedosto on kokonainen elokuva, jossa on useita kohtauksia. Siinä tapauksessa voit käyttää Amazon Rekognition Segment API, yhdistetty API teknisten vihjeiden tai laukauksen havaitsemiseen. Seuraavaksi voit käyttää näitä aikapoikkeamia prosessoidaksesi rinnakkain kunkin segmentin edellisen videon moderointikuvion kanssa seuraavan kaavion mukaisesti.
API:t toimivat seuraavasti:
- - StartSegmentationDetection API aloittaa segmentin tunnistuksen asynkronisen havaitsemisen tallennetussa videossa
- - GetSegmentationDetection API saa StartSegmentDetection API:n käynnistämän Amazon Rekognition Video -analyysin segmentin tunnistustulokset
Yksittäisten ruutujen poimiminen elokuvasta ei vaadi objektin hakemista Amazon S3:sta useita kertoja. Naiivi ratkaisu sisältää videon lukemisen muistiin ja sivuttamisen loppuun. Tämä kuvio on ihanteellinen lyhyille leikkeille ja kun arvioinnit eivät ole aikaherkkiä.
Toinen strategia sisältää tiedoston siirtämisen kerran kohteeseen Amazonin elastinen tiedostojärjestelmä (Amazon EFS), täysin hallittu, skaalautuva, jaettu tiedostojärjestelmä muille AWS-palveluille, kuten Lambdalle. Kanssa Amazon EFS Lambdalle, voit jakaa tietoja tehokkaasti funktiokutsujen kesken. Jokainen kutsu käsittelee tehokkaasti pienen osan, mikä vapauttaa mahdollisuuden massiiviseen rinnakkaiskäsittelyyn ja nopeampiin käsittelyaikaan.
Puhdistaa
Kun olet kokeillut tämän viestin menetelmiä, sinun tulee poistaa kaikki sisältö S3-säilöistä tulevien kustannusten välttämiseksi. Jos olet ottanut nämä mallit käyttöön varattujen laskentaresurssien kanssa, kuten Amazonin elastinen laskentapilvi (Amazon EC2) tai Amazonin elastisten säiliöiden palvelu (Amazon ECS), sinun tulee lopettaa nämä esiintymät välttääksesi lisäveloitukset.
Yhteenveto
Käyttäjien luoma sisältö ja sen arvo pelaamiseen, sosiaaliseen mediaan, verkkokauppaan sekä rahoitus- ja terveyspalveluorganisaatioille kasvavat edelleen. Silti startup-yritysten ja suurten organisaatioiden on luotava tehokkaita moderointiprosesseja käyttäjien, tietojen ja liiketoiminnan suojelemiseksi ja samalla toimintakulujen alentamiseksi. Tämä ratkaisu osoittaa, kuinka tekoäly-, ML- ja NLP-tekniikat voivat tehokkaasti auttaa sinua hallitsemaan sisältöä laajassa mittakaavassa. Voit mukauttaa AWS AI -palveluita vastaamaan erityisiä moderointitarpeitasi! Nämä täysin hallitut ominaisuudet poistavat toiminnan monimutkaisuuden. Tämä joustavuus integroi strategisesti kontekstuaaliset oivallukset ja inhimilliset lahjakkuudet moderointiprosesseihisi.
Jos haluat lisätietoja, resursseja ja aloittaa ilmaiseksi tänään, vieraile osoitteessa AWS-sisällön moderoinnin kotisivu.
Tietoja Tekijät
Nate Bachmeier on AWS Senior Solutions Architect, joka tutkii New Yorkia nomadisesti, yksi pilviintegraatio kerrallaan. Hän on erikoistunut sovellusten siirtoon ja modernisointiin. Tämän lisäksi Nate on kokopäiväinen opiskelija ja hänellä on kaksi lasta.
Ram Pathangi on ratkaisuarkkitehti Amazon Web Servicesissä San Franciscon lahden alueella. Hän on auttanut asiakkaita maatalouden, vakuutustoiminnan, pankkitoiminnan, vähittäiskaupan, terveydenhuollon ja biotieteiden, vieraanvaraisuuden ja korkean teknologian toimialoilla hoitamaan liiketoimintaansa menestyksekkäästi AWS Cloudissa. Hän on erikoistunut tietokantoihin, analytiikkaan ja koneoppimiseen.
Roop Bains on AWS:n ratkaisuarkkitehti, joka keskittyy tekoälyyn/ML:ään. Hän on intohimoinen auttaa asiakkaita innovoimaan ja saavuttamaan liiketoimintatavoitteensa tekoälyn ja koneoppimisen avulla. Vapaa-ajallaan Roop pitää lukemisesta ja patikoinnista.
- "
- 100
- 70
- Meistä
- TIIVISTELMÄ
- Tili
- poikki
- Toiminta
- toimet
- Lisäksi
- lisä-
- osoite
- mainonta
- maatalous
- AI
- Tekoälyn palvelut
- Amazon
- Amazon Web Services
- määrä
- analyysi
- Analytics
- api
- API
- Hakemus
- sovellukset
- lähestymistapa
- arkkitehtuuri
- ALUE
- keinotekoinen
- tekoäly
- Tekoäly (AI)
- Keinotekoinen älykkyys ja koneoppiminen
- Varat
- audio-
- automatisoida
- Automatisoitu
- automaattisesti
- saatavissa
- AWS
- Pankki
- pankkitili
- Pankkitoiminta
- Lahti
- rakentaa
- liiketoiminta
- yritykset
- soittaja
- kyvyt
- kuljettaa
- tapauksissa
- haastava
- maksut
- leikkeet
- pilvi
- koodi
- tehdä yhteistyötä
- Tulla
- yhteisöjen
- yhteisö
- monimutkaisuus
- noudattaminen
- mukautuva
- kattava
- Laskea
- Liitännät
- kuluttaa
- kulutus
- Kontti
- Kontit
- sisältää
- pitoisuus
- jatkaa
- edistävät
- vastaava
- kustannustehokas
- kustannukset
- luoda
- asiakassuhde
- Asiakkaat
- muokattavissa
- tiedot
- tietojenkäsittely
- tietokannat
- Antaa
- toimitus
- osoittaa
- Riippuen
- Malli
- havaittu
- Detection
- eri
- pohtia
- asiakirjat
- ei
- ajaa
- verkkokaupan
- verkkokaupan
- tehokkuus
- tehokas
- tehokkaasti
- mahdollistaa
- sitoumus
- Englanti
- kokonaisuus
- esimerkki
- olemassa
- odottaa
- experience
- Elämykset
- kokeilu
- asiantuntemus
- eksponentiaalisesti
- FAST
- nopeampi
- Ominaisuudet
- taloudellinen
- Joustavuus
- virtaus
- Keskittää
- keskittyy
- seurata
- jälkeen
- löytyi
- perusta
- FRAME
- Francisco
- Ilmainen
- Ranskan
- polttoaine
- toiminto
- edelleen
- tulevaisuutta
- pelaamista
- Global
- Ryhmän
- Kasvaa
- suuntaviivat
- terveys
- terveydenhuollon
- auttaa
- auttaa
- auttaa
- korkealaatuisia
- Miten
- Miten
- HTTPS
- ihmisen
- kuva
- Vaikutus
- toteuttaa
- täytäntöön
- sisältää
- lisää
- henkilökohtainen
- teollisuuden
- tiedot
- panos
- oivalluksia
- vakuutus
- yhdistää
- integraatio
- Älykkyys
- korko
- IT
- Job
- avain
- Lasten
- tarrat
- Kieli
- kielet
- suuri
- OPPIA
- oppiminen
- Life Sciences
- nosto
- Lista
- sijainti
- kone
- koneoppiminen
- TEE
- onnistui
- naamio
- merkitys
- Media
- kokous
- Jäsenet
- Muisti
- Microsoft
- ehkä
- miljoonia
- ML
- Puhelinnumero
- malli
- mallit
- monitori
- lisää
- elokuva
- Elokuvat
- liikkuvat
- moninkertainen
- Musiikki
- nimet
- Luonnollinen
- negatiivinen
- New York
- uutiset
- numero
- verkossa
- käyttää
- toiminta
- organisaatioiden
- Muut
- yleinen
- intohimoinen
- Kuvio
- Maksaa
- Ihmiset
- lausekkeet
- Platforms
- podcastit
- kehno
- Portugalin
- positiivinen
- mahdollinen
- teho
- Ennusteet
- edellinen
- hinnoittelu
- prosessi
- Prosessit
- käsittely
- Tuotteemme
- omaisuus
- suojella
- protokollat
- toimittaa
- nopeasti
- Lukeminen
- reaaliaikainen
- vastaanottaa
- tunnistaa
- vähentämällä
- Ihmissuhteet
- raportti
- edellyttää
- tarvitaan
- vaatimukset
- Esittelymateriaalit
- vastaus
- tulokset
- vähittäiskauppa
- palata
- Tuotto
- arviot
- Arvostelut
- Riski
- säännöt
- ajaa
- turvallista
- Turvallisuus
- San
- San Francisco
- skaalautuva
- Asteikko
- kohtaukset
- tiede
- tieteet
- sekuntia
- segmentti
- segmentit
- näkemys
- serverless
- palvelu
- Palvelut
- yhteinen
- Lyhyt
- esitetty
- samalla lailla
- Yksinkertainen
- pieni
- sosiaalinen
- sosiaalinen media
- ratkaisu
- Ratkaisumme
- hienostunut
- tilat
- erikoistunut
- standardi
- standardit
- Alkaa
- alkoi
- alkaa
- Startups
- Osavaltio
- Tila
- Levytila
- Strategia
- virta
- streaming
- opiskelija
- Onnistuneesti
- tuki
- Tukee
- järjestelmä
- lahjakkuus
- Kohde
- tehtävät
- joukkue-
- Tekninen
- Technologies
- testi
- Lähde
- Ajattelu
- tuhansia
- Kautta
- aika
- tänään
- yhdessä
- perinteinen
- Jäljennös
- Kääntäminen
- tyypit
- paljastaa
- käyttää
- Käyttäjät
- arvo
- lajike
- pystysuunnassa
- Video
- Videoita
- tilavuus
- verkko
- verkkopalvelut
- Mitä
- onko
- vaikka
- sisällä
- ilman
- Referenssit