Brugere ramt af Microsofts billede til videoværktøj - VASA-

Brugere ramt af Microsofts billede til videoværktøj – VASA-

Tidsstempel: 24. april 2024 kl. 4
Brugere ramt af Microsofts Image to Video Tool - VASA- PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Mens kapløbet om AI-overherredømme fortsætter, ønsker Microsoft nu at forvandle folks portrætbilleder til talende ansigter eller videoer med sit nyeste værktøj, VASA-1.

Ifølge et forskningspapir fra teknologigiganten tager Microsoft AI-ræset til et andet niveau, med VASA 1, ramme for at skabe livagtige talende ansigter af virtuelle karakterer med visuelle affektive færdigheder (VAS), alt sammen fra et portræt.

Læs også: Videospilsindustrien skynder sig at foreninge over AI

Fra portrætter til talende ansigter

Selvom det endnu ikke er tilgængeligt for offentligheden, tager værktøjet et enkelt portrætfoto og talelyd og producerer en hyperrealistisk talende ansigtsvideo med præcis læbe-lydsynkronisering, naturtro ansigtsadfærd og naturalistiske hovedbevægelser genereret i realtid.

Værktøjet er stadig på forhåndsvisningsstadiet med Microsoft Research-teamet, og demovideoerne "ser imponerende ud."

Mens virksomheder som Nvidia og Runway allerede har lignende hovedbevægelser og læbesynkroniseringsteknologi, ser VASA-1 ud til at "være af en meget højere kvalitet og realisme", hvilket reducerer mundartefakter ifølge Tom's Guide.

Derudover er denne tilgang til lyddrevet animation også som den seneste Vlogger AI model af Google Research.

Ifølge Microsoft, mens alle billederne i demonstrationseksemplerne er syntetiske skabt af Dall-E, kan VASA-1 stadig animere et rigtigt billede.

Demoen viser forskellige mennesker, der taler med næsten naturlige bevægelser, ansigtsudtryk, øjenbevægelser "ingen artefakter omkring toppen og bunden af ​​munden set i andre værktøjer."

Det kræver heller ikke et billede i portrætstil med ansigtet fremad, for at det kan fungere.

VASA-1 fik folk i tale

Allerede nu virker AI-entusiaster betaget af teknologien, der beskriver det som "vildt" og "vanvittigt" på X-platformen.

"De forbedringer, vi får mellem hver udgivelse, er utrolige," sagde Linus Ekenstam.

Andre er af den opfattelse, at verden er vidne til et "seismisk skift i måden medieindhold skabes på", og hvordan det forbruges.

"Det her er overvældende, realismen er i top," sagde en anden entusiast identificeret som Sam.

Selvom andre anerkender værktøjets evner, synes de også, det er lidt uansvarligt fra Microsofts side at introducere et værktøj, der nemt kan manipuleres til valg deepfakes.

"Vild at droppe det her lige før valget," skrev Rowan Cheung på X platform.

En anden bruger Evan Kirstel kommenterede med en streng advarsel: "Microsoft Researchs VASA-1 er en game-changer, der skaber hyperrealistiske AI-genererede videoer fra kun et billede og lyd."

"Mulighederne er uendelige, fra genoplivning af klassiske biograflegender til personlige medier. Men lad os være opmærksomme på deepfake risici."

Allerede nu har verden oplevet en tilstrømning af valgdeepfakes, hvor politikeres stemmer eller billeder er blevet manipuleret ved hjælp af AI til at sprede propaganda. Omkring en tredjedel af verdens befolkning går til valg i år.

Forskerne hos Microsoft har dog indikeret, at dette kun er til demonstration, og der er i øjeblikket ingen planer om en offentlig udgivelse eller at gøre det tilgængeligt for udviklere.

Hvordan virker VASA-1?

Ifølge Tom's Guide er forskerne selv overraskede over modellens evne til at "perfekt lip-sync til en sang, der afspejler ordene fra sangeren uden problemer, selvom der ikke er brugt musik i træningsdatasættet."

Derudover håndterede VASA-1 forskellige billedstile inklusive de historiske portrætter som de berømte Mona Lisa.

Værktøjet kunne bruges i spil på bagsiden af ​​dets avancerede læbesynkroniseringsevner. Dette, har eksperter sagt, kunne være en game changer for fordybelse.

Derudover kan teknologien være medvirkende til at skabe avatarer til sociale medievideoer, som i tilfældet med firmaer som Synthesia og HeyGen.

AI-baserede film og musikvideoproduktioner kan også udnytte VASA-1-teknologien til mere realistiske videoer.

Der er chancer for, at med Microsoft, der har en andel i OpenAI, kan VASA-1 være en del af en "fremtidig Copilot Sora integration."

Tidsstempel:

Mere fra MetaNews