Mozilla Developer Network, en meget brugt teknisk ressource for webudviklere, introducerede i denne uge en hjælpetjeneste kaldet AI Help, måske uvidende om, at dens robothjælper giver forkerte råd.
A GitHub-problem åbnede fredag på MDN's repo for Yari, platformkoden, der understøtter MDN, fortæller den beklagelige historie.
En udvikler, der går under navnet Eevee, forklarer, at MDN's forventede adfærd er "at indeholde korrekte oplysninger."
Den faktiske adfærd af AI Help, baseret på OpenAIs ChatGPT, er ikke altid det, bemærker de. "MDN har genereret en overbevisende løgn, og der er ingen åbenbar proces til at rette den," rapporterer Eevee.
Indtil jeg er blevet forsikret om, at al 'AI'-integration og indhold er blevet permanent fjernet fra MDN, kan jeg ikke stole på eller bruge MDN til noget formål.
Sådan skulle det ikke være. AI Help var inspireret af Supabase Clippy, som igen var inspireret af Clippy, der som du måske husker var en forlegenhed for Microsoft. Så måske var det trods alt forudbestemt.
AI-hjælp tilbydes i øjeblikket til dem, der har registreret sig for en gratis MDN Plus-konto (eller annoncefri betalt plan).
"AI-hjælp er ikke bare et nyt værktøj - det er din nye problemløsende følgesvend," erklærede Hermina Condei, direktør for Mozillas MDN-produktgruppe, i en blogindlæg tidligere i denne uge.
“Det er designet til at optimere dine søgeprocesser, hvilket gør det hurtigt og nemt at finde den information, du har brug for. Sådan fungerer det: Stil blot et spørgsmål på MDN, og AI-hjælpen begynder at fungere. Den dykker ned i vores omfattende lager af dokumentation, henter den mest relevante information og præsenterer den for dig i en kortfattet oversigt."
AI Hjælp inkluderer AI Explain, en knap, der beder chatbotten om at veje ind på den aktuelle websidetekst. Det er denne særlige funktion, der gik af sporet, selvom det hævdes at være den generelle AI-hjælpefunktion giver også forkerte svar.
De, der kigger ind på Eevees fejlrapport, ser ud til at være en lille smule kritiske over for deres nye AI-assistent.
“Denne 'AI' slangeolie er værre end ubrugelig af de ovenfor beskrevne årsager; andre eksempler er trivielle at skabe,” sagde MrLightningBolt. "Det gør MDN værre bare at være der."
Or denne, fra datarocks: "Som en, der af og til dypper sine tæer i CSS, når ingen andre er tilgængelige, og der skal rettes noget, er jeg afhængig af, at disse dokumenter er pålidelige. Dette er endnu mere sandt i dag, end det var tidligere, da LLM-genereret kammerat spredes over nettet. Hold venligst MDN som en pålidelig kilde til menneskeskabt udviklerdokumentation."
Andre rapporterer, at AI Hjælp modsiger sig selv, fejlidentificerer CSS funktioner, forklarer fejlagtigt tilgængelighedsfunktioner og generelt forstår ikke CSS.
Avdi Grimm skrev, "Jeg brugte ikke et årti på at prøve at overbevise folk om at bruge MDN over skovlfulde af lavkvalitets SEO-farming craptekst på W3Schools, kun for at de skulle blive præsenteret for skovlfulde af lavkvalitets AI craptekst på MDN."
Og nogle tanker fra Dalton Miner: “Jeg bruger MDN, fordi det er en omfattende og præcis kilde til dokumentation uden fnug. Jeg kan ikke se, hvordan LLM-output, der er udsat for voldsomme unøjagtigheder, forbedrer det. Det svækker dramatisk min tillid til MDN, og jeg frygter, at dets medtagelse vil fremme en overdreven afhængighed af billig, men upålidelig tekstgenerering."
Der var endda en sammenligning med den originale Clippy, hvilket ikke var tænkt som smiger.
Og her er udvikleren Andi McClure revse den nye AI-hjælpefunktion: "Bortset fra de etiske, juridiske og omdømmeproblemer her - praktisk talt, indtil jeg er blevet forsikret om, at al 'AI'-integration og indhold er blevet permanent fjernet fra MDN, kan jeg ikke stole på eller bruge MDN til noget formål. Hvis du lægger den et sted, hvordan kan jeg så vide, at du ikke har lagt den et andet sted? 'AI'-korruptionen er allerede sammenflettet med indholdet. I øjeblikket ser det ud til, at du skal klikke på specifikke markerede steder for at få 'AI'-indholdet til at generere, men hvordan kan jeg være sikker på, at dette vil forblive tilfældet i fremtiden?"
Kommentarerne fortsætter således. Hvis bare person kunne have planlagte denne.
Mozilla reagerede ikke umiddelbart på en anmodning om kommentar.
Men da denne historie blev skrevet, ser det ud til, at en MDN-kernevedligeholder, sideshowbarker, har lagt mærke til problemet.
Ændringen ser ud til at være landet i kilderne for to dage siden, i e342081
— uden noget tilknyttet problem, i stedet kun en PR kl #9188 der inkluderer absolut ingen diskussion eller baggrundsinformation af nogen art.
På dette tidspunkt ser det for mig ud til at være noget, som Mozilla besluttede at gøre på egen hånd uden at give nogen heads-up af nogen art til andre MDN-interessenter. (Jeg kan tage fejl; jeg har været lidt væk - meget af min tid i den sidste måned er desværre blevet brugt andetsteds, og det har forhindret mig i at kunne udføre MDN-arbejde, som jeg ellers normalt ville have lavet .)
Anyway, denne "AI Explain" ting er en monumentalt dårlig idé, klart — af indlysende årsager (men også af de specifikke årsager, som andre har brugt tid på at tilføje kommentarer til dette spørgsmål for at gøre det klart).
På dette tidspunkt kan jeg i det mindste love, at jeg personligt vil eskalere dette internt så højt, som jeg kan, med så meget hast som muligt (og er allerede begyndt at gøre det, før jeg overhovedet poster denne kommentar) - med det formål at få det fjernet absolut så hurtigt som muligt.
Fra omkring kl. 0817 UTC lørdag var en indsats i gang at fortryde AI Explain-funktionen. AI Explain-knappen har nu været pause, indtil videre. ®
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://go.theregister.com/feed/www.theregister.com/2023/07/03/mozilla_developer_network_adds_ai/
- :har
- :er
- :ikke
- 7
- a
- I stand
- over
- absolut
- tilgængelighed
- Konto
- tværs
- faktiske
- tilføje
- Tilføjer
- rådgivning
- Efter
- siden
- AI
- AI assistent
- sigte
- Alle
- allerede
- også
- altid
- an
- ,
- En anden
- enhver
- tilsyneladende
- vises
- kommer til syne
- ER
- omkring
- AS
- Assistant
- forbundet
- sikker
- At
- til rådighed
- væk
- baggrund
- Bad
- baseret
- BE
- fordi
- været
- før
- være
- Bit
- Bug
- men
- .
- by
- kaldet
- CAN
- kan ikke
- tilfælde
- lave om
- chatbot
- ChatGPT
- billig
- hævdede
- klar
- tydeligt
- klik
- CO
- kode
- KOMMENTAR
- kommentarer
- følgesvend
- omfattende
- tillid
- indeholder
- indhold
- fortsæt
- overbevise
- Core
- korrigere
- Korruption
- kunne
- skabe
- kritisk
- CSS
- Nuværende
- For øjeblikket
- Dage
- årti
- besluttede
- pålidelig
- beskrevet
- konstrueret
- Udvikler
- udviklere
- DID
- Direktør
- diskussion
- do
- dokumentation
- gør ikke
- gør
- dramatisk
- tidligere
- let
- indsats
- andet
- andetsteds
- etisk
- Endog
- eksempler
- forventet
- Forklar
- Forklarer
- FAIL
- frygt
- Feature
- Finde
- fast
- Til
- Gratis
- Fredag
- fra
- funktion
- funktioner
- fremtiden
- Generelt
- generelt
- generere
- genereret
- generation
- få
- få
- giver
- Give
- Goes
- gå
- gruppe
- Have
- hjælpe
- link.
- Høj
- hans
- Hvordan
- HTTPS
- menneskelig
- i
- idé
- if
- straks
- in
- omfatter
- inklusion
- info
- oplysninger
- inspirerede
- i stedet
- integration
- beregnet
- internt
- ind
- introduceret
- spørgsmål
- spørgsmål
- IT
- ITS
- jpg
- lige
- Holde
- Venlig
- Kend
- Efternavn
- mindst
- Politikker
- ligge
- LLM
- UDSEENDE
- Lot
- lave
- maerker
- Making
- markeret
- Kan..
- MDN
- me
- microsoft
- minearbejder
- Måned
- mere
- mest
- Mozilla
- meget
- my
- navn
- Behov
- behov
- netværk
- Ny
- ingen
- Normalt
- Varsel..
- nu
- Obvious
- of
- off
- tilbydes
- Olie
- on
- ONE
- kun
- OpenAI
- åbnet
- Optimer
- or
- original
- Andet
- Andre
- Ellers
- vores
- output
- i løbet af
- egen
- side
- betalt
- særlig
- forbi
- Mennesker
- måske
- permanent
- Personligt
- Place
- Steder
- fly
- perron
- plato
- Platon Data Intelligence
- PlatoData
- Vær venlig
- plus
- Punkt
- mulig
- pr
- praktisk
- forelagt
- gaver
- problemløsning
- behandle
- Processer
- Produkt
- løfte
- fremme
- formål
- sætte
- spørgsmål
- Hurtig
- spor
- årsager
- registreret
- forblive
- fjernet
- indberette
- Rapporter
- Repository
- anmode
- ressource
- Svar
- s
- lørdag
- Søg
- se
- synes
- tjeneste
- ganske enkelt
- So
- nogle
- Nogen
- noget
- snart
- Kilde
- Kilder
- taler
- specifikke
- tilbringe
- brugt
- Spreads
- interessenter
- påbegyndt
- Story
- RESUMÉ
- Støtte
- formodes
- sikker
- taget
- fortælling
- Teknisk
- fortæller
- end
- at
- oplysninger
- deres
- Them
- Der.
- Disse
- de
- ting
- denne
- denne uge
- dem
- selvom?
- tid
- til
- i dag
- værktøj
- sand
- Stol
- betroet
- TUR
- to
- forstå
- undervejs
- desværre
- indtil
- haster
- brug
- anvendte
- UTC
- Ve
- var
- var ikke
- Vej..
- web
- uge
- veje
- gik
- hvornår
- som
- WHO
- bredt
- vilje
- med
- uden
- Arbejde
- virker
- værre
- skriftlig
- Forkert
- Du
- Din
- zephyrnet