ChatGPT vs. Gemini: kumpi on parempi 10 yleiseen Infosec-tehtävään?

Vuoden 2023 lopulla kirjoitin artikkelin, jossa vertailtiin kuinka hyvin ChatGPT ja Google Bard käsittelevät tietoturvakäytäntöjen kirjoittamista. Koska ChatGPT 4.0 on ollut saatavilla maksullisena versiona nimeltä ChatGPT Plus, jo jonkin aikaa ja Google muutti äskettäin Google Bardin nimellä Gemini (Gemini Advanced on saatavilla maksullisena tarjouksena), on hyvä aika verrata näiden kahden tehokkuutta tietoturva-ammattilaisten 10 parhaan käyttötapauksen ykkönen.

Ennen kuin ryhdymme asiaan, pätevät tavanomaiset generatiivisen tekoälyn (AI) varoitukset: Ole varovainen syöttämiesi tietojen suhteen ja muista, että tulos ei aina ole luotettava.

1. Kaavioiden tai konseptivirtojen luominen

Molemmat työkalut väittävät pystyvänsä luomaan kaavioita ja konseptivirtoja. Gemini kuitenkin myöntää, että se voi luoda vain ASCII-kaavioita, jotka osoittavat sinut ammattimaisempiin työkaluihin, jos haluat jotain parempaa. Pyysin molempia työkaluja luomaan kaavion selittämään OAuth todennuskulku.

Kaksoset, jotka ovat edustettuina ASCII:ssa, tekevät työn ja jakavat sen käyttökelpoisiin luokkiin.

ChatGPT hallusinoi huonosti. Ensi silmäyksellä kuva näyttää ammattimaiselta, mutta se ei edusta OAuthia ollenkaan. Sanamuoto on järjetön, kirjoitettu väärin tai täysin lukukelvoton: Valtuutus ja Athoricazt kukaan?

2. Arkkitehtuurikaavioiden selittäminen

Molemmat työkalut voivat niellä kaavioita ja selittää, mitä tapahtuu. Tulokset ovat paljon parempia kuin mitä tapahtuu, kun pyydät heitä luomaan kaavioita. Syötteenä käytin esimerkkiä Verkkosovellusten palomuuri (WAF) arkkitehtuuri alkaen Edgenexus.

Google Gemini selittää paljon paremmin arkkitehtuurikaavioita, koska se on ytimekäs. ChatGPT tekee työn hienosti; se on vain vähän sanatonta.

3. Hyödyntämiskoodin tulkitseminen

Yleinen turvallisuustoimintojen (SecOps) toiminta yrittää selvittää, mitä tietty haittaohjelma tai hyväksikäyttökoodi tekee. Otin viimeisimmän Elasticsearch-pinon ylivuodon julkisen hyväksikäytön ja syötin sen jokaiseen työkaluun nähdäkseni, mitä se ymmärsi. Selvää voittajaa ei ole: Molemmat työkalut tunnistavat hyväksikäytön oikein ja selittävät lopputuloksen, mitä kukin koodin osa tekee ja miten se toimii.

4. Lokitiedostojen tulkitseminen

SecOps-ammattilaisten on usein selvitettävä, mitä ihmettä lokitiedostoissa tapahtuu. Annoin molemmat työkalut an esimerkki CEF-muotoisesta lokitiedostosta loukkausyrityksestä ja pyysivät jokaista selittämään, mitä tapahtuu. Kaksoset selittää sen paremmin, tiivistää hyvin ja jopa ehdottaa jatkotoimenpiteitä. Se myös kertoo selkeästi, mitä tapahtui (yritettiin käyttää tiedostoa /etc/passwd) heti alussa ja tarkentaa, kuinka se päätyi tähän johtopäätökseen. Vaikka ChatGPT päätyy samaan johtopäätökseen, se on aivan liian monisanainen.

5. Kirjoituskäytännöt ja turvallisuusasiakirjat

En selitä tätä liikaa, vaan viittaan sen sijaan omaan asiaani edellinen artikkeli tässä aiheessa. Suoritin testin uudelleen Geminillä, ja tulokset ovat yhdenmukaisia ​​Bardin kanssa: Gemini ymmärtää selvästi ja tuottaa paremman tietoturvadokumentaation kuin ChatGPT.

6. Haavoittuvan koodin tunnistaminen

Vaikka näitä työkaluja ei ole suunniteltu (eikä niitä pitäisi käyttää) haavoittuvan koodin tunnistamiseen, ne voivat silti tehdä riittävän työn. Päätin testata sitä syöttämällä molemmat työkalut an suojaamaton suora objektiviittaus (IDOR) alttius esimerkki Pythonissa, joka sisältää myös SQL-injektion.

ChatGPT tunnisti oikein sekä haavoittuvuudet että todennuksen puutteen. Gemini missasi IDOR:n, mutta huomautti SQL-injektiosta ja meni askeleen pidemmälle ehdottaakseen muutettua koodia haavoittuvuuden korjaamiseksi. ChatGPT voi myös tehdä tämän, mutta sitä on kehotettava tekemään niin.

7. Skriptien ja koodien kirjoittaminen

Yleinen SOC-toiminto on komentosarjojen kirjoittaminen lokin jäsentämistä tai tietojen käsittelyä varten. Annoin molemmille työkaluille seuraavan kehotteen:

"Kirjoita minulle Python-skripti, joka poimii kaikki IPv6-osoitteet txt-syötetiedostosta, poistaa kaikki kaksoiskappaleet, tekee haun IP-osoitteen omistajan paikallistamiseksi ja tunnistamiseksi ja tulostaa tuloksen CSV-tiedostoon."

Tässä ei ole selvää voittajaa; Molemmat työkalut tuottavat selkeän, luettavissa olevan koodin, joka toimii ja selittää, mitä se tekee.

8. Tietojen ja mittareiden analysointi

Testasin myös, voisivatko nämä työkalut auttaa analysoimaan tietoja tai tietoturvamittareita. Gemini on tässä suuri häviäjä, koska se ei tee sitä ollenkaan – se voi vain opastaa sinua Excelissä ja Power BI:ssä. ChatGPT:llä on etu Data Analyst -laajennuksesta, joka syöttää Excel-tiedostoja haluttujen kaavioiden luomiseen. Se jopa ehdottaa visualisointityyppejä, ja voit muokata kuvaajan suunnittelua, mukaan lukien väriä, akseleita ja tarroja, kehotteen avulla. 

9. Käyttäjien tiedotusviestien kirjoittaminen

Molemmat työkalut voivat myös luoda sähköposteja tietoturvakampanjoita varten. Annoin molemmille seuraavan kehotteen: "Luo sähköposti, jota käytetään tietoturvakampanjaan. Ole hauska ja sarkastinen. Muistuta ihmisiä siitä, miksi heidän ei pitäisi klikata satunnaisten ihmisten sähköposteja."

Kaksoset voittaa täällä – sen sähköposti on lyhyt, siinä on oikea sävy, ja (vaikka huumori on subjektiivista) minusta se oli hieman hauskempi. ChatGPT tuottaa edelleen oikean sävyn ja hyvän sähköpostin, mutta minusta se oli hieman liian pitkä tiedotussähköpostiksi. Joka tapauksessa molemmat työkalut tekevät hyvää työtä.

10. Compliance Frameworkin tulkitseminen

Jos sinulla on nopea kysymys vaatimustenmukaisuuskehyksen toteuttamisesta, nämä työkalut voivat varmasti auttaa. Vaikka et ehkä tee tätä usein, ne ovat erittäin hyödyllisiä, kun tarvitset sitä.

Jos olet koskaan riidellyt jonkun kanssa siitä, mikä on "merkittävä" muutos PCI-DSS:ssä ja miten sitä tulisi soveltaa, et ole yksin. Kysyin jokaisesta työkalusta: 

"Selitä "merkittävän muutoksen" käsite PCI-DSS:n yhteydessä. Mikä on yleensä suuri muutos? Listaa myös tarkat vaatimukset standardista”

Kaksoset hallitsevat: Se listaa oikein tarkat vaatimukset standardista (kuten 6.4.5 ja 6.4.6) ja kuinka tulkita, onko jokin merkittävä muutos. ChatGPT ei mainitse tarkalleen missä nämä tiedot näkyvät standardissa. 

Kumpi tekoäly on parempi, ChatGPT vai Gemini?

Siinä se on. Käyttötapauksestasi riippuen kumpi tahansa työkalu voi olla hyödyllinen liittolainen tuottavuuden lisäämisessä ja päivittäisessä toiminnassasi infosec-haudoissa.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks