Vaikka OpenAI johtaa tietä generatiivisessa tekoälykehityksessä, monet ovat syyttäneet Googlea jäljessä. Google julkaisi kuitenkin uuden suuren kielimallin, PaLM 2:n, vuoden 2023 Google I/O -konferenssissaan.
Googlen uusi LLM, joka on saatavana neljässä eri koossa useille sovelluksille, näyttää jo toimivan useissa Googlen palveluissa, ja paljon muuta on tulossa.
Mikä on PaLM 2?
Google I/O 2023 -tapahtumassa, joka pidettiin 10. toukokuuta, Googlen toimitusjohtaja Sunda Pichai paljasti Googlen uusimman leikin: PALM 2.
Lyhennettynä sanoista Pathways Language Model 2, Googlen päivitetty LLM on PaLM: n toinen iteraatio, ja ensimmäinen versio julkaistaan huhtikuussa 2022. Etkö muista Palmia? No, tuolloin se oli suuri uutinen ja sai valtavasti kiinnostusta kyvystään keskustella vähän, kertoa perusvitsejä ja niin edelleen. Pikakelaus kuusi kuukautta ja OpenAI: n GPT-3.5 puhalsi kaiken pois vedestämukaan lukien PaLM.
Siitä lähtien, OpenAI julkaisi GPT-4:n, valtava päivitys GPT-3.5:een. Vaikka uudempaa mallia integroidaan lukuisiin työkaluihin, erityisesti Microsoftin Bing AI Chatiin, Google pyrkii OpenAI: ssa ja GPT-4:ssä PaLM 2:n kanssa ja toivoo, että sen päivitetty LLM pystyy kuromaan umpeen merkittävältä näyttäneen aukon – Google Bardin lanseeraus oli tuskin möly. menestys.
Pichai ilmoitti, että PaLM 2 tulee neljässä eri mallikoossa: Gecko, Otter, Bison ja Unicorn.
Gecko on niin kevyt, että se toimii mobiililaitteissa ja on riittävän nopea upeille interaktiivisille sovelluksille laitteella, myös offline-tilassa. Tämä monipuolisuus tarkoittaa, että PaLM 2:ta voidaan hienosäätää tukemaan kokonaisia tuoteluokkia useammilla tavoilla ja auttamaan useampia ihmisiä.
Koska Gecko pystyy käsittelemään noin 20 merkkiä sekunnissa – tunnukset ovat todellisille sanoille määritettyjä arvoja generatiivisten tekoälymallien käyttöön – se näyttää todennäköisesti muuttavan mobiilikäyttöön otettavia tekoälytyökaluja.
PaLM 2 -koulutustiedot
Google ei ollut aivan perillä PaLM 2:n harjoitustietojen kanssa, mikä oli ymmärrettävää, koska se julkaistiin juuri. Mutta Googlen PaLM 2 -raportti [PDF] sanoi, että se halusi PaLM 2:lla syvemmän ymmärryksen matematiikasta, logiikasta ja tieteestä ja että suuri osa sen koulutuskorpuksesta keskittyi näihin aiheisiin.
Silti on syytä huomata, että PaLM ei ollut laiska. Kun Google paljasti PaLM, se vahvisti, että se oli koulutettu 540 miljardiin parametriin, mikä oli tuolloin valtava luku.
OpenAI: n GPT-4:n väitetään käyttävän yli biljoonaa parametria, joidenkin spekulaatioiden mukaan luku on jopa 1,7 biljoonaa. On varmaa, että koska Google haluaa PaLM 2:n kilpailevan suoraan OpenAI: n LLM: ien kanssa, siinä on ainakin vertailukelpoinen luku, ellei enemmän.
Toinen merkittävä lisäys PaLM 2:lle on sen kielikoulutustiedot. Google on kouluttanut PaLM 2:ta yli 100 kielellä parantaakseen sen syvyyttä ja kontekstuaalista ymmärrystä ja parantaakseen sen käännösominaisuuksia.
Mutta kyse ei ole vain puhutuista kielistä. LLM yhdistää Googlen vaatimuksiin, että PaLM 2 tarjoaa parempaa tieteellistä ja matemaattista päättelyä. on myös koulutettu yli 20 ohjelmointikielellä, mikä tekee siitä ilmiömäisen hyödyn ohjelmoijille.
PaLM 2 toimii jo Google-palveluissa, mutta vaatii silti hienosäätöä
Ei kestä kauan, ennen kuin saamme käsiimme PaLM 2:n ja katsomme, mitä se voi tehdä. Hyvällä tuurilla minkä tahansa PaLM 2 -sovellusten ja -palvelujen käynnistäminen on parempi kuin Bard.
Mutta olet ehkä (teknisesti!) käyttänyt PaLM 2:ta jo. Google vahvisti, että PaLM 2 on jo käytössä ja käytössä 25 sen tuotteessa, mukaan lukien Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets ja muut.
Mutta PaLM 2 -raportti paljastaa myös, että työtä on vielä tehtävänä erityisesti myrkyllisten reaktioiden suhteen useilla kielillä.
Esimerkiksi kun erityisiä myrkyllisiä kehotteita annetaan, PaLM 2 tuottaa myrkyllisiä vasteita yli 30 prosenttia ajasta. Lisäksi tietyillä kielillä – englanniksi, saksaksi ja portugaliksi – PaLM 2 antoi myrkyllisiä vasteita enemmän yli 17 prosenttia ajasta, kun rotuun liittyvät identiteetit ja uskonnot painottavat tätä lukua korkeampi.
Huolimatta siitä, kuinka paljon tutkijat yrittävät puhdistaa LLM-harjoitteludataa, on väistämätöntä, että jotkut lipsahtavat läpi. Seuraava vaihe on jatkaa PaLM 2:n harjoittelua näiden myrkyllisten vasteiden vähentämiseksi.
Se on suurten kielimallien nousukausi
OpenAI ei ollut ensimmäinen, joka julkaisi suuren kielimallin, mutta sen GPT-3-, GPT-3.5- ja GPT-4-mallit epäilemättä valaisivat generatiivisen tekoälyn sinisen kosketuspaperin.
Googlen PaLM 2:ssa on joitain ongelmia ratkaistavaksi, mutta se, että se on jo käytössä useissa Googlen palveluissa, osoittaa yrityksen luottamuksen uusimpaan LLM: ään.
