ChatGPT on OpenAI: n peliä muuttava AI-chatbot, joka pitää internetin hämmästyneinä. Kaikkia vakiintuneita teknologiatrendejä vastaan ei ole kestänyt kauan, kun ChatGPT on löytänyt tiensä lähes kaikille digitaalisen elämämme osa-alueille.
Hyvin harvat tekniset innovaatiot ovat herättäneet niin paljon kiinnostusta kuin ChatGPT on saavuttanut niin lyhyessä ajassa. Se ei näytä koskaan loppuvan hienoista temppuista – joka päivä opimme uusia jännittäviä asioita, joihin emme tienneet sen pystyvän.
Mutta kuinka ChatGPT pystyy tekemään asioita, joita se voi tehdä? Miten ChatGPT toimii?
Kuinka ChatGPT rakennettiin?
ChatGPT: n toiminnan ymmärtämiseksi kannattaa tarkastella sen alkuperää ja huippuluokan AI-chatbotin takana olevia aivoja.
Ensinnäkin, niin taianomaiselta kuin ChatGPT saattaakin tuntua, sen on rakentanut ihmisten nero, aivan kuten kaikki muutkin arvokkaat ohjelmistotekniikat. OpenAI loi ChatGPT: n, vallankumouksellisen tekoälytutkimus- ja kehitysyhtiön muiden tehokkaiden tekoälytyökalujen, kuten DALL-E: n, InstructGPT: n ja Codexin, takana. Olemme vastanneet aiemmin
joitain kysymyksiä sinulla saattaa olla ChatGPT: stä, joten katso.Vaikka ChatGPT yleistyi vuoden 2022 lopulla, suurin osa ChatGPT: n taustalla olevasta teknologiasta on ollut olemassa paljon pidempään, vaikkakin paljon vähemmän julkisuutta. ChatGPT-malli on rakennettu GPT-3:n (tai tarkemmin sanoen GPT-3.5:n) päälle. GPT tarkoittaa "Generative Pre-trained Transformer 3".
GPT-3 on tekoälymallien GPT-sarjan kolmas iteraatio, ja sitä edelsi GPT-2 ja GPT. GPT-mallien aikaisemmat iteraatiot ovat yhtä hyödyllisiä, mutta GPT-3 ja hienosäädetty GPT-3.5 iteraatio ovat paljon tehokkaampia. Suurin osa siitä, mitä ChatGPT voi tehdä johtuu taustalla olevasta GPT-3-tekniikasta.
Mikä on GPT?
Olemme siis todenneet, että ChatGPT on rakennettu GPT-mallin kolmannelle sukupolvelle. Mutta mikä on GPT?
Aloitetaan purkamalla lyhenteet helposti ymmärrettävällä ja ei-teknisellä tavalla.
- GPT: n "Generatiivi" edustaa sen kykyä luoda luonnollista ihmiskielistä tekstiä.
- "Esikoulutettu" edustaa sitä tosiasiaa, että malli on jo koulutettu jollekin äärelliselle tietojoukolle. Aivan kuin lukisit kirjan tai ehkä useita kirjoja ennen kuin sinua pyydetään vastaamaan sitä koskeviin kysymyksiin.
- "Transformer" edustaa taustalla olevaa koneoppimisarkkitehtuuria, joka tukee GPT: tä.
Nyt kun kaikki yhdistetään, Generative Pre-trained Transformer (GPT) on kielimalli, joka on koulutettu käyttämällä Internetistä peräisin olevaa dataa tarkoituksenaan luoda ihmiskielistä tekstiä, kun se esitetään a kehote. Olemme siis toistuvasti sanoneet, että GPT on koulutettu, mutta miten se koulutettiin?
Miten ChatGPT koulutettiin?
Itse ChatGPT: tä ei koulutettu alusta alkaen. Sen sijaan se on hienosäädetty versio GPT-3.5:stä, joka itsessään on GPT-3:n hienosäädetty versio. GPT-3-mallia koulutettiin valtavalla määrällä Internetistä kerättyä dataa. Ajattele Wikipediaa, Twitteriä ja Redditiä – se syötettiin dataa ja ihmistekstiä kaavittiin internetin joka kolkasta.
Jos mietit, miten GPT-koulutus toimii, GPT-3 koulutettiin käyttämällä ohjattua oppimista ja RLHF (Inforcement Learning through Human Feedback) -oppimista. Ohjattu oppiminen on vaihe, jossa mallia opetetaan suurelle Internetistä kaavitun tekstin tietojoukolle. Vahvistusoppimisvaiheessa sitä opetetaan tuottamaan parempia vastauksia, jotka vastaavat sitä, minkä ihmiset hyväksyisivät sekä ihmismäisiksi että oikeiksi.
Koulutus ohjatulla oppimisella
Ymmärtääksesi paremmin, kuinka ohjattu ja vahvistava oppiminen koskee ChatGPT: tä, kuvittele tilanne, jossa opettaja opettaa opiskelijaa kirjoittamaan esseen. Ohjattu oppiminen vastaa sitä, että opettaja antaisi opiskelijalle satoja esseitä luettavaksi. Tavoitteena on, että opiskelija oppii esseen kirjoittamisen totuttamalla satojen esseiden sävyyn, sanastoon ja rakenteeseen.
Satojen esseiden joukossa on kuitenkin hyviä ja huonoja. Koska opiskelijaa koulutettiin sekä hyviin että huonoihin kopioihin, opiskelija saattoi joskus kirjoittaa huonon esseen, koska opiskelijalle syötettiin myös huonoja esseitä jossain vaiheessa. Tämä tarkoittaa, että kun opiskelijaa pyydetään kirjoittamaan essee, hän saattaa kirjoittaa kopion, joka ei ole opettajalle hyväksyttävä tai tarpeeksi hyvä. Tässä tulee esiin vahvistusoppiminen.
Koulutus vahvistusoppimisen kanssa
Kun opettaja toteaa, että oppilas ymmärtää esseen kirjoittamisen yleiset säännöt lukemalla satoja esseitä, opettaja antaa opiskelijalle usein esseen kirjoittamisen kotitehtävät. Myöhemmin opettaja antoi palautetta esseestä kirjoittaessaan kotitehtäviä ja kertoi opiskelijoille, mitä he tekivät hyvin ja mitä he voisivat parantaa. Opiskelija käyttää palautetta ohjaamaan myöhempiä esseen kirjoittamisen kotitehtäviä, mikä auttaa opiskelijaa kehittymään ajan myötä.
Tämä on samanlainen kuin GPT-mallin koulutuksen vahvistusoppimisvaihe. Syötettyään valtavan määrän internetistä kaavittua tekstiä malli osaa vastata kysymyksiin. Sen tarkkuus ei kuitenkaan tule olemaan tarpeeksi hyvä. Ihmiskouluttajat esittävät mallille kysymyksen ja antavat palautetta siitä, mikä vastaus sopii paremmin kuhunkin kysymykseen.
Malli käyttää palautetta parantaakseen kykyään vastata kysymyksiin tarkemmin ja samalla tavalla, miten ihminen reagoisi. Näin ChatGPT voi tuottaa ihmiseltä kuulostavia vastauksia, jotka ovat johdonmukaisia, mukaansatempaavia ja yleensä tarkkoja.
Kuinka ChatGPT pystyy vastaamaan kysymyksiin?
Joten käyt ChatGPT-sivustolla ja kirjaudut sisään. Kehotat ChatGPT: tä: "kirjoita rap-kappale Snoop Doggin tyyliin." Se vastaa sanoilla rap-kappaleeseen, joka näyttää hämmästyttävän samanlaiselta kuin mitä Snoop Dogg kirjoittaisi. Kuinka tämä on mahdollista?
ChatGPT: n "taika" liittyy siististi sen koulutukseen.
Kun olet käsitellyt Physics 101 -oppikirjasi jokaisen tuuman, pystyt todennäköisesti vastaamaan kaikkiin sinulle esitettyihin kysymyksiin. Miksi? Koska olet lukenut sen ja olet oppinut sen. Se on sama asia ChatGPT: n kanssa – se oppii. Ja kuten ihmissivilisaatio on osoittanut, riittävällä koulutuksella lähes minkä tahansa ongelman ratkaiseminen on mahdollista.
Vaikka voit todennäköisesti hallita satoja kirjoja elämäsi aikana, ChatGPT tai GPT on jo kuluttanut valtavan osan Internetiä. Se on valtava määrä tietoa. Siellä, jossain, on luultavasti sanoituksia Snoop Doggin lukuisiin kappaleisiin. Joten tietysti ChatGPT: n on täytynyt kuluttaa se (muista, se on valmiiksi koulutettu) ja tunnistanut kuviot Snoop Doggin sanoituksista. Sitten se käyttäisi tämän mallin "tietoa" "ennustamaan" sanoituksia kappaleelle, joka muistuttaa Snoop Doggin kirjoittamaa tekstiä.
Painopiste tässä on "ennusteella". ChatGPT ei vastaa kysymyksiin samalla tavalla kuin me ihmiset. Esimerkiksi kun kohtaat kysymyksen "Mikä on Portugalin pääkaupunki?" voit sanoa Lissabon ja sanoa sen "fakta". ChatGPT ei kuitenkaan vastaa kysymyksiin 100% varmuudella. Sen sijaan se yrittää ennustaa oikean vastauksen koulutustietojoukossaan käyttämien tietojen perusteella.
ChatGPT: n lähestymistapa kysymyksiin vastaamiseen
Ymmärtääksesi paremmin vastausten ennustamisen käsitteen, kuvittele ChatGPT: n olevan etsivä, jonka tehtävänä on ratkaista murha. Etsivälle esitetään todisteita, mutta he eivät tiedä, kuka murhan teki ja miten se tapahtui. Riittävällä todisteella etsivä voi kuitenkin "ennustaa" suurella tarkkuudella, kuka on vastuussa murhasta ja miten rikos tehtiin.
Kun ChatGPT on kuluttanut dataa Internetistä, se hylkää alkuperäiset tiedot ja tallentaa tiedoista oppimansa hermoyhteydet tai kuviot. Nämä yhteydet tai mallit ovat kuin todisteita, joita ChatGPT analysoi, kun se yrittää vastata kehotteisiin.
Joten teoriassa ChatGPT on kuin erittäin hyvä etsivä. Se ei tiedä varmasti, mitä vastauksen tosiasiat pitäisi olla, mutta se yrittää vaikuttavalla tavalla tarkkuus, ennustaa ihmiskielisen tekstin loogista järjestystä, joka vastaa parhaiten kysymys. Näin saat vastaukset kysymyksiisi.
Ja tästä syystä jotkut näistä vastauksista näyttävät erittäin vakuuttavilta, mutta ovat hirveän vääriä.
ChatGPT: Vastaa kuin ihminen, ajattelee kuin kone
ChatGPT: n taustalla olevat tekniset yksityiskohdat ovat monimutkaisia. Alkeellisesta näkökulmasta katsottuna se kuitenkin toimii oppimalla ja toistamalla oppimaansa kehotuksesta, aivan kuten me ihmiset.
ChatGPT: n kehittyessä tutkimuksen myötä sen toimintatapa saattaa muuttua. Sen perustavat toimintaperiaatteet pysyvät kuitenkin ennallaan vielä jonkin aikaa, ainakin siihen asti, kunnes esiin tulee häiritsevä uusi tekniikka.