Paikallisen laajan kielimallin käyttäminen ei sovi kaikille, mutta on olemassa hyviä syitä, miksi sinun kannattaa kokeilla.

Key Takeaways

  • Vähemmän sensuuria: Paikalliset LLM: t tarjoavat vapauden keskustella ajatuksia herättävistä aiheista ilman julkisille chatboteille asetettuja rajoituksia, mikä mahdollistaa avoimemman keskustelun.
  • Parempi tietosuoja: Paikallista LLM: ää käyttämällä kaikki luodut tiedot pysyvät tietokoneellesi, mikä varmistaa yksityisyyden ja estää julkisia LLM-yrityksiä ylläpitävien yritysten pääsyn niihin.
  • Offline-käyttö: Paikalliset LLM: t mahdollistavat keskeytymättömän käytön syrjäisillä tai eristyneillä alueilla ilman luotettavaa Internet-yhteyttä, mikä tarjoaa arvokkaan työkalun tällaisissa tilanteissa.

ChatGPT: n saapumisesta marraskuussa 2022 lähtien termi suuri kielimalli (LLM) on nopeasti muuttunut AI-nörteille tarkoitetusta kapeaterminisestä muotisanaksi kaikkien huulilla. Paikallisen LLM: n suurin viehätys on kyky kopioida ChatGPT: n kaltaisen chatbotin ominaisuudet tietokoneellasi ilman pilvipalvelussa isännöidyn version matkatavaroita.

instagram viewer

On olemassa argumentteja paikallisen LLM: n perustamisen puolesta ja vastaan ​​tietokoneellesi. Katkaisemme hypetyksen ja tuomme sinulle tosiasiat. Pitäisikö sinun käyttää paikallista LLM: ää?

Paikallisten LLM: ien käytön plussat

Miksi ihmiset ovat niin innoissaan oman yrityksen perustamisesta? suuria kielimalleja heidän tietokoneillaan? Mitä käytännön hyötyä on hypetyksen ja kerskausoikeuden lisäksi?

1. Vähemmän sensuuria

Kun ChatGPT ja Bing AI tulivat verkkoon ensimmäisen kerran, molemmat chatbotit olivat halukkaita sanomaan ja tekemään, olivat yhtä kiehtovia kuin hälyttäviä. Bing AI toimi lämpimästi ja ihanasti, kuin sillä olisi tunteita. ChatGPT oli valmis käyttämään kirouksen sanoja, jos kysyit kauniisti. Tuolloin molemmat chatbotit auttoivat sinua jopa pommin tekemisessä, jos käyttäisit oikeita kehotteita. Tämä saattaa kuulostaa kaikenlaiselta väärältä, mutta kyky tehdä mitä tahansa oli vertauskuva niitä käyttävien kielimallien rajoittamattomista ominaisuuksista.

Tänään molemmat chatbotit on sensuroitu niin tiukasti että he eivät edes auta sinua kirjoittamaan fiktiivistä rikosromaania, jossa on väkivaltaisia ​​kohtauksia. Jotkut AI-chatbotit eivät edes puhu uskonnosta tai politiikasta. Vaikka paikallisesti perustamasi LLM: t eivät ole täysin sensuurivapaita, monet niistä tekevät mielellään ajatuksia herättäviä asioita, joita yleisölle suunnatut chatbotit eivät tee. Joten jos et halua robotin opettavan sinulle moraalia keskustellessasi henkilökohtaisia ​​kiinnostavia aiheita koskevista aiheista, paikallisen LLM: n johtaminen saattaa olla oikea tapa edetä.

2. Parempi Tietosuoja

Yksi tärkeimmistä syistä, miksi ihmiset valitsevat paikallisen LLM: n, on varmistaa, että kaikki, mitä heidän tietokoneessaan tapahtuu, pysyy heidän tietokoneessaan. Kun käytät paikallista LLM: ää, se on kuin keskustelisit yksityisesti olohuoneessasi – kukaan ulkopuolinen ei voi kuunnella. Kokeilitpa sitten luottokorttitietojasi tai keskustelet arkaluonteisia henkilökohtaisia ​​keskusteluja LLM: n kanssa, kaikki tuloksena saadut tiedot tallennetaan vain tietokoneellesi. Vaihtoehtona on käyttää julkisesti näkyviä LLM: itä, kuten GPT-4:ää, mikä antaa vastuullisille yrityksille pääsyn chat-tietoihisi.

3. Offline-käyttö

Koska Internet on laajalti edullinen ja saavutettavissa, offline-käyttö saattaa tuntua triviaalilta syyltä paikallisen LLM: n käyttämiseen. Offline-käytöstä voi tulla erityisen kriittistä syrjäisissä tai eristyneissä paikoissa, joissa Internet-palvelu on epäluotettava tai ei ole saatavilla. Tällaisissa skenaarioissa Internet-yhteydestä riippumattomasti toimivasta paikallisesta LLM: stä tulee tärkeä työkalu. Sen avulla voit jatkaa mitä haluat tehdä ilman keskeytyksiä.

4. Kustannussäästöt

Pysyvän LLM: n, kuten GPT-4:n tai Claude 2:n, käytön keskihinta on 20 dollaria kuukaudessa. Vaikka se ei ehkä vaikuta hälyttävältä hinnalta, saat silti useita ärsyttäviä rajoituksia tälle summalle. Esimerkiksi GPT-4:llä, jota käytetään ChatGPT: n kautta, sinulla on 50 viestiä kolmea tuntia kohti. Voit ylittää nämä rajat vain vaihtaa ChatGPT Enterprise -sopimukseen, joka voi mahdollisesti maksaa tuhansia dollareita. Paikallisella LLM: llä, kun olet asentanut ohjelmiston, sinun ei tarvitse maksaa 20 dollarin kuukausitilausta tai toistuvia kuluja. Se on kuin auton ostamista sen sijaan, että luottaisit kyydinjakopalveluihin. Aluksi se on kallista, mutta ajan myötä säästät rahaa.

5. Parempi räätälöinti

Julkisesti saatavilla olevilla AI-chatbotilla on rajoitettu räätälöinti turvallisuus- ja sensuurisyistä. Paikallisesti isännöidyn AI-avustajan avulla voit mukauttaa mallin täysin omiin tarpeisiisi. Voit kouluttaa avustajan käyttötapauksiin räätälöityihin omistustietoihin, mikä parantaa osuvuutta ja tarkkuutta. Esimerkiksi lakimies voisi optimoida paikallisen tekoälynsä tuottaakseen tarkempia juridisia näkemyksiä. Tärkein etu on räätälöinnin hallinta yksilöllisten tarpeidesi mukaan.

Paikallisten LLM: ien käytön haitat

Ennen kuin teet vaihtoa, paikallisen LLM: n käyttämisessä on joitain haittoja, jotka sinun tulee harkita.

1. Resurssiintensiivinen

Tehokkaan paikallisen LLM: n suorittamiseen tarvitaan huippuluokan laitteisto. Ajattele tehokkaita suorittimia, paljon RAM-muistia ja todennäköisesti erillistä GPU: ta. Älä odota 400 dollarin budjetin kannettavan tarjoavan hyvää kokemusta. Vastaukset ovat tuskallisen hitaita, varsinkin suuremmilla tekoälymalleilla. Se on kuin pelaaisi huippuluokan videopelejä – tarvitset tehokkaat tekniset tiedot optimaaliseen suorituskykyyn. Saatat tarvita jopa erikoistuneita jäähdytysratkaisuja. Tärkeintä on, että paikalliset LLM: t vaativat investointia huipputason laitteistoon saadakseen nopeuden ja reagointikyvyn, josta nautit verkkopohjaisissa LLM: issä (tai jopa parantaa sitä). Laskentatarpeesi ovat suuret verrattuna verkkopohjaisten palvelujen käyttöön.

2. Hitaammat vastaukset ja huonompi suorituskyky

Paikallisten LLM: ien yleinen rajoitus on hitaammat vasteajat. Tarkka nopeus riippuu tietystä tekoälymallista ja käytetystä laitteistosta, mutta useimmat asetukset ovat jäljessä verkkopalveluista. Saatuaan välittömiä vastauksia ChatGPT: ltä, Bardilta ja muilta paikalliset LLM: t voivat tuntea olonsa ärsyttävän hitaiksi. Sanat valuvat hitaasti ulos ja ne palautetaan nopeasti. Tämä ei ole yleisesti totta, koska jotkin paikalliset käyttöönotot saavuttavat hyvän suorituskyvyn. Mutta keskimääräiset käyttäjät kohtaavat jyrkän pudotuksen nopeasta verkkokokemuksesta. Valmistaudu siis "kulttuurishokkiin" nopeista verkkojärjestelmistä hitaampiin paikallisiin vastaaviin.

Lyhyesti sanottuna, ellet rokkaa ehdottoman huippuluokan kokoonpanoa (puhumme AMD Ryzen 5800X3D: stä, jossa on Nvidia RTX 4090 ja tarpeeksi RAM-muistia laivan upottamiseen), paikallisen LLM: n kokonaissuorituskyky ei ole verrattavissa verkossa oleviin generatiivisiin tekoäly-chatboteihin. tottunut.

3. Monimutkainen asennus

Paikallisen LLM: n käyttöönotto on enemmän mukana kuin pelkkä verkkopohjaisen tekoälypalvelun rekisteröityminen. Internet-yhteydellä ChatGPT-, Bard- tai Bing AI -tilisi voi olla valmis aloittamaan kehotteen muutamassa minuutissa. Täyden paikallisen LLM-pinon määrittäminen edellyttää puitteiden lataamista, infrastruktuurin määrittämistä ja eri komponenttien integrointia. Suuremmissa malleissa tämä monimutkainen prosessi voi kestää tunteja, jopa asennusta yksinkertaistavilla työkaluilla. Jotkut huippuluokan tekoälyjärjestelmät vaativat edelleen syvällistä teknistä asiantuntemusta toimiakseen paikallisesti. Joten toisin kuin plug and play -verkkopohjaiset tekoälymallit, oman tekoälyn hallinta vaatii huomattavia teknisiä ja aikainvestointeja.

4. Rajoitettu tieto

Monet paikalliset LLM: t ovat jumissa menneisyydessä. Heillä on rajallinen tieto ajankohtaisista tapahtumista. Muistatko, kun ChatGPT ei päässyt Internetiin? Milloin se pystyi antamaan vastauksia vain kysymyksiin tapahtumista, jotka tapahtuivat ennen syyskuuta 2021? Joo? Varhaisten ChatGPT-mallien tapaan paikallisesti isännöityjä kielimalleja koulutetaan usein vain tiedoilla ennen tiettyä katkaisupäivää. Tämän seurauksena he eivät ole tietoisia viimeaikaisista tapahtumista sen jälkeen.

Lisäksi paikalliset LLM: t eivät voi käyttää reaaliaikaista Internet-dataa. Tämä rajoittaa hyödyllisyyttä reaaliaikaisissa kyselyissä, kuten osakekurssit tai sää. Jotta paikalliset LLM: t voivat nauttia reaaliaikaisista tiedoista, ne tarvitsevat yleensä ylimääräisen integraatiokerroksen Internetiin yhdistettyjen palvelujen kanssa. Internet-yhteys on yksi mahdollisista syistä. harkitse päivittämistä ChatGPT Plusiin!

Pitäisikö sinun käyttää paikallista LLM: ää?

Paikalliset suuret kielimallit tarjoavat houkuttelevia etuja, mutta niissä on myös todellisia haittoja, jotka on otettava huomioon ennen kuin ryhdytään toimiin. Vähemmän sensuuria, parempi yksityisyys, offline-käyttö, kustannussäästöt ja mukauttaminen tekevät LLM: n perustamisesta paikallisesti. Näillä eduilla on kuitenkin hintansa. Koska verkossa on paljon vapaasti saatavilla olevia LLM: itä, paikallisiin LLM: ihin hyppääminen voi olla kuin kärpäsen lyömistä vasaralla – mahdollista, mutta ylivoimaista. Muista kuitenkin, että jos se on ilmainen, sinä ja luomasi tiedot olet todennäköisesti tuote. Joten tänään ei ole lopullista oikeaa tai väärää vastausta. Prioriteettisi arvioiminen määrittää, onko nyt oikea aika vaihtaa.