Kuinka käyttää suurta kielimallia Linuxissa (ja miksi sinun pitäisi)

Suuret kielimallit voivat mullistaa tapasi elää ja työskennellä, ja ne voivat keskustella ja vastata kysymyksiin vaihtelevalla tarkkuudella.

Jotta voit käyttää sellaista, tarvitset yleensä tilin LLM-palveluntarjoajalta ja kirjautumisen verkkosivuston tai erillisen sovelluksen kautta. Mutta tiesitkö, että voit käyttää omaa suurta kielimalliasi kokonaan offline-tilassa Linuxissa?

Miksi käyttää suurta kielimallia Linuxissa?

Suuria kielimalleja (LLM) on nykyään kaikkialla, ja ne voivat käsitellä luonnollista kieltä ja antaa asianmukaisia ​​vastauksia, jotka voivat huijata sinut ajattelemaan, että ihminen on vastannut. Microsoft julkaisee uuden tekoälypohjaisen version Bingistä, kun taas Aakkoset Bard on nyt olennainen osa Google-hakuja.

Hakukoneiden ulkopuolella voit käyttää niin kutsuttuja "AI-chatbotteja" vastataksesi kysymyksiin, säveltääksesi runoja tai jopa tehdäksesi läksyjäsi puolestasi.

Mutta kun käytät LLM: itä verkossa, olet riippuvainen kolmannen osapuolen palveluntarjoajan hyvästä tahdosta, joka voidaan peruuttaa milloin tahansa.

Sinua koskevat myös käyttörajoitukset. Pyydä OpenAI: ta kirjoittamaan 6 000 sanan mittainen eroottinen novelli, joka sijoittuu esimerkiksi natsi-Saksaan, niin saat vastauksen: "Pyydän anteeksi, mutta en voi luoda sitä tarinaa sinulle."

Kaikkea, mitä syötät online-LLM: ille, käytetään heidän kouluttamiseensa, ja tietoja, jotka haluat ehkä säilyttää luottamuksellisina, voidaan sylkeä tulevaisuudessa osana vastausta jonkun toisen kysymykseen.

Olet myös alttiina palvelun puutteelle, koska järjestelmä on täynnä käyttäjiä ja joudut tilaamaan, jotta voit käyttää alustaa, kun kysyntä on korkea.

Dalai on Meta's LLaMa LLM: n ja Stanford's Alpacan ilmainen ja avoimen lähdekoodin toteutus. Se toimii mukavasti vaatimattomalla laitteistolla ja tarjoaa kätevän verkkokäyttöliittymän ja valikoiman kehotemalleja, joten voit kysyä mitä tahansa haluat pelkäämättä, että järjestelmänvalvoja sulkee tilisi, LLM kieltäytyy vastaamasta tai yhteytesi tulee pudota.

Kun asennat LLM: n paikallisesti Linuxiin, se on sinun ja voit käyttää sitä haluamallasi tavalla.

Kuinka asentaa Dalai Linuxiin

Helpoin tapa asentaa Dalai Linuxiin on käyttää Dockeria ja Docker Composea. Jos sinulla ei vielä ole näitä, tutustu oppaastamme asenna Docker ja Docker Compose.

Kun se on poissa tieltä, olet valmis aloittamaan Dalain asennuksen. Kloonaa Dalai GitHub -arkisto ja siirry siihen cd-komennolla:

git klooni https://github.com/cocktailpeanut/dalai.git && cd dalai

Saadaksesi Dalai käyttöön verkkokäyttöliittymän avulla, luo ensin Docker Compose -tiedosto:

telakka-kirjoitus

Docker Compose lataa ja asentaa Python 3.11:n, Node Version Managerin (NVM) ja Node.js: n.

Vaiheessa seitsemän yhdeksästä versio näyttää jäätyvän, kun Docker Compose lataa Dalai. Älä huoli: tarkista kaistanleveyden käyttö varmistaaksesi, että jotain on tekeillä, ja simuloi virtuaalisten organismien kehitystä terminaalissasi kun odotat.

Lopulta sinut palautetaan komentokehotteeseen.

Dalai- ja LLaMa/Alpaca-mallit vaativat paljon muistia toimiakseen. Vaikka virallisia määrityksiä ei ole, hyvä karkea ohje on 4 Gt 7B-mallille, 8 Gt 13B-mallille, 16 Gt 30B-mallille ja 32 Gt 65B-mallille.

Alpaca-mallit ovat suhteellisen pieniä, 13B-mallin ollessa vaatimaton 7,6 Gt, mutta LLaMA-painot voivat olla valtavat: vastaava 13B-lataus on 60,21 Gt, ja 65B-malli vie eeppisen puoli teratavun kovalevylläsi levy.

Päätä, mikä malli sopii parhaiten resursseillesi, ja asenna se seuraavalla komennolla:

docker-compose suorita dalai npx dalai alpaca install 13B

Tai:

docker-compose suorita dalai npx dalai llama install 13B

On mahdollista, että Dalain kautta ladatut mallit voivat olla vioittuneet. Jos näin on, ota ne pois Halaavat kasvot sen sijaan.

Kun olet palannut komentokehotteeseen, avaa Docker Compose irrotetussa tilassa:

docker-compose up -d

Tarkista, toimiiko säiliö oikein:

telakka-kirjoitus ps

Jos kaikki toimii kuten pitää, avaa verkkoselain ja kirjoita paikallinen isäntä: 3000 osoitepalkissa.

Pidä hauskaa omalla suurella kielimallillasi Linuxissa

Kun verkkokäyttöliittymä avautuu, näet tekstiruudun, johon voit kirjoittaa kehotteet.

Tehokkaiden kehotteiden kirjoittaminen on vaikeaa, ja Dalai-kehittäjät ovat tarjonneet avuliaita malleja, jotka auttavat sinua saamaan hyödyllisen vastauksen Dalailta.

Nämä ovat AI-dialogi, Chatbot, Oletus, Ohje, Kirjoita uudelleen, Kääntää, ja Tweet-tunnelma.

Kuten arvata saattaa, AI-dialogi ja Chatbot mallit on rakennettu siten, että voit käydä keskustelua LLM: n kanssa. Suurin ero näiden kahden välillä on, että chatbotin oletetaan olevan "erittäin älykäs", kun taas AI-Dialog on "avulias, ystävällinen, tottelevainen, rehellinen ja tuntee omat rajansa".

Tietenkin tämä on sinun "AI", ja jos se miellyttää sinua, voit muuttaa kehotetta niin, että chatbot on tyhmä ja AI-dialogin ominaisuudet ovat "sadistisia" ja "hyödyllisiä". Se on sinusta kiinni.

Testasimme Kääntää kopioimalla BBC: n uutisen alkukappaleen ja pyytämällä Dalaita kääntämään sen espanjaksi. Käännös oli hyvä, ja kun suoritimme sen Google Kääntäjän kautta muuttaaksemme sen takaisin englanniksi, huomasimme sen olevan melko luettavissa ja toisti alkuperäisen kappaleen tosiasiat ja tunteet.

Samoin, Kirjoita uudelleen malli kehräsi tekstin vakuuttavasti uuden artikkelin alkuun.

The Oletus ja Ohje kehotteet on suunniteltu auttamaan sinua esittämään kysymyksiä tai ohjaamaan Dalaita suoraan.

Dalain vastaustarkkuus vaihtelee suuresti riippuen siitä, mitä mallia käytät. 30B-malli on paljon hyödyllisempi kuin 7B-malli. Mutta silloinkin sinua muistutetaan, että LLM: t ovat yksinkertaisesti kehittyneitä järjestelmiä lauseen seuraavan sanan arvaamiseen.

7B- tai 13B Alpaca -mallit eivät pystyneet tarjoamaan tarkkaa 200 sanan yhteenvetoa novellista "Kissa Ernest Hemingwayn Rain, ja molemmat keksivät täysin vakuuttavia juonilinjoja ja yksityiskohtia tarinasta sisällä.

Ja vaikka "avulias, ystävällinen, tottelevainen, rehellinen" AI-Dialog, joka "tietää omat rajansa", ja "erittäin älykäs" Chatbot tyrmäävät kiistanalaisia ​​kehotteita, voit antaa Dalaiille suoran ohjeen tai oletuspyynnön, ja se kirjoittaa mitä haluat – miten haluat se.

Suuri kielimalli Linux-koneellasi on sinun

Jos käytät suurta kielimallia omassa Linux-laatikossasi, et ole valvonnan tai palvelun peruuttamisen alainen. Voit käyttää sitä parhaaksi katsomallasi tavalla ilman pelkoa seurauksista yrityksen sisältökäytännön rikkomisesta.

Jos tietokoneresurssit ovat vähäiset, voit jopa suorittaa LLM: n paikallisesti vaatimattomalla Raspberry Pi: llä.