7 parasta paikallista / offline-LLM: tä, joita voit kokeilla juuri nyt

Käyttäjät käyttävät yleensä suuria kielimalleja (LLM) käyttämällä käyttöliittymää API: n kautta. Vaikka API tarjoaa useita etuja, se tuo myös rajoituksia, kuten jatkuvan Internetin tarpeen yhteys, rajoitetut mukautukset, mahdolliset tietoturvaongelmat ja yritykset, jotka rajoittavat mallin ominaisuuksia a maksumuurin.

HuggingFacessa nyt saatavilla kvantisoidut LLM: t ja tekoälyekosysteemeihin, kuten H20, Text Gen ja GPT4All Voit ladata LLM-painoja tietokoneellesi, joten sinulla on nyt mahdollisuus ilmaiseen, joustavaan ja turvalliseen AI.

Pääset alkuun tässä seitsemän parasta paikallista/offline-LLM: tä, joita voit käyttää juuri nyt!

1. Hermes GPTQ

Huippuluokan kielimalli, joka on hienosäädetty Nous Researchin 300 000 ohjeen tietojoukolla. Hermes perustuu Metan LlaMA2 LLM: ään ja sitä hienosäädettiin käyttämällä enimmäkseen synteettisiä GPT-4-lähtöjä.

LlaMA2:n käyttö perusmallina mahdollistaa Hermesin kaksinkertaistamisen kontekstin koon tai 4 096 tunnuksen enimmäiskoon. Yhdistämällä pitkän kontekstin koon ja enkooderarkkitehtuurin, Hermesin tiedetään antavan pitkiä vastauksia ja alhaisia ​​hallusinaatioita. Tämä tekee Hermesistä erinomaisen mallin erilaisille

luonnollisen kielen käsittely (NLP) tehtäviä, kuten koodin kirjoittaminen, sisällön luominen ja chatbotina toimiminen.

Uudesta Hermes GPTQ: sta on useita kvantisointeja ja versioita. Suosittelemme, että kokeilet ensin Hermes-Llama2 13B-GPTQ -mallia, koska se on helpoin versio ottaa käyttöön, mutta silti sen suorituskyky on erinomainen.

2. Falcon ohjeistaa GPTQ: ta

Tämä Falconin kvantisoitu versio perustuu vain dekooderin arkkitehtuuriin, joka on hienosäädetty TII: n raaka Flacon-7b-mallin päälle. Falconin perusmalli opetettiin käyttämällä 1,5 biljoonaa julkisesta Internetistä hankittua rahaketta. Apache 2:lla lisensoituna ohjepohjaisena vain dekooderimallina Falcon Instruct on täydellinen pienille yrityksille, jotka etsivät mallia käytettäväksi kielten kääntämiseen ja tietojen syöttämiseen.

Tämä Falconin versio ei kuitenkaan ole ihanteellinen hienosäätöön ja on tarkoitettu vain päättelemiseen. Jos haluat hienosäätää Falconia, sinun on käytettävä raakamallia, joka voi vaatia pääsyn yritystason koulutuslaitteistoihin, kuten NVIDIA DGX tai AMD Instinct AI -kiihdyttimet.

3.GPT4ALL-J Groovy

GPT4All-J Groovy on vain dekooderille tarkoitettu malli, jonka Nomic AI on hienosäädetty ja lisensoitu Apache 2.0:lla. GPT4ALL-J Groovy perustuu alkuperäiseen GPT-J-malliin, jonka tiedetään olevan loistava tekstin luomisessa kehotteista. GPT4ALL -J Groovy on hienosäädetty chat-malliksi, joka sopii erinomaisesti nopeisiin ja luoviin tekstintuotantosovelluksiin. Tämä tekee GPT4All-J Groovysta ihanteellisen sisällöntuottajille, jotka auttavat heitä kirjoittamisessa ja luovissa teoksissa, olipa kyse runosta, musiikista tai tarinoista.

Valitettavasti GPT-J-perusmalli opetettiin vain englanninkielisellä tietojoukolla, mikä tarkoittaa, että tämäkin hienosäädety GPT4ALL-J-malli voi keskustella ja suorittaa tekstin luontisovelluksia vain englanniksi.

4.WizardCoder-15B-GPTQ

Etsitkö mallia, joka on erityisesti hienosäädetty koodaukseen? Huomattavasti pienemmästä koostaan ​​huolimatta WizardCoderin tiedetään olevan yksi parhaista koodausmalleista, joka ohittaa muut mallit, kuten LlaMA-65B, InstructCodeT5+ ja CodeGeeX. Tämä malli on koulutettu käyttämällä koodauskohtaista Evol-Instruct-menetelmää, joka automaattisesti muokkaa kehotteet tehokkaammaksi koodaukseen liittyväksi kehotteeksi, jonka malli ymmärtää paremmin.

Koska WizardCoder on kvantisoitu 4-bittiseksi malliksi, sitä voidaan nyt käyttää tavallisissa tietokoneissa, joissa ihmiset voivat käyttää sitä kokeiluihin ja koodausavustajana yksinkertaisemmille ohjelmille ja skripteille.

5. Wizard Vicuna sensuroimaton-GPTQ

Wizard-Vicuna GPTQ on kvantisoitu versio Wizard Vicunasta, joka perustuu LlaMA-malliin. Toisin kuin useimmat yleisölle julkaistut LLM: t, Wizard-Vicuna on sensuroimaton malli, jonka kohdistus on poistettu. Tämä tarkoittaa, että mallilla ei ole samoja turvallisuus- ja moraalistandardeja kuin useimmilla malleilla.

Vaikka mahdollisesti poseeraa AI kohdistuksen ohjausongelma, sensuroimaton LLM tuo esiin myös mallin parhaat puolet, sillä se saa vastata ilman rajoituksia. Tämän ansiosta käyttäjät voivat myös lisätä mukautetun linjauksensa siitä, kuinka tekoälyn tulisi toimia tai vastata tietyn kehotteen perusteella.

6. Orca Mini-GPTQ

Haluatko kokeilla mallia, joka on koulutettu ainutlaatuisella oppimismenetelmällä? Orca Mini on Microsoftin Orca-tutkimuspapereiden epävirallinen mallitoteutus. Se koulutettiin opettaja-opiskelija-oppimismenetelmällä, jossa tietojoukko oli täynnä selityksiä pelkkien kehotteiden ja vastausten sijaan. Tämän pitäisi teoriassa johtaa älykkäämpään opiskelijaan, jossa malli voi ymmärtää ongelman sen sijaan, että etsiisi syöte- ja lähtöpareja, kuten tyypillisten LLM: ien toimintaa.

Vain kolmella miljardilla parametrilla Orca Mini GPTQ: ta on helppo käyttää myös vähemmän tehokkaissa järjestelmissä. Tätä mallia ei kuitenkaan pidä käyttää mihinkään ammattikäyttöön, koska se tuottaa vääriä tietoja, puolueellisia ja loukkaavia vastauksia. Tätä mallia kannattaa hyödyntää Orcan ja sen menetelmien oppimisessa ja kokeilussa.

7.LlaMA 2 Chat GPTQ

LlaMA 2 on alkuperäisen LlaMA LLM: n seuraaja, joka synnytti useimmat tämän luettelon mallit. LlaMA 2 on kokoelma useita LLM: itä, joista jokainen on koulutettu 7-70 miljardilla parametrilla. Kaiken kaikkiaan LlaMA 2 esiopetettiin käyttämällä 2 biljoonaa datatunnusta, jotka oli otettu julkisesti saatavilla olevista ohjeaineistoista.

LlaMA 2 on tarkoitettu kaupalliseen ja tutkimuskäyttöön. Sellaisenaan tätä mallia on parasta käyttää hienosäädön jälkeen paremman suorituskyvyn saavuttamiseksi tietyissä tehtävissä. Tämä erityinen LlaMA 2 -chat GPTQ -malli on hienosäädetty ja optimoitu englanninkielistä dialogia varten, joten se on täydellinen malli yrityksille ja organisaatioille chatbotiksi ilman lisäkoulutusta edellytetään. Ehtojen mukaan yritykset, joilla on alle 700 miljoonaa käyttäjää, voivat käyttää LlaMA 2:ta maksamatta lisenssimaksua Metalta tai Microsoftilta.

Kokeile paikallisia suurikielisiä malleja jo tänään

Joillakin edellä luetelluista malleista on parametrien suhteen useita versioita. Yleensä korkeampien parametrien versiot tuottavat parempia tuloksia, mutta vaativat tehokkaamman laitteiston, kun taas alhaisempien parametrien versiot tuottavat huonompia tuloksia, mutta niitä voidaan käyttää alemman luokan laitteistoissa. Jos et ole varma, pystyykö tietokoneesi käyttämään mallia, kokeile ensin alemman parametrin versiota ja jatka sitten, kunnes sinusta tuntuu, että suorituskyvyn heikkeneminen ei ole enää hyväksyttävää.

Koska tämän luettelon kvantisoidut mallit vievät vain muutaman gigatavun tilaa, ja mallinkäyttöympäristöt, kuten GPT4All ja Text-Generation-WebUI voidaan helposti asentaa niiden yhden napsautuksen asennusohjelmien kautta, useiden mallien ja malliversioiden kokeilemisen ei pitäisi kestää paljon aikaa ja vaivaa.

Joten, mitä sinä odotat? Kokeile paikallista mallia jo tänään!