Tarjolla on paljon tekoälyllä toimivia chatbotteja, mutta mikä käyttää parasta LLM: ää? Näin voit vertailla LLM-yrityksiä selvittääksesi, mikä on paras.
Koska verkossa on saatavilla useita chatbotteja, tarpeitasi vastaavan valitseminen voi olla erittäin vaikeaa. Vaikka voit verrata mitä tahansa kahta chatbotia manuaalisesti, se vie paljon aikaa ja vaivaa.
Parempi ja yksinkertaisempi tapa on käyttää Chatbot Arenaa vertaamaan suosittuja chatbotteja käyttäviä LLM: itä. Se tarjoaa pari tilaa eri mallien vertailuun, jotka selitämme alla.
Mikä on Chatbot Arena?
LMSYS Orgin luoma Chatbot Arena on alusta, jolla voidaan vertailla erilaisia LLM-yrityksiä. Se käyttää Elo Rating -järjestelmää eri mallien luokitteluun.
Chatbot Arena tarjoaa käyttäjille pari tapaa verrata ja arvioida LLM: itä. Lähetetyn palautteen perusteella Chatbot Arena luokittelee erilaiset LLM: t julkisella tulostaulukolla. Hanketta sponsoroi HuggingFace, avoimen lähdekoodin vaihtoehto ChatGPT: lle.
Kuinka vertailla anonyymejä LLM: itä Chatbot Arenaan
Chatbot Arenan taistelutilan avulla voit vertailla LLM: itä nimettömästi. Voit esimerkiksi vertaa ChatGPT: tä (GPT 3.5) ja Claudea. Tämä tarkoittaa, että Chatbot Arena itse valitsee mitkä tahansa kaksi kielimallia ja antaa sinun verrata niitä paljastamatta niiden nimiä.
Kun kirjoitat ensimmäiseen kehotteeseen, Chatbot Arena hakee vastaukset molemmista malleista ja esittää ne vierekkäin. Alustan avulla voit luoda uudelleen vastauksia (molemmat LLM: t) ja tyhjentää historian aloittaaksesi erilaisen keskustelun. Voit kysyä lisää, kunnes olet valinnut selkeän voittajan.
Sitten voit valita, onko malli A parempi vai B. Voittajan valinnan yhteydessä Chatbot Arena paljastaa molempien botien nimet. Tämä tila toimii hyvin, koska päätökseesi ei vaikuta aiempi käsityksesi tai suosio malleista. Chatbot Arenalla voit myös säätää parametreja, kuten lämpötilaa, Top P: tä ja maksimitehomerkkejä.
Kuinka verrata valittuja LLM: itä Chatbot Arenaan
Jos haluat verrata kahta tiettyä LLM: ää, voit vaihtaa Chatbot Arenan rinnakkaiseen tilaan. Sen lisäksi, että voit valita LLM: t itse, tämä tila toimii melkein samalla tavalla kuin taistelutila. Voit säätää parametreja, luoda vastauksia uudelleen, tyhjentää historian ja valita voittajan lopulta.
Tässä tilassa käytettävissä olevien LLM: ien määrä on kuitenkin rajoitettu. Voit valita eri versioita Llama 2:sta, Vicunasta ja ChatGLM: stä. Vaikka suositut LLM: t, kuten GPT-4, GPT-3.5, Claude 1, Claude 2 jne., eivät tällä hetkellä ole käytettävissä tässä tilassa, Chatbot Arena aikoo lisätä ne.
Vertaa LLM-yrityksiä Chatbot Arenan avulla
Etsitpä sitten tarpeisiisi sopivaa chatbotia tai haluat vain testata erilaisia LLM: itä, Chatbot Arena on loistava alusta.
Se tarjoaa yksinkertaistetun tavan vertailla eri kielimalleja rinnakkain. Ja koska se ylläpitää tulostaulukkoa käyttäjien palautteen perusteella, voit tarkastella eri mallien sijoituksia suoraan suorittamatta testejä itse.