Google julkistaa Lyran matalan bittinopeuden puhekoodekin

Google on julkaissut Lyra-äänikoodekin beeta-lähdekoodinsa GitHubissa, mikä tekee uskomattoman laadukkaasta matalan bittinopeuden äänenkäsittelyn kaikkien kehittäjien saataville. Koodekki on hyödyllisin sulautetuissa ja kaistanleveysrajoitetuissa tilanteissa, joissa on tallennettava mahdollisimman paljon dataa.

Lyra: Melkein mikään ei koskaan kuulostanut niin hyvältä

Äänikoodekki toimii periaatteella tarjota luonnollisimmalta kuulostava puhe mahdollisimman pienellä datanopeudella. Se onnistuu luomaan melkein aavemaista äänentoiston tasoa jopa 3 kbps: n bittinopeudella. Google käyttää reaaliaikaista Lyra-pakkausta jo Duo-sovelluksessa, vaikka sinua ei syytettäkään siitä, ettet edes huomannut eroa tavallisesta kaistanleveydestä.

Osoittaakseen kuinka paljon parempi Lyra on kuin muut koodekit, Google tarjoaa esimerkkejä a: n kautta blogipostaus koneoppimisen ohjaaman pakkauskoodekin vertaaminen muihin 3 ja 6 kbps: n vaihtoehtoihin.

Se on yön ja päivän ero, ja kehittäjien tarjoaminen kehittäjille näillä työkaluilla on merkittävä ajuri viestinnän laadun parantamiseen siellä, missä kaistanleveyttä on vähän. Se on myös erinomainen motivaattori kehittäjille, jotka haluavat luoda uusia sovelluksia kehittyvillä markkinoilla, minkä Google varmasti kattaa tämän vuoden aikana

ilmainen virtuaalinen Google I / O -verkkokonferenssi.

Beetalähdekoodi on tällä hetkellä suunniteltu ottaen huomioon 64-bittiset Arm-laitteet, vaikka esimerkit toimivat myös 64-bittisissä x86-Linux-järjestelmissä. Lähdekoodi toimitetaan täysin dokumentoituna, vaikka se on beetaversiossa, ja GitHub-sivu tarjoaa asennusohjeet ja kuinka rakentaa Lyra Linuxille 64-bittisille Arm-kohteille.

Saadaksesi Lyra-beeta-lähdekoodin, siirry Lyra GitHub -sivu.

Kuinka Lyra toimii?

Vaikka Lyran käyttämä varsinainen prosessi on uskomattoman monimutkainen yhdistelmä koulutettuja koneoppimismalleja tuhansia tunteja puhetietoja ja olemassa olevan äänikoodekkitekniikan optimointia, teoria on varsin oikea yksinkertainen.

40 ms välein ominaisuudet otetaan puheesta ja pakataan 3 kbps: iin. Nämä ominaisuudet edustavat puheen energiapisteitä taajuusspektrissä, joka on lähinnä ihmisen kuulopuhevastetta - asioita, jotka meidän on tunnistettava ja ymmärrettävä, kun joku puhuu.

Keskeinen osa siitä, mikä tekee Lyrasta erityisen, on se, miten se käyttää näitä tietoja:

Kuitenkin perinteiset parametriset koodekit, jotka vain poimivat puheen kriittisistä parametreista, jotka voivat olla käytetään luomaan signaali uudelleen vastaanottopäässä, saavuttamaan alhaiset bittinopeudet, mutta usein kuulostavat robottisilta ja luonnottomilta. Nämä puutteet ovat johtaneet uuden sukupolven korkealaatuisten äänigeneratiivisten mallien kehittämiseen mullisti kentän kykenemällä paitsi erottamaan signaalit, myös luomaan täysin uusia yhdet.

Lähetyksen jälkeen Lyra rakentaa aaltomuodon uudelleen täyttämällä mitä puuttuu tällä prosessilla, mutta ei jotenkin ole liian laskennallisesti monimutkainen.

Yhtäältä se on tekninen ihme, joka toimii melkein missä tahansa. Toisaalta en ole vieläkään 100% vakuuttunut siitä, ettei se ole noituutta.

10 Google Duo -ominaisuutta, joita sinun pitäisi todella käyttää

Google Duo on yksi parhaista videopuhelusovelluksista. Siinä on paljon ominaisuuksia, ja tässä ovat mielestämme sinun pitäisi todella käyttää.

Lue seuraava

Kirjailijasta