Tuleeko viittomakielen käännössovelluksesta koskaan todellisuutta?

Mainos

Kuvittele maailma, jossa kuurojen ja kuulon väliset esteet ovat poistuneet. Maailma, jossa keskustelut kulkevat sujuvasti niiden, jotka kuulevat äänen, ja niiden, jotka eivät kuulu. Voisiko siitä maailmalta tulla todellista lähitulevaisuudessa?

Kesäkuun alussa ryhmä markkinointiopiskelijoita Berghsin viestintäkoulussa kehitti konseptivideon kuvitteelliselle tuotteelle nimeltä Google Gesture. Tuote sisälsi puettavan rannekenauhan ja mobiilisovelluksen, joka käytti sähköomografiaa lukemaan viittomakieltä tekevän kuuron lihaksen liikkeitä. Järjestelmä välitti sitten nämä signaalit sovellukselle, joka käänsi nämä signaalit digitalisoituun ääneen ja puhuisi henkilön puolesta.

Väärennetyn markkinointivideon katselu oli aika jännittävää. Itse asiassa niin jännittävää, että suuret teknologiasivustot, kuten Mashable, Slashgear ja muut, ilmoittivat tuotteen alun perin todellisena, ja piti myöhemmin laskea vaatimus ja pyytää anteeksi virheistään. Se oli outo virhe, kun otetaan huomioon, että siellä todella oli

On Google-tuote, nimeltään Google elehaku [ei enää saatavilla], jonka avulla voit piirtää eleitä matkapuhelimen näytölle hakeaksesi yhteystietoja, kirjanmerkkejä ja muuta.

Siitä huolimatta, Berghsin opiskelijoiden konsepti esitti merkittävän idean, joka johti kysymykseen - voisiko tällaisen sovelluksen luoda oikealle?

Onko viittomakielen kääntäminen mahdollista?

Markkinointikonseptin eritteleminen teknisellä tasolla paljastaa, että tekniikka, joka käyttää sähköomografiaa (EMG) ”viisaan” viisaan kielen ”ymmärtämiseen”, ei ole oikeastaan ​​niin kauan haettu. Jo vuonna 2009 tutkijoita Washingtonin yliopistosta pystyivät hyödyntämään useita EMG-antureita puristamaan lihaksen liikkeet ja muuttamaan ne varsinaisiksi käsivarren ja käden eleiksi.

Tutkijat itse rakensivat täydellisen ”eleiden tunnistuskirjaston”, joka tunnisti, mitkä lihassignaalit edustivat mitä elettä. Tutkimus osoittaa, että tällainen tekniikka on saatavissa ja valmis toteuttamaan sellaisessa sovelluksessa, jota Berghs-opiskelijat suunnittelivat.

Joten onko kukaan todella saavuttanut tämän vielä? Jos ei, miksi kukaan ei tee niin ja tarjoaa kuuroille ja kuulovammaisille mahdollisuuden kommunikoida viittomakielen kautta maailman muiden kanssa?

Reaaliaikaisen käännöstekniikan tulevaisuus

Totuus on, että joku tosiasiallisesti työskentelee sellaisen reaaliaikaisen viittomakielen käännöstekniikan parissa.

Yhtiö on nimeltään SpeechTrans [Broken URL Removed], joka on ylittänyt rajoja käännösteknologiat Unohda Google Translate: 3 tapaa saada tarkka, nopea käännösOlitpa sitten hakemassa työtä tai asuntoa ulkomaille vai käännät verkkosivusi, sinun on saatava asiat oikein jopa vieraalla kielellä. Lue lisää viime vuosina. SpeechTrans tekee yhteistyötä teknologiakumppaneiden kanssa tuottaakseen markkinoiden merkittävimpiä reaaliaikaisia ​​käännöspalveluita nykyään. Nämä ovat palveluita, jotka kääntävät tekstikeskustelua tekstikeskusteluksi, ääni tekstiksi ja jopa reaaliaikaisen puheäänestä kieleksi kääntämisen matkapuhelinten ja työpöytäsovellusten kautta.

MakeUseOf istui SpeechTrans-toimitusjohtajan John Frein ja COO Yan Auerbachin kanssa keskustellakseen tästä uraauurtavasta uudesta, jotta voitaisiin selvittää, voisiko viittomakielen tekniikasta tulla todellisuutta lähitulevaisuudessa. käännösteknologia Ymmärrä mikä tahansa kieli näillä viidellä kielen käännössivustollaTeknologia on tehnyt maailmasta pienemmän paikan. Ihmiset kaikilta tämän planeetan alueilta käyttävät monia samoja työkaluja, käyvät samoilla verkkosivustoilla ja sekoittavat erilaisia ​​chat-huoneita verkossa. The ... Lue lisää ja kuinka kaukana tulevaisuudesta se voi olla.

Viittomakielen käännössovelluksen kehittäminen

MUO: Onko mahdollista tehdä sellainen viittomakieli puheen kääntämiseen, jonka Berghsin opiskelijat kuvasivat tässä Google Gesture -konseptivideossa?

Johannes: Sanoisin, että tekniikkaa on saatavana sen kehittämiseen. Työskentelemme parhaillaan Microsoftin ja Intelin kanssa tutkimalla joitain tekniikoita, joita he tulevat julkaisemaan, laitteistojen ja ohjelmistojen suhteen. Kuvittelemme kykyä käyttää tätä tekniikkaa viittomakielen tunnistamiseen ja muuntaa sen sitten puhe- ja äänilähdöksi.

MUO: Oletko aktiivisesti kehittämässä tätä tekniikkaa juuri nyt?

Yan: Joten, oli asiakas, joka käytti ohjelmistamme, ja ajatteli, että olisi hienoa, jos voisimme muokata sitä niin, että kuulovammaiset voivat käyttää sitä soittaa puheluita sovelluksestasi, kommunikoida ilman viittomakieltä, kun he ovat henkilökohtaisesti, tai ilman TTY-tyyppistä puhelinpalvelua puhelut. Kehitimme tuon tuotteen, ja Microsoftin ja Intelin rahoituksella käynnistimme SpeechTrans -sovelluksen kuulovammaisille Windows 8.1: ssä, mikä poistaa viittomakielen tarpeen.

MUO: Kuinka "henkilökohtainen" -sovellus toimii?

Yan: Siellä on kuuntelutila ja syöttötila. Joten kun joku puhuu sinulle, asetat kuuntelutilan ja se kirjoittaa kaiken, mitä he sanovat ruudulla tekstinä. Sitten, kun vastaat takaisin, kirjoitat sen ja sitten se puhuu ääneen mitä kirjoitat. Puhelimen avulla voit vain valita minkä tahansa henkilön puhelinnumeron, ja kun hän vastaa puhelimeen, siitä tulee pikaviesti. Mitä he puhuvat, saat pikaviestinä. Sitten, mitä kirjoitat, puhutaan ääneen puhelimen kautta. Se on ensimmäinen vaihe.

Lähellä tulevaisuuden viittomakielen käännöstä

MUO: Mitä tekniikoita ihmiset voivat odottaa näkevänsä lähitulevaisuudessa? Mikä on seuraava vaihe?

Johannes: Suhtaudumme miettimään - joku, jolla on vain kyky käyttää viittomakieltä - pystyä tekemään sen laitteen, kuten puhelimen, tietokoneen tai kannettavan, edessä. Intelillä on uusi kamerajärjestelmä, ja Microsoft tekee samoin kuin Kinect, joka eleet tunnistaa.

MUO: Kuinka tämä on parempi kuin Berghsin opiskelijoiden esittämä käsivarsinauhakonsepti?

Yan: Periaatteessa meidän toimimme tavalla, jossa se ei edellytä, että laitat mitään käsivarteen. Se tunnistaa 64 pistettä kädelläsi. Käytämme Intelin RealSense -kameran beetaversiota. Joten ei vain pystymme tunnistamaan kaikki viittomakielen ja viittomakielen useita eri murteita, vaan osaa tunnistaa myös tunteet, ilme ja muut pienet vivahteet ja muuntaa ne sitten puhuteiksi sanoiksi hyvin.

Sinun ei tarvitse käyttää käsineitä tai mitään. Keskitymme juuri näihin markkinoihin, koska haluamme vain auttaa ihmisiä yleensä. Emme halua vain auttaa ihmisiä, jotka haluavat puhua monilla eri kielillä, mutta haluamme auttaa myös ihmisiä, jotka eivät osaa puhua millään kielellä. Teknologia on olemassa, eikä heidän elämänlaadunsa pitäisi olla mikään erilainen kuin meidän.

Johannes: Se on toteutettavissa oleva käsite. Se on vain erilainen tulo ja lähtö. Jotkut keskustelut, jotka olemme käyneet Microsoftin kanssa tulevista tekniikoista, ovat siellä joku voisi itse asiassa implantoida mikrosirun kaulaan, ja se lukee suoraan heidän aivonsa kuviot. Joten jos autat ihmisiä, jotka eivät pysty kommunikoimaan, näemme jotain sellaista kolmannen vaiheen käyttöönotossa.

Viime vuonna oli joukko opiskelijoita, jotka tulivat esiin toimivan prototyypin käsineestä, joka oli kytketty tietokoneeseen. Käsineen tekemäsi eleet tunnistetaan ja muunnetaan sitten viittomakieleksi. Joten heillä on jo kyky nykyisen tekniikan kanssa.

Visiomme on, että emme todella halua luoda lisävarusteita, kuten käsivarsinauhoja, jotka sinun täytyy laittaa. Heidän [viittomakieltä tekevien ihmisten] pitäisi olla vain luonnollista ja vapaasti virtaavaa tehdä sen videokameransa edessä. 90% siitä, mitä ihmiset sanovat viestinnässä, on heidän ruumiinkielellään. Pystymällä käyttämään kasvojentunnistusta, eleitä ja tunteita, voimme käyttää näitä tietoja nimellä hyvin varmistaaksemme, että käännös ja se, mitä he yrittävät välittää, ilmaistaan ​​oikealla muodostavat.

MUO: Onko Intel 5 vuoden sisällä siitä, että sillä on viittomakielen tunnistustekniikka?

Johannes: Intelillä on ehdottomasti paljon resursseja käytettävissä. Heidän tekniikka ja ohjelmistot ovat tulossa vauhtiin, jolla voimme saada tämän tapahtumaan melko nopeasti.

MUO: Onko sinulla aikataulua siihen aikaan, kun haluat toistaa tämän tekniikan markkinoille?

Johannes: Viittomakielellä se on noin 12-18 kuukautta.

MUO: Onko kukaan muu siellä mitään muuta tällaista viittomakielen kääntämiseen?

Johannes: Näin YouTube-videon IBM: stä tekevän prototyypin, jossa joku käytti viittomakieltä, mutta se oli todiste konseptista ja siinä oli vain kolme tai neljä sanaa, jotka se tunnisti. Meillä on yli viisisataa tuhatta sanaa, joiden kanssa aiomme toteuttaa sen, joten se vie sen aivan toiselle tasolle.

johtopäätös

Vaikka visiosta, josta Berghsin opiskelijat haaveilivat, ei välttämättä tule tulevaisuuden viittomakielen käännössovellusta, se ei tarkoita, että tällaista käsitettä ei tapahdu. SpeechTranissa, Intelissä ja Microsoftissa tehty työ osoittaa, että viittomakielen kääntämisestä on melkein varmaa tulla todelliseksi tekniikaksi muutamassa vuodessa. Todennäköisesti siihen ei liity hankalia käsikaistareita, vaan sen sijaan vain erityinen videokamera ja mobiilisovellus.

Eleiden ja kasvojen tunnistuksen taian kautta tämä tulevaisuuden viittomakielen käännössovellus lupaa mullistaa ihmisten välisen viestinnän täysin satojen tuhansien ihmisten keskuudessa kuulovammainen 5 parasta resurssia vammaisten Mac- ja Apple-laitteiden käyttäjille Lue lisää tai kuulovammaisia ​​ihmisiä ympäri maailmaa.