Mikä on Applen hermomoottori ja miten se toimii?

iPhonesi, iPadisi, Macisi ja Apple TV: si käyttävät erikoistunutta neuroprosessointiyksikköä nimeltä Apple Neural Engine (ANE), joka on paljon nopeampi ja energiatehokkaampi kuin prosessori tai grafiikkasuoritin.

ANE mahdollistaa edistyneitä laitteen ominaisuuksia, kuten luonnollisen kielen käsittelyn ja kuva-analyysin ilman pilveen napauttamista tai liiallista tehoa.

Tutkitaan kuinka ANE toimii ja sen kehitystä, mukaan lukien sen johtopäätökset ja älykkyys Applen alustoilla ja kuinka kehittäjät voivat käyttää sitä kolmansien osapuolien sovelluksissa.

Mikä on Apple Neural Engine (ANE)?

Apple Neural Engine on markkinointinimi klusterille erittäin erikoistuneita laskentaytimiä, jotka on optimoitu syvien hermoverkkojen energiatehokkaaseen suorittamiseen Applen laitteissa. Se nopeuttaa koneoppimisen (ML) ja tekoälyn (AI) algoritmeja tarjoten valtavia nopeuden, muistin ja tehon etuja pääsuorittimeen tai GPU: hun verrattuna.

ANE on iso osa sitä, miksi uusimmat iPhonet, iPadit, Macit ja Apple TV: t reagoivat nopeasti eivätkä kuumene raskaan ML- ja tekoälylaskennan aikana. Valitettavasti kaikissa Apple-laitteissa ei ole ANE: tä – Apple Watchista, Intel-pohjaisista Maceista ja vuotta 2016 vanhemmista laitteista puuttuu se.

Ensimmäinen ANE, joka debytoi Applen A11-sirun sisällä vuonna 2017 iPhone X: ssä, oli tarpeeksi tehokas tukemaan Face ID: tä ja Animojia. Vertailun vuoksi, uusin ANE A15 Bionic -sirussa on 26 kertaa nopeampi kuin ensimmäinen versio. Nykyään ANE mahdollistaa ominaisuudet, kuten offline-Sirin, ja kehittäjät voivat käyttää sitä aiemmin koulutettujen ML-mallien suorittamiseen, mikä vapauttaa CPU: n ja GPU: n keskittymään tehtäviin, jotka sopivat heille paremmin.

Kuinka Applen hermomoottori toimii?

ANE tarjoaa ohjaus- ja aritmeettisen logiikan, joka on optimoitu laajojen laskentatoimintojen, kuten kerto- ja akkumulaatio, jota käytetään yleisesti ML- ja tekoälyalgoritmeissa, kuten kuvien luokittelussa, media-analyysissä, konekäännöksissä ja lisää.

Mukaan Applen patentti nimeltä "Multi-Mode Planar Engine for Neural Processor", ANE koostuu useista hermomoottoriytimistä ja yhdestä tai useammasta monimuotoisesta tasopiiristä.

Suunnittelu on optimoitu rinnakkaislaskentaan, jossa useita operaatioita, kuten biljoonien iteraatioiden matriisikertoja, on suoritettava samanaikaisesti.

Tekoälyalgoritmien päättelyn nopeuttamiseksi ANE käyttää ennustavia malleja. Lisäksi ANE: llä on oma välimuisti ja se tukee vain muutamia tietotyyppejä, mikä auttaa maksimoimaan suorituskyvyn.

AI-ominaisuudet Powered by ANE

Tässä on joitain laitteen ominaisuuksia, jotka saatat olla tuttuja ja jotka ANE mahdollistaa.

• Luonnollisen kielen käsittely: Nopeampi ja luotettavampi puheentunnistus sanelulle ja Sirille; Parannettu luonnollisen kielen oppiminen Kääntäjä-sovelluksessa ja koko järjestelmässä; Tekstin välitön käännös Kuvissa, Kamerassa ja muissa iPhone-sovelluksissa.
• Konenäkö: Kohteiden, kuten maamerkkien, lemmikkien, kasvien, kirjojen ja kukkien, etsiminen kuvista Valokuvat-sovelluksen tai Spotlight-haun avulla. Saat lisätietoja aiheesta tunnisti objektit Visual Look Up -toiminnolla paikoissa, kuten Safari, Mail ja Messages.
• Lisätty todellisuus: Ihmisten okkluusio ja liikkeen seuranta AR-sovelluksissa.
• Videoanalyysi: Kasvojen ja esineiden tunnistus videolla sovelluksissa, kuten Final Cut Pro.
• Kameran tehosteet: Automaattinen rajaus keskitasolla; Taustan hämärtyminen FaceTime-videopuheluiden aikana.
• Pelit: Fotorealistiset tehosteet 3D-videopeleissä.
• Live-teksti: Tarjoaa optisen merkintunnistuksen (OCR) kamerassa ja valokuvissa, jolloin voit helposti kopioida kuvista käsinkirjoitusta tai tekstiä, kuten Wi-Fi-salasanan tai osoitteen.
• Laskennallinen valokuvaus: Deep Fusion analysoi pikseleitä parantaakseen kohinan vähentämistä, suurentaa dynaamista aluetta ja parantaakseen automaattista valotusta ja valkotasapainoa hyödyntäen Smart HDR: ää tarvittaessa; Matala syväterävyyskuvaus, mukaan lukien yötilan muotokuvien ottaminen; Säädä taustan epäterävyyden tasoa syvyyssäädöllä.
• Tidbitbit: ANE: tä käytetään myös valokuvatyyleihin Kamera-sovelluksessa, muistojen kuratointiin ja tyylitehosteisiin Kuvissa, henkilökohtaisia ​​suosituksia, kuten taustakuvaehdotuksia, VoiceOver-kuvatekstitys, kuvien kaksoiskappaleiden etsiminen Valokuvat yms.

Jotkut yllä mainituista ominaisuuksista, kuten kuvantunnistus, toimivat myös ilman ANE-liitäntää, mutta toimivat paljon hitaammin ja kuluttavat laitteesi akkua.

Applen hermomoottorin lyhyt historia: iPhone X: stä M2 Maceihin

Vuonna 2017 Apple otti käyttöön aivan ensimmäisen ANE: n kahden erikoisytimen muodossa iPhone X: n A11-sirun sisällä. Tämän päivän standardien mukaan se oli suhteellisen hidasta, vain 600 miljardia operaatiota sekunnissa.

Toisen sukupolven ANE ilmestyi A12-sirun sisään vuonna 2018, ja siinä oli neljä kertaa enemmän ytimiä. Viisi biljoonaa operaatiota sekunnissa mitattuna tämä ANE oli lähes yhdeksän kertaa nopeampi ja käytti kymmenesosan edeltäjänsä tehosta.

Vuoden 2019 A13-sirussa oli sama kahdeksanytiminen ANE, mutta se toimi viidenneksen nopeammin ja käytti 15 % vähemmän tehoa, mikä on TSMC: n parannetun 7 nm: n puolijohdesolmun tuote. TSMC (Taiwan Semiconductor Manufacturing Company) valmistaa Applen suunnittelemia siruja.

Applen hermomoottorin evoluutio

Seuraavana vuonna Apple A14 lähes kaksinkertaisti ANE-suorituskyvyn 11 biljoonaan toimintoon sekunnissa, mikä saavutettiin lisäämällä ANE-ytimien lukumäärä 8:sta 16:een. Vuonna 2021 A15 Bionic hyötyi TSMC: n toisen sukupolven 5 nm: n prosessista, joka lisäsi ANE-suorituskykyä 15,8 biljoonaan toimintoon sekunnissa lisäämättä ytimiä.

Ensimmäisissä Mac-sidottuissa M1-, M1 Pro- ja M1 Max -siruissa oli sama ANE kuin A14:ssä, mikä toi edistyneen, laitteistokiihdytetyn ML- ja tekoälyn macOS-alustalle ensimmäistä kertaa.

Vuonna 2022 M1 Ultra yhdisti kaksi M1 Max -sirua yhdeksi pakkaukseksi käyttämällä Applen mukautettua UltraFusion-liitäntää. Kaksinkertaisen ANE-ytimen (32) ansiosta M1 Ultra kaksinkertaisti ANE-suorituskyvyn 22 biljoonaan toimintoon sekunnissa.

Apple A16 vuonna 2022 valmistettiin käyttämällä TSMC: n parannettua N4-solmua, mikä tuo noin 8 % nopeamman ANE-suorituskyvyn (17 biljoonaa toimintoa sekunnissa) verrattuna A15:n ANE: hen.

Ensimmäiset ANE-yhteensopivat iPadit olivat viidennen sukupolven iPad mini (2019), kolmannen sukupolven iPad Air (2019) ja kahdeksannen sukupolven iPad (2020). Kaikissa sen jälkeen julkaistuissa iPadeissa on ANE.

Kuinka kehittäjät voivat käyttää ANE: tä sovelluksissa?

Monet kolmannen osapuolen sovellukset käyttävät ANE: tä ominaisuuksiin, jotka eivät muuten olisi mahdollisia. Esimerkiksi kuvankäsittelyohjelma Pixelmator Pro tarjoaa työkaluja, kuten ML Super Resolution ja ML Enhance. Ja djay Prossa ANE erottaa biitit, instrumentaalit ja laulukappaleet tallenteesta.

Kolmannen osapuolen kehittäjät eivät kuitenkaan saa matalan tason pääsyä ANE: hen. Sen sijaan kaikkien ANE-puheluiden on läpäistävä Applen koneoppimisen ohjelmistokehys, Core ML. Core ML: n avulla kehittäjät voivat rakentaa, kouluttaa ja käyttää ML-mallejaan suoraan laitteessa. Tällaista mallia käytetään sitten ennusteiden tekemiseen uuden syöttödatan perusteella.

"Kun malli on käyttäjän laitteessa, voit käyttää Core ML: ää sen uudelleenkouluttamiseen tai hienosäätämiseen laitteessa kyseisen käyttäjän tiedoilla", kertoo Core ML: n yleiskatsaus Applen verkkosivusto.

ML- ja AI-algoritmien nopeuttamiseksi Core ML hyödyntää ANE: n lisäksi myös suoritinta ja grafiikkasuoritinta. Tämä antaa Core ML: lle mahdollisuuden ajaa mallia, vaikka ANE: tä ei olisi saatavilla. Mutta kun ANE on läsnä, Core ML toimii paljon nopeammin, eikä akku tyhjene yhtä nopeasti.

Monet Applen ominaisuudet eivät toimisi ilman ANE: tä

Monet laitteen ominaisuudet eivät olisi mahdollisia ilman AI- ja ML-algoritmien nopeaa käsittelyä sekä minimoitua muistin tilaa ja virrankulutusta, jonka ANE tuo pöytään. Applen taika on omistettu apuprosessori neuroverkkojen suorittamiseen yksityisesti laitteella sen sijaan, että ne siirrettäisiin palvelimille pilvessä.

ANE: n avulla sekä Apple että kehittäjät voivat toteuttaa syviä hermoverkkoja ja hyötyä kiihdytetystä koneoppiminen erilaisille ennustaville malleille, kuten konekäännös, objektien havaitseminen, kuvien luokittelu, jne.