Luo omat "hermovärimaalauksen" DeepStyle & Ubuntu -sovelluksella

Mainos

Neuraaliverkot voivat tehdä paljon asioita. He osaavat tulkita kuvia, ymmärrä äänemme 6 Google Now -ominaisuutta, jotka muuttavat hakutapaa Voit jo käyttää Google Nyt -laitetta Android-laitteellasi, mutta saatko siitä kaiken, mitä pystyt? Tietäen näistä pienistä ominaisuuksista voi olla suuri ero. Lue lisää ja kääntää keskusteluja Kuinka Skypen Star Trek -kääntäjä toimiiSkypen uusi kääntämisominaisuus tarjoaa jotain, josta unelmoi Star Trekin jälkeen - vaivaton tapa kommunikoida kielten välillä. Lue lisää . Mutta tiesitkö, että he voivat myös maalata?

Tuore tutkimus (otsikko “Taiteellisen tyylin neuraalgoritmi”) On käynnistänyt verkon keskustelujen eräitä silmiinpistäviä visuaalisia esimerkkejä. Pohjimmiltaan artikkelissa käsitellään tekniikkaa kouluttaa syvä hermoverkko Microsoft vs. Google - kuka johtaa tekoälykilpailua?Tekoälyn tutkijat ovat edistyneet konkreettisesti, ja ihmiset alkavat puhua vakavasti AI: stä. Kaksi titaania, jotka johtavat tekoälyn kilpailuun, ovat Google ja Microsoft. Lue lisää

erottaa taiteellinen tyyli kuvan rakenteesta ja yhdistää kuvan tyyli toisen rakenteeseen. Tämän kaiken tulos on, että voit kouluttaa valtavan hermoverkon kääntämään valokuvat “hermoiksi” maalauksia ”, jotka näyttävät ikään kuin kuuluisien taiteilijoiden maalaamilta -” digitaaliset väärennökset ” puhua.

Tässä on esimerkkejä artikkelista. Ensimmäinen kuva on alkuperäinen. Myöhemmät kuvat ovat tuotettuja tuloksia, ja maalaus, josta tyyli on näytetty, näytetään pienoiskoossa.

Alkuperäiset tutkijat eivät valitettavasti ole julkaisseet koodiaan. Jotkut innokkaat ohjelmoijat ovat kuitenkin toistaneet tuloksia viime päivinä, ja heidän koodinsa on saatavilla, avoimen lähdekoodin Internetissä. Ainoa mitä tarvitset sen käyttämiseen on linux-kone ja vähän kärsivällisyyttä.

Tänään aion opastaa sinut läpi kuinka tehdä, ja näyttää sinulle joitain omia tuloksia. Voit ajatella tätä löysänä jatkona meidän DeepDream-opetusohjelma Luo omat keinotekoista unelmasi Googlen "DeepDream" -sovelluksellaOletko nähnyt trippikuvia tulevan DeepDreamista? Haluatko tehdä oman? Älä enää katso! Lue lisää . Se on vähän monimutkainen, mutta kuka tahansa Linux-kone voi seurata - koodauskokemusta ei tarvita.

Muutin Picasso-valomaalauksen Picasso-tyyliseksi maalaukseksi #DeepStyle! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 5. syyskuuta 2015

Ohjelmiston asentaminen

Ensinnäkin, jos sinulla ei ole kiirettä tai sinulla ei ole Linux-laitetta, voit silti pelata DeepStyle-ohjelmalla käyttämällä DeepForger Twitter -botti (lähetä sille kuva ja tyyli, ja se vastaa lopulta haluamallasi tuloksella). Jos haluat käsitellä enemmän kuvia nopeasti (ja tuloksia hallitaan paremmin), lue ohjeet.

Ensinnäkin, varmista, että sinulla on ajan tasalla oleva kopio ubuntu (14.04 on mitä käytin). Sinulla pitäisi olla ainakin muutama ylimääräinen keikka kiintolevytilaa. Lisätietoja saat tutustumisoppaastamme kaksois käynnistyvä Ubuntu Windowsin rinnalla Väsynyt Windows 8: een? Kuinka kaksoiskäynnistää Windows ja UbuntuJos huomaat, että Windows 8 ei ole aivan kupillinen teetä, eikä sinulla ole toteutettavissa olevaa polkua päivittämiseen, voi olla hyvä idea kaksoiskäynnistää Linux-käyttöjärjestelmän kanssa vaihtoehtoinen vaihtoehto ... Lue lisää . Tarvitset myös pääkäyttäjän oikeudet, joten muista tehdä se ennen jatkamista.

Perustyökalut

Lepakin oikealla puolella, tämä on avoimen lähdekoodin projekti, joten me haluamme saada git asennettu. Git on versionhallintaohjelmistojen kultastandardi Mikä on Git ja miksi sinun pitäisi käyttää versionhallintaa, jos olet kehittäjäVerkkosuunnittelijoina olemme yleensä työskennelleet paikallisilla kehittämissivustoilla, sitten lataamme kaiken, kun olemme valmiita. Tämä on hienoa, kun kyse on vain sinusta ja muutokset ovat pieniä, ... Lue lisää . Github isännöi melkein kaikkia avoimen lähdekoodin projekteja, joista on syytä tietää.

Voit ladata ja asentaa Gitin avaamalla päätelaitteen ja kirjoittamalla “sudo apt-get install gitJa hyväksymään asentajan vaatimukset.

Seuraava: aiomme perustaa joitain perustyökaluja tarvitaan, jotta ohjelmisto toimisi.

Asenna ensin lua. Tämä on kieli, johon työkalu kirjoitetaan. Se on melko yksinkertaista. Kirjoita vain ”sudo apt-get install lua5.2Ja seuraa asennusprosessia.

Toiseksi, aiomme saada Luarocks. Tämä on työkalu, joka helpottaa muiden työkalujen asentamista (etkö rakasta Linuxia?) Kirjoita tälle yksi ”sudo apt-get install luarocksJa seuraa asennusvaiheita.

Kolmanneksi, aiomme asentaa Luajit. Tämä on Luan juuri ajoissa -kokoonpano, joka tekee elämästämme hieman yksinkertaisempaa. Kirjoita vain ”sudo apt-get install luajit.”

Toistaiseksi niin hyvä.

Olen botti, joka luo väärennöksiä valokuvistasi kuuluisten maalareiden tyyliin. Napsauta saadaksesi ohjeet alla! pic.twitter.com/3MpThDNwRE

- Syvä väärentäjä (@DeepForger) 5. syyskuuta 2015

puitteet

Seuraavaksi aiomme asentaa soihtu, tieteellinen laskenta- ja koneoppimisjärjestelmä, joka muodostaa sovelluksen selkärangan. Valitettavasti tätä ei voi asentaa apt-get (tavallinen Ubuntu-paketinhallinta) -sovelluksella.

Onneksi heillä on yksirivinen asennusohjelma, joka käyttää jonkin verran komentorivimaagiaa. Palaa terminaaliin ja kirjoita “kiharat https://raw.githubusercontent.com/torch/ezinstall/master/install-all | lyödä“.

Kun olet valmis, kirjoita ”luajit -ltorch“. Tämä tuo esiin taskulampun käyttöliittymän ja varmistaa, että kaikki on asennettu oikein.

Poistu siitä.

Nyt aiomme asentaa loadcaffe - hermoverkkokohtainen paketti. Asenna sen ainoa riippuvuus kirjoittamalla “sudo apt-get install libprotobuf-dev protobuf-kääntäjä“. Sitten voit asentaa paketin itse käyttämällä ”sudo luarocks asentaa latauskahvilan ".

@Johnicholas Rembrandt van Rijnin koulun väärentämäsi erittely, avec-tyyli. #Digitaalinen taide#StyleNetpic.twitter.com/pf0sZxWkaT

- Syvä väärentäjä (@DeepForger) 7. syyskuuta 2015

Tupla-tarkistus riippuvuudet

Lopuksi päivitämme ennakkoon joitain juttuja vain varmistaaksemme, että kaikki sujuu.

Kirjoita ”sudo luarocks asentaa kuvan”Varmistaaksesi, että kuvapaketti on ajan tasalla. Kirjoita seuraavaksi “luarocks asentaa nn”, Joka tekee samoin nn-paketillesi.

Deep Style -asennus

Hyvä on! Tässä vaiheessa olemme valmiita itse asentamaan ohjelmiston. Puhtauden vuoksi luo uusi kansio kotihakemistoon ('mkdir DeepStyle'). Kirjoita sitten se näppäimellä “cd Deepstyle“. Kirjoita nyt ”sudo git klooni https://github.com/jcjohnson/neural-style.git".

Seuraavaksi meidän on ladattava malli. Tee kuppi kahvia tai jotain, tämä vie hetken. Palaa terminaaliin ja kirjoita “sudo sh mallit / download_models.sh“. Se aloittaa pitkän, tarkan latausprosessin. Jos se epäonnistuu käyttöoikeusvirheiden takia, yritä antaa itsellesi lukemis- ja kirjoitusoikeudet kyseisiin kansioihin chmod-sovelluksella.

@ 44thats44oars tilasi tämän #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- Syvä väärentäjä (@DeepForger) 6. syyskuuta 2015

Syvän tyylin käyttäminen

Okei, meillä on hyvä mennä. Ohjelmiston käyttö on melko yksinkertaista.

Varmista, että olet DeepStyle / hermo-tyylinen hakemisto terminaalissa. Nyt tarvitset joitain kuvia työskennelläksesi. Lataa ne Internetistä (tai mistä tahansa) ja kopioi sitten DeepStyle / hermo-tyylinen kansio tiedostoselaimen avulla.

Nyt voit käyttää komentoriviä yksittäisten kuvien käsittelemiseen. Muoto on melko suoraviivainen:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(On selvää, että sinun on korvattava kappaleet KAIKKISSA CAPSISSA tiedostojesi nimillä).

Se saa hermoverkon käynnistymään. Se kestää noin tunnin ajan, sylkemällä uusia osittain yhdentyneitä kuvia muutaman minuutin välein, kunnes se on valmis. -gpu -1 lippu estää sitä yrittämästä käyttää GPU: ta.

Useiden tuntien yrittämisen jälkeen (ja käyttöjärjestelmän täyttämisen useaan kertaan) en pystynyt saamaan Ubuntun ja CUDA: n pelaamaan mukavasti GPU: n (NVIDIA GTX 970) kanssa. Jos sinulla on onnea tähän, sinun kannattaa asentaa CUDA ja cudann.torch (katso github repo Lisätietoja). Jos ei, niin se on hienoa - se toimii edelleen prosessorisi kanssa; se on vain hiukan hitaampaa.

Jos sinulla on ongelmia saada tämä kaikki toimimaan, kysy vain kommentteistani ja aion tehdä parhaani auttaakseni sinua.

tulokset

Tässä on joitain kuvia, jotka olen luonut parin viime päivän aikana. Tulokset ovat vaihtelevia, mutta monet niistä ovat aika vaikuttavia.

Napsauta tätä saadaksesi täyden resoluution.

Tämä on ystäväni Zackin retkeilymatkalla Yellowstoneen. Tyyli tulee abstraktista maalauksesta, jonka on luonut Theresa Paden. Olin utelias näkemään, kuinka järjestelmä toimisi käyttämällä kuvaa, jolla ei ole mitään rakennetta. Tulokset ovat aika siistiä, ja voit varmasti nähdä samankaltaisuuksia tyylikuvan kanssa.

Napsauta tätä saadaksesi täyden resoluution.

Tämä on suosikkitaiteilijani Charles Demuthin kohteliasta (katso: Uuden suitsukkeen suitsukkeitaja Kuva 5 kultaisena). Mielenkiintoista on, että Demuth on yksi taiteen ensisijaisista visuaalisista inspiraatioista Joukkueen linnoitus 2 Team Fortress 2: Vapaasti pelattava höyrypeli, joka sinun on pelattavaOnko Team Fortress 2 vain nopea peli grafiikan ja suorituskyvyn testaamiseen vai onko pelin arvoinen toistaminen? Lue lisää , kuten voit nähdä tyylikuvasta.

Syöttin sille kuvan Jersey Citystä, jonka löysin Wikimediasta. Tulokset ovat… aika hyviä. Se ei valinnut Demuthin tyylin kulmaa, mutta varmasti valitsi pehmeän, kuvioidun ilmeen ja värivalikoiman.

Napsauta tätä saadaksesi täyden resoluution.

Tämä on yritys tuottaa synteettinen O’Keeffe käyttämällä melko arkipäivää kuvaa joistakin löydetyistä kukista. Tulokset ovat suoraan sanottuna mahtavia. Esteettisesti tämä on yksi suosikkini tuloksista. O'Keeffen värien ja muotojen rikkaus tulee selvästi läpi. Kukkalehden kerroksellisista reunoista tulee taustalla olevien lehtien reunoja. Itse kukat liukenevat väreiksi, muuttuen melkein abstraktiksi.

Olisi hyvä maalaus, jos ihminen tekisi sen. Minulla on erittäin houkutus viettää pari päivää tuottaaksesi tästä korkeamman resoluution version ja kehittää sen.

Napsauta tätä saadaksesi täyden resoluution.

Tässä on ystäväni Shannon hänen Halloween-pukussaan Picasso-tulosteena. Mielenkiintoista on, että laite päätti maalata kasvonsa alaosan valkoiseksi (samanlainen kuin Picasso-teoksen värimaailma). En ole varma, oliko tämä sattuma vai ei, mutta tulokset ovat silmiinpistäviä. Vaikuttaa myös siltä, ​​että Shannonin hiukset ovat oikein tunnistaneet vasemmalla puolella ja piirtäneet ne uudelleen hiuksen värin ja viivan kanssa tyylikuvassa. Ditto hatustaan.

Tämä on yksi kappaleista, joissa tekniikan rajoitukset alkavat käydä selväksi. Jos Picasso olisi todella maalannut Shannonia, hän olisi heittänyt pois hänen kasvonsa rakenteen ja vinossa piirteitä haluamansa vaikutuksen saavuttamiseksi. Tämä järjestelmä ei ymmärrä sellaisia ​​korkean tason käsitteitä, ja pystyy jäljittelemään vain pinnan pintapuolia, kuten tummat, kulmaviivat ja värivalikoima.

Napsauta tätä saadaksesi täyden resoluution.

Melko suoraviivainen: kuva Eiffel-tornista ja Van Goghista muut Tähtitaivas. Se tekee hyvää työtä renderoimalla pilvi Van Gogh-ey -tyyliin huolimatta siitä, että alkuperäisessä kuvassa ei ollut pilviä. Se tekee myös hyvää työtä kääntämällä kohtauksen päivästä iltaan.

En ollut varma, miksi se päätti tehdä Fiffel-tornin kärjestä palon pylvääksi. Se näyttää hyvältä, mutta se ei ole oikeasti perusteltavissa tulotiedoista. Sitten tajusin, että tyylikuvassa on kolmetoista pitkää, pystysuoraa keltaista nauhaa vedessä olevien heijastusten muodossa. Se on melko massiivinen klusteri, kun otetaan huomioon niin vähän harjoitustietoja. Huono asia on todennäköisesti oppinut, että minkä tahansa korkean kontrastin vertikaalisen reunan on oltava yksi niistä heijastuksista. Voit nähdä lisää vieraita pystysuoria raitoja pilvissä.

Napsauta tätä saadaksesi täyden resoluution.

Sama Van Gogh -maalaus, mutta tällä kertaa annoin sille maalata joitain todellisia tähtiä. Tässä tapauksessa kotka-nebulan pylväät ovat osa. Pidän tuloksista - vaikka jälleen kerran voi nähdä sen pakkomielle keltaisilla raidoilla. Jokaisesta pylvään pystysuorasta osasta tulee kirkas, heikoin keltainen viiva. Sitä häiritsee myös vihreä, jota ei esiintynyt harjoitustiedoissa, ja tekee parhaansa päästäkseen eroon sinistä ja mustasta.

tekniikka

Jotkut tulokset tästä ovat erittäin vakuuttavia, vaikka tekniikalla onkin selvät rajoitukset. Joillakin kuvilla on surkea koostumus, ja järjestelmässä on vaikeuksia sellaisten abstraktien taiteilijoiden kanssa, kuten Picasso, joka kuuluisasti halusi vääristää aiheensa hajottaen sen piirteet. Algoritmi poimii kulmaviivat ja väristävät värit, mutta on silti kuvan pikseliarvojen orja. Sillä ei ole ymmärrystä, jonka tarvitsit poikkeavan liian kaukana lähdemateriaalista.

Minua innostaa tästä kaikesta, että en usko, että nämä rajoitukset ovat perustavanlaatuisia.

Tässä käytetty lähestymistapa - kouluttaa verkko yhdestä kuvasta ja käyttää sitä rakentamaan toinen - on pohjimmiltaan hack. Se antaa verkolle hyvin vähän tietoa työskennellä. Tämän sovelluksen edistyneempi versio käyttäisi verkkoa, jolla on tietoa monista maalauksia ja ehkä jopa oikeita kuvia, jotta sille annettaisiin runsaasti kontekstia kuvasta, jota yritetään "maali."

Tyylillä voi olla syvä käsitys vain laajemmassa yhteydessä. Et voi johtaa sitä yhdestä kuvasta. Suunnitteluarkkitehtuurin suunnittelu, joka antaa järjestelmälle pääsyn laajempaan tietoon, saattaa auttaa sitä saamaan enemmän "Ihmismainen" käsitys kuvasta ja siitä, kuinka taiteilijat edustavat todellisuuden erilaisia ​​elementtejä maailman. Tällainen verkko voi pystyä tuottamaan abstraktimpia ja paremman koostumuksen omaavia kuvia. Tällaiset algoritmit lakkaavat olemasta viileä lelu (kuten tämä) ja niistä tulee tapa tuottaa todellista, omaperäistä taidetta.

Mikä on tietyllä tavalla hyvin erikoinen ajatus.

Omien kuvien luominen

Jos tulos on pettymys, voit pelata vaihtoehtoilla hiukan yrittääksesi saada vakuuttavampia tuloksia. Täysi luettelo on Githubissa. Tärkeitä ovat

• -sisältö_paino -arvo Kuinka paljon painottaa sisällön jälleenrakennusaikaa. Oletusarvo on 5e0.
• -tyylipaino -arvo: Kuinka paljon painoa tyylikuvalle annetaan. Oletusarvo on 1e2.
• -style_scale - arvo: Kuinka suurten kuvan laastarien tulisi järjestelmän analysoida (Suurempi tulee abstraktimmaksi). Oletusarvo on 1,0.

Kun olet saanut kaiken toimimaan tyydyttävästi, lähetä mielenkiintoisimmat kuvat kommentteihin. Olen todella kiinnostunut siitä, mitä te keksitte.

Kuvapisteet: ihmisen aivomaalaaja Shutterstockin kautta