Tietojenkäsittely pilvessä ScraperWikin avulla

Mainos

Jos sinulla on mielenterveisyydet, ohjelmoinnin ja tarinan kerronnan houkuttelevuus ja silmä suunnittelulle, voit tehdä vielä pahempaa kuin päästä tietojenkäsittelytieteeseen. Se on uusi iso asia tekniikassa; erittäin trendikäs ja hyvin maksettu, ja tietotekijöitä etsivät jotkut maailman suurimmista yrityksistä.

ScraperWiki on yritys, joka on jo pitkään ollut sidoksissa tietotekniikan kenttään. Liverpool-pohjainen käynnistysohjelma on viime vuosina tarjonnut alustan koodaajille kirjoittaa työkaluja, jotka saavat tietoja, puhdistaa ja analysoida niitä pilvessä.

Äskettäisen päivityksen ja jatkuvasti kasvavan tietotekijöiden kysynnän vuoksi yrityksessä on syytä tarkastella hyvällä tavalla ScraperWikiä.

Täydellinen paljastaminen: Olin harjoittelijana ScraperWikissä viime kesänä.

Mitä ScraperWiki tekee?

ScraperWiki markkinoi itseään paikkana tietojen hankkimiseen, puhdistamiseen ja analysointiin, ja se tuottaa jokaisella näistä laskelmista. Yksinkertaisimmassa muodossaan se antaa sinulle - käyttäjälle - paikan, johon voit kirjoittaa koodin, joka hakee tietoja lähteestä, työkaluja muuntamiseksi se muodossa, joka on helppo analysoida, ja säilytystila, jotta se säilytetään myöhempää visualisointia varten - jota voit myös käsitellä ScraperWikin kanssa.

Sen mukana tulee myös joukko valmiiksi rakennettuja työkaluja, jotka automatisoivat toistuvia tehtäviä, mukaan lukien tietojen saaminen PDF-tiedostoista, joita on tunnetusti vaikea purkaa. Tämä on lisäksi Twitter-haku 5 hienoa Twitter-hakutemppua seurata, mitä ihmiset sanovat sinustaJos omistat verkkosivuston tai yrität vain ansaita rahaa verkossa freelancerina, on aina hyvä tietää, mitä ihmiset sanovat sinusta Internetissä. Ihmiset saattavat vedota ... Lue lisää ja kaataa apuohjelmat. Sinun ei tarvitse mitään ohjelmistokehityskokemusta näiden käyttämiseen.

Kustannus

Kuten aiemmin mainittiin, ScraperWiki omaksuu freemium-hinnoittelumallin ja tarjoaa palvelun, jolla on useita tasoja. Ne, jotka ovat vasta aloittamassa tietotieteen tai joilla on rajalliset tarpeet, voivat käyttää ilmaista palvelua. Tämä antaa sinulle kolme tietojoukkoa - johon tallennat tietosi ja koodisi.

Ne, jotka aikovat kirjoittaa useita kaavintajia tai jotka haluavat tehdä vuorottelua tietojen analysoinnista, voivat haastaa rahaa premium-tilille. Ne alkavat 9 dollarilta kuukaudessa ja tarjoavat 10 tietojoukkoa. Jos se ei vieläkään riitä, voit aina päivittää korkeimpaan tasoonsa, joka tulee 100 tietojoukon mukana ja maksaa 29 dollaria kuukaudessa.

Coding

Ohjelmoijat ovat usein varsin erityisiä, kun kyse on siitä, kuinka he koodittavat. Jotkut mieluummin komentosarjojen kielet kuin käännetyt kielet. Jotkut pitävät parempana tekstieditorin kokemusta integroidun kehitysympäristön (IDE) kokemuksesta. ScraperWiki tunnistaa tämän ja antaa käyttäjälle valtavan määrän valinnanvaraa koodin kirjoittamisessa.

Jos olet taipuvainen, voit kirjoittaa koodisi selaimeen. Kuten olet odottanut mistä tahansa ammattiluokasta, Web-pohjainen Kolme suosituinta selainpohjaista IDE: tä, jotka koodaavat pilvessä Lue lisää kehitystyökalu, sen mukana tulee ominaisuuksia, joita kukin ohjelmoija pitää tärkeinä, kuten syntaksin korostaminen.

Tarjolla on useita kieliä. Nämä sisältävät pytonkäärme 5 parasta verkkosivustoa Python-ohjelmoinnin oppimiseenHaluatko oppia Python-ohjelmointia? Tässä on parhaat tavat oppia Pythonia verkossa, joista monet ovat täysin ilmaisia. Lue lisää , suosittu skriptikieli, jota käyttävät Google ja NASA: n tykkääjät; Rubiini 3 interaktiivista, hauskaa, ilmaista tapaa aloittaa Ruby-ohjelmointikielen oppiminenRuby on ilmaiseva, erittäin korkeatasoinen skriptikieli. Sitä käytetään Webissä pääasiassa osana Ruby on Rails -verkkoskehityskehystä, mutta myös erillisenä. Jos olet kiinnostunut siitä, mitä Ruby (ei ... Lue lisää , joka valtuuttaa useita suosittuja verkkosivustoja, kuten Living Social; ja suosittu tilastollinen analyysikieli, R.

Voit myös kirjoittaa koodin komentoriviltä käyttämällä SSH: ta, Git: ää ja mitä tahansa muokkaamasi tekstieditoria. Kyllä, luit oikein. SSH Mikä SSH on ja miten se eroaa FTP: stä [Technology Explained] Lue lisää . Jokainen käyttämäsi ruutu on oma Linux-tili, ja voit muodostaa yhteyden siihen kuten VPS- tai muuhun shell-tiliin. Saatavilla on useita tekstieditoria, mukaan lukien puhti 7 tärkeintä syytä antaa Vim-tekstieditorille mahdollisuusOlen vuosien ajan kokeillut yhtä tekstieditoria toisensa jälkeen. Nimesit sen, yritin sitä. Käytin kutakin näistä toimittajista yli kaksi kuukautta ensisijaisena päivittäisenä päätoimittajana. Jotenkin minä ... Lue lisää jota voidaan laajentaa laajennuksilla ja muokkaamalla kokoonpanoa. Vimin pelottamat voivat käyttää Nanoa, joka on kevyt komentoriviteksti.

Asennettujen kirjastojen tulisi olla riittäviä kirjoitustyökaluille datan noutamiseksi ja käsittelemiseksi. Jos tarvitset jotain hämärämpää, voit aina luoda virtualenvin komentoriviltä. Kuten huomaat, kehittäjille on tarjolla valtava joustavuus.

Tietojen visualisointi

Joten, sinulla on tietosi. Olet normalisoinut sen. Olet puhdistanut sen. Olet analysoinut sitä. Nyt on aika tehdä visualisointi ja näyttää maailmalle mitä olet oppinut.

ScraperWikin avulla kehittäjät voivat näyttää tietonsa verkkosivuilla, jotka on rakennettu HTML: n, CSS: n ja JavaScriptin kaikesta tutusta trifektasta. Lisäksi Bootstrap-komponentteja tuetaan laatikosta.

Saatavilla on joukko valmiita visualisointeja, mukaan lukien sellaiset, jotka kuvaavat tietosi kartalla ja etsivät havaintojen trendit. Näiden käyttämiseksi sinun on varmistettava, että tietosi tallennetaan SQLite-tiedostona tiedostonimellä 'scraperwiki.sqlite'. Lisää sitten sitten kiinnostunut visualisointi. Yksinkertainen, eikö totta?

johtopäätös

ScraperWiki tarjoaa paljon kehittäjille, jotka haluavat analysoida tietoja ilman, että heidän kehitysympäristönsä tulee tielle, samalla kun hänellä on joustavuus miellyttää jopa vaativimpiakin käyttäjiä. Mutta mitä luulet? Kerro siitä alla olevissa kommenteissa.
Kuvaluotto: Rakettitiede (Dan Brown)