Suorita näkeviä web-tutkimuksia syvällä verkkotiedolla ja Excel-verkkopyselyillä

Mainos

Mitä sanoisit, jos sanoisin, että sinulla on käytettävissänne työkalut uraauurtavan, maan puristavan tutkimuksen tekemiseksi? No, sinä teet, ja minä näytän sinulle kuinka.

Hallitukset, akateemiset instituutiot ja voittoa tavoittelemattomat tutkimusorganisaatiot julkaisevat julkisesti taulukoita täydellisiä tietoja. Ilman ketään käyttävän näitä tietoja, sen todellista arvoa ei koskaan saada tietää. Valitettavasti harvoilla ihmisillä on käsitys, taidot tai työkalut tiedon ottamiseksi ja kiinnostavien korrelaatioiden tekemiseksi näennäisesti liittämättömän tiedon välillä.

Tausta

Suuri osa tutkimustani, jota teen omalle blogiini, liittyy sen tutkimiseen, joka tunnetaan nimellä näkymätön verkko 12 parasta hakukonetta näkymättömän Webin tutkimiseksiGoogle tai Bing ei voi etsiä kaikkea. Näet näkymättömän verkon tutkimiseksi sinun on käytettävä näitä erityisiä hakukoneita. Lue lisää , paljastaaksesi tiedot, jotka on julkistettu, mutta piilotettu hakukoneet 5 edistyneintä hakukonetta verkossa Lue lisää

online-tietokannan sisällä. Tämä on syvä verkko TorSearch pyrkii olemaan Google syvään verkkoonTor on piilotettu palvelu ja osa syvää verkkoa. TorSearch on uusi tuntematon hakukone, jonka perustaja Chris MacNaughton haluaa tehdä ”Google of Torista”. Lue lisää , ja se on täynnä arvokasta tietoa. Hyvin usein satun verkkosivuilla, jotka ovat vain täynnä joitain arvokkaimpia tietoja aiheista, jotka vaihtelevat väestönlaskentatiedoista harvinaisten sairauksien epidemiologisiin tutkimuksiin. Minulla on jatkuvasti uusia ideoita, kuinka yrittää korreloida nämä erilaiset tietolähteet erilaisten avulla työkalut - ja yksi arvokkaimmista löydetyistä työkaluista on Microsoftin Web-kysely Excel.

Mielenkiintoisten datakorrelaatioiden löytäminen

Aion näyttää tänään, on esimerkki siitä, kuinka voit hyödyntää Excel Web-kyselyitä tietojen hakemiseen eri verkkosivustoille ja kartoita niitä toistensa suhteen etsiäksesi mahdollisia korrelaatioita tiedot.

Tapa aloittaa tällainen harjoitus on keksiä mielenkiintoinen hypoteesi. Esimerkiksi - jotta asiat pysyisivät mielenkiintoisina täällä - aion satunnaisesti postuloida sitä autismin nousua Yhdysvalloissa ovat joko rokoteinokulointien tai lisääntyvien sähkömagneettisten kenttien, kuten solujen, läsnäoloa lapsissa ja niiden ympäristössä puhelimissa. Se on hullu hypoteesi, jonka kaltaiset tyypit löydät useimmista salaliitoteorian verkkosivustoista, mutta se tekee tästä hauskaa. Joten aloitetaan, vai mitä?

Avaa ensin Excel, siirry datavalikkokohtaan ja etsi “Webistä” -kuvake valikkonauhasta.

Täällä voit tuoda erilaisia ​​tietotaulukoita monilta verkkosivustoilta, jotka ovat julkaisseet ne.

Web-tietojen tuominen Exceliin

Joten vanhoina päivinä joudut yrittämään kopioida tiedot kyseisestä taulukosta verkkosivulle, liittää ne Exceliin ja käsitellä sitten kaikki hulluihin muotoiluongelmiin, joita siihen liittyy. Koko vaivaa, ja monta kertaa se ei vain ole päänsärkyn arvoinen. No, päivät ovat poissa Excel-Web-kyselyiden kanssa. Tietenkin, ennen kuin voit tuoda tietoja, sinun on Googlella kuljettava Webissä löytääksesi tarvitsemasi tiedot taulukomuodossa. Tapauksessani löysin verkkosivuston, joka oli julkaissut koulutusministeriön tilastotiedot niiden Yhdysvaltain julkisten kouluopiskelijoiden lukumäärästä, joilla on todettu autismi. Hyvä taulukko tarjosi numerot vuodesta 1994 aina vuoteen 2006.

Joten napsautat vain "Verkosta", liitä verkkosivun URL-osoite kyselyosoitekenttään ja vieritä sitten sivua alaspäin, kunnes näet keltaisen nuolen taulukon vieressä, jonka tiedot haluat tuoda.

Napsauta nuolta niin, että siitä tulee vihreä valintamerkki.

Lopuksi kerro Excelille, minkä kentän haluat liittää taulukkotiedot uuden laskentataulukon sisälle.

Sitten - Voila! Tiedot virtaavat automaattisesti suoraan taulukkoon.

Joten kun julkisten koulujen autismin taso on ajanjaksolla 1996-2006, on aika lähteä etsimään myös rokotuksia ja matkapuhelinten käyttöä koskevia suuntauksia.

Onneksi löysin nopeasti matkapuhelinten tilaajien trendit Yhdysvalloissa vuodesta 1985 vuoteen 2012. Erinomainen tieto tästä tutkimuksesta. Taasin tuoda taulukon Excel Web Query -työkalulla.

Tuon tuon pöydän puhtaalle, uudelle arkille. Sitten löysin rokotussuuntauksia prosentuaalisesti koululasten välillä, jotka oli rokotettu eri sairauksien vuoksi. Tuon kyseisen taulukon Web Query -työkalulla kolmanteen arkkiin. Joten lopulta minulla oli kolme arkkia, joissa kolme taulukkoa oli täytetty näennäisesti liittämättömällä tiedolla, jonka olin löytänyt netistä.

Seuraava vaihe on Excelin käyttäminen tietojen analysoimiseksi ja korrelaatioiden yrittämiseksi. Siellä tulee yksi suosikki tietoanalyysityökaluni - PivotTable.

Tietojen analysointi Excelissä PivotTable-ohjelmalla

On parasta luoda PivotTable -sovellus upouuteen tyhjään arkkiin. Haluat käyttää ohjattua toimintoa siihen, mitä aiot tehdä. Jotta PivotTable-ohjattu toiminto voidaan ottaa käyttöön Excelissä, sinun on painettava Alt-D samanaikaisesti, kunnes ilmoitusikkuna avautuu. Päästä sitten irti nuo painikkeet ja paina “P” -näppäintä. Sitten ohjattu toiminto aukeaa.

Ohjatun toiminnon ensimmäisessä ikkunassa haluat valita ”Useat yhdistämisalueet”, jonka avulla voit valita tiedot kaikista tuotavista arkeista. Tämän avulla voit yhdistää kaiken kyseisen näennäisesti liittymättömän tiedon yhdeksi tehokkaaksi kääntyväksi. Joissain tapauksissa joudut ehkä hieromaan joitain tietoja. Minun piti esimerkiksi korjata ”Year” -kenttä autismistaulukossa niin, että siinä näkyi ”1994” sijasta ”1994-95” - muuttamalla se paremmaksi muiden arkkien taulukoiden kanssa, joilla oli myös päävuosi ala.

Tämä tietojen välinen yhteinen kenttä on se, mitä tarvitset yrittääksesi korreloida tietoja, joten pidä tämä mielessä, kun etsit tietoja verkostasi.

Kun PivotTable-taulukko on valmis ja olet saanut kaikki eri data-arvot näkyviksi yhdessä taulukossa, on aika tehdä visuaalinen analyysi nähdäksesi, onko sinulle mitään selvää yhteyttä, joka hyppää sinusta.

Tietojen visualisointi on avain

Joukko numeroita taulukossa on hienoa, jos olet ekonomisti, mutta nopein ja helpoin tapa saada että "aha!" hetki, kun yrität löytää yhteyksiä kuin neula heinäsuovasta, on kaavioiden ja kuvaajia. Kun PivotChart on paikallaan kaikkien keräämiesi tietojoukkojen kanssa, on aika luoda kaavio. Yleensä viivakuvaaja toimii parhaiten, mutta se riippuu tiedoista. Joskus pylväskaavio toimii paljon paremmin. Yritä ymmärtää millaista tietoa tarkastellaan ja millaiset vertailut toimivat parhaiten.

Tässä tapauksessa tarkastelen tietoja ajan myötä, joten viivakaavio on todella paras tapa nähdä suuntauksia vuosien varrella. Kartoitetaan autismin määrät (vihreä) vähennettyjen rokotusten (tummansininen), vesirokkorokotteiden (vaaleansiniset) kanssa ja matkapuhelimen käytön (violetti) kanssa, tässä näytetyssä tietosarjassa, jota pelasin, ilmestyi yllättäen pariton korrelaatio kanssa.

Kummallista, mutta matkapuhelimien käytön suuntaus vuodesta 1994 vuoteen 2006 vastasi melkein täydellisesti autismin nousua saman ajanjakson aikana. Vaikka malli oli täysin odottamaton, se on täydellinen esimerkki siitä, kuinka kiinnostavien tietojen sitominen voi paljastaa kiehtovia liidit - tarjoamalla sinulle paremman käsityksen ja motivaation jatkamaan eteenpäin etsimistä ja etsimään lisätietoja, jotka voivat edelleen vahvistaa hypoteesi.

Yksi yllä oleva korrelaatio ei todista mitään. Ajan myötä nousevia suuntauksia on paljon - malli voi olla sattumaa, mutta se voi myös olla tärkeä vihje jatkuvassa etsinnässäsi lisätietoja Internetistä. Onneksi sinulla on tehokas työkalu nimeltään Excel Web Queries, joka tekee kyseisestä etsinnästä vain vähän helpompaa.

Kuvaluotto: Kevin Dooley kautta photopincc