Riittämätön data on usein yksi suurimmista takaiskuista useimmissa tietojenkäsittelyprojekteissa. Tieto kuinka kerätä tietoja mistä tahansa projektista, johon haluat aloittaa, on kuitenkin tärkeä taito, jonka sinun on hankittava datatieteilijänä.
Datatutkijat ja koneoppimisinsinöörit käyttävät nyt nykyaikaisia tiedonkeruutekniikoita saadakseen enemmän tietoa koulutusalgoritmeille. Jos aiot aloittaa ensimmäisen datatieteen tai koneoppimishankkeen, sinun on kyettävä hankkimaan myös tietoja.
Kuinka voit tehdä prosessista itsellesi helppoa? Katsotaanpa joitain nykyaikaisia tekniikoita, joita voit käyttää tietojen keräämiseen.
Miksi tarvitset enemmän tietoja tietojenkäsittelyprojektiisi
Koneoppimisalgoritmit riippuvat tiedoista, jotta niistä tulisi tarkempia, tarkempia ja ennakoivampia. Nämä algoritmit koulutetaan käyttämällä tietojoukkoja. Harjoitusprosessi on vähän kuin opettaa pikkulapselle kohteen nimen ensimmäistä kertaa, minkä jälkeen he voivat tunnistaa sen yksin, kun he seuraavan kerran näkevät sen.
Ihmiset tarvitsevat vain muutaman esimerkin uuden objektin tunnistamiseksi. Näin ei ole koneelle, koska se tarvitsee satoja tai tuhansia vastaavia esimerkkejä tutustuakseen esineeseen.
Näiden esimerkkien tai koulutusobjektien on oltava datan muodossa. Omistettu koneoppimisalgoritmi kulkee sitten tietojoukon, jota kutsutaan koulutusjoukoksi, ja oppii siitä tarkentumaan.
Tämä tarkoittaa, että jos et toimita tarpeeksi tietoa algoritmin kouluttamiseksi, et välttämättä saa oikeaa tulosta projektisi lopussa, koska koneella ei ole riittävästi tietoja oppimiseen.
Joten on välttämätöntä saada riittävästi tietoa tuloksen tarkkuuden parantamiseksi. Katsotaanpa joitain moderneja strategioita, joita voit käyttää saavuttamaan sen alla.
1. Tietojen kaavinta suoraan verkkosivulta
Verkon kaavinta on automaattinen tapa saada tietoja verkosta. Perusmuodossaan verkon kaavinta voi edellyttää verkkosivuston elementtien kopiointia ja liittämistä paikalliseen tiedostoon.
Verkon kaavinta käsittää kuitenkin myös erityisten komentosarjojen kirjoittamisen tai erityisten työkalujen käyttämisen tietojen kaapimiseksi verkkosivulta suoraan. Se voi myös edellyttää perusteellisempaa tiedonkeruuta Sovellusohjelmointiliitännät (API), kuten Serpstack.
Serpstack-sovellusliittymän avulla voit helposti kerätä tietoja Googlen ja muiden hakukoneiden tulossivuilta.
Vaikka jotkut ihmiset uskovat, että verkon kaavinta voi johtaa henkisen omaisuuden menetykseen, se voi tapahtua vain, kun ihmiset tekevät sen vahingollisesti. Verkon kaavinta on laillista ja auttaa yrityksiä tekemään parempia päätöksiä keräämällä julkista tietoa asiakkaistaan ja kilpailijoistaan.
Liittyvät: Mikä on verkon kaavinta? Kuinka kerätä tietoja verkkosivustoilta
Voit esimerkiksi kirjoittaa komentosarjan tietojen keräämiseksi verkkokaupoista hintojen ja saatavuuden vertaamiseksi. Vaikka se saattaa olla hieman teknisempi, voit myös kerätä raakamateriaalia, kuten äänitiedostoja ja kuvia, verkon kautta.
Katsomalla alla olevaa esimerkkikoodia saat vilauksen web-raapimisesta Pythonin avulla kaunis keitto 4 HTML-jäsenninkirjasto.
bs4: stä tuo BeautifulSoup
osoitteesta urllib.request tuoda urlopenia
url = "Syötä kohdesivun täydellinen URL tähän"
targetPage = urlopeeni (url)
htmlReader = targetPage.read (). decode ("utf-8")
webData = BeautifulSoup (htmlReader, "html.parser")
tulosta (webData.get_text ())
Ennen esimerkkikoodin suorittamista sinun on asennettava kirjasto. Luo virtuaalinen ympäristö komentoriviltä ja asenna kirjasto suorittamalla Pip install beautifulsoup4.
2. Web-lomakkeiden kautta
Voit myös hyödyntää online-lomakkeita tiedonkeruussa. Tämä on hyödyllisin, kun sinulla on kohderyhmä ihmisiä, joilta haluat kerätä tietoja.
Verkkolomakkeiden lähettämisen haittana on, että et ehkä kerää niin paljon tietoja kuin haluat. Se on melko kätevä pienille tietojenkäsittelyprojekteille tai opetusohjelmille, mutta saatat joutua rajoituksiin yrittäessäsi tavoittaa suuren määrän tuntemattomia ihmisiä.
Vaikka maksullisia online-tiedonkeruupalveluja on olemassa, niitä ei suositella yksityishenkilöille, koska ne ovat enimmäkseen liian kalliita - paitsi jos et halua käyttää rahaa projektiin.
On olemassa erilaisia verkkolomakkeita tietojen keräämiseksi ihmisiltä. Yksi niistä on Google Forms, johon pääset siirtymällä forms.google.com. Sinä pystyt käytä yhteystietoja Google Formsin avulla, väestötiedot ja muut henkilökohtaiset tiedot.
Kun olet luonut lomakkeen, sinun tarvitsee vain lähettää linkki kohdeyleisöllesi postitse, tekstiviestillä tai millä tahansa käytettävissä olevalla tavalla.
Google Forms on kuitenkin vain yksi esimerkki suosituista verkkolomakkeista. Siellä on monia vaihtoehtoja, jotka tekevät myös erinomaisia tiedonkeruutöitä.
Voit myös kerätä tietoja sosiaalisen median kautta, kuten Facebook, LinkedIn, Instagram ja Twitter. Tietojen saaminen sosiaalisesta mediasta on hieman teknisempi kuin mikään muu menetelmä. Se on täysin automatisoitu ja sisältää eri API-työkalujen käytön.
Sosiaalisen median voi olla vaikea poimia tietoja, koska se on suhteellisen järjestämätöntä ja sitä on valtava määrä. Oikein järjestetty tämän tyyppinen tietojoukko voi olla hyödyllinen datatieteellisissä projekteissa, joihin sisältyy online-mielipiteiden analyysi, markkinatrendianalyysi ja online-brändäys.
Esimerkiksi Twitter on esimerkki sosiaalisen median tietolähteestä, johon voit kerätä suuren määrän aineistoja sen avulla tweepy Python-sovellusliittymäpaketti, jonka voit asentaa pip asentaa tweepy komento.
Perusesimerkkinä koodilohko Twitter-kotisivun twiittien purkamiseksi näyttää tältä:
tuonti tweepy
tuoda uudelleen
myAuth = tweepy. OAuthHandler (liitä kuluttaja-avain tähän, liitä kuluttajan_salainen avain tähän)
auth.set_access_token (liitä access_token tähän, liitä access_token_secret tähän)
todentaa = tweepy. API (myAuth)
target_tweet = api.home_timeline ()
kohteille kohteessa target_tweet:
tulosta (target.text)
Voit käydä docs.tweepy.org verkkosivusto tweepy käyttöohjeet. Jos haluat käyttää Twitterin sovellusliittymää, sinun on haettava kehittäjätiliä siirtymällä kohtaan developer.twitter.com verkkosivusto.
Facebook on toinen tehokas sosiaalisen median foorumi tietojen keräämiseen. Se käyttää erityistä API-päätepistettä nimeltä Facebook Graph API. Tämän sovellusliittymän avulla kehittäjät voivat kerätä tietoja tiettyjen käyttäjien käyttäytymisestä Facebook-alustalla. Pääset Facebook Graph -sovellusliittymän ohjeisiin osoitteessa kehittäjät.facebook.com oppia lisää siitä.
Yksityiskohtainen selitys sosiaalisen median tietojen keräämisestä API: n kanssa on tämän artikkelin ulkopuolella. Jos haluat tietää enemmän, voit tutustua kunkin alustan dokumentaatioon perusteellisen tiedon saamiseksi niistä.
Sen lisäksi, että kirjoitetaan komentosarjoja liittymiseksi API-päätepisteeseen, sosiaalisen median tiedot keräävät kolmansien osapuolten työkaluja, kuten Raaputusasiantuntija ja monia muita on myös saatavana. Suurimmalla osalla näistä verkkotyökaluista on kuitenkin hintansa.
4. Aiemmin olemassa olevien aineistojen kerääminen virallisista lähteistä
Voit myös kerätä aiemmin luotuja tietojoukkoja arvovaltaisista lähteistä. Tämä menetelmä edellyttää virallisten tietopankkien vierailua ja varmennettujen tietojoukkojen lataamista niistä. Toisin kuin verkon kaavinta ja muut vaihtoehdot, tämä vaihtoehto on nopeampi ja vaatii vain vähän tai ei lainkaan teknistä tietoa.
Tämän tyyppisten lähteiden tietojoukot ovat yleensä saatavana CSV-, JSON-, HTML- tai Excel-muodossa. Joitakin esimerkkejä arvovaltaisista tietolähteistä ovat Maailmanpankki, UNdataja useita muita.
Jotkut tietolähteet saattavat tehdä nykyisistä tiedoista yksityisiä estääkseen yleisöä pääsemästä niihin. Niiden arkistot ovat kuitenkin usein ladattavissa.
Lisää virallisia tietojoukkolähteitä koneoppimisprojektiisi
Tämän luettelon pitäisi antaa sinulle hyvä lähtökohta saada erityyppisiä tietoja toimimaan projekteissasi.
- EU: n avoimen datan portaali
- Kaggle-tietojoukot
- Google-aineistohaku
- Data Hub
- AWS: n avoimen datan rekisteri
- Euroopan valtion virasto - Data and Maps
- Microsoft Researchin avoimet tiedot
- Mahtava julkinen tietojoukko GitHubissa
- Tiedot. Gov: Yhdysvaltain hallituksen avoimen datan koti
Lähteitä on paljon enemmän, ja huolellinen etsiminen palkitsee sinut datalla, joka sopii täydellisesti omiin datatiedeprojekteihisi.
Yhdistä nämä modernit tekniikat parempien tulosten saavuttamiseksi
Tiedonkeruu voi olla työlästä, kun tehtävään käytettävissä olevat työkalut ovat rajalliset tai vaikeasti ymmärrettävissä. Vaikka vanhemmat ja tavanomaiset menetelmät toimivat edelleen hyvin ja ovat joissakin tapauksissa väistämättömiä, nykyaikaiset menetelmät ovat nopeampia ja luotettavampia.
Kuitenkin sen sijaan, että luotettaisiin yhteen menetelmään, näiden nykyaikaisten tietojen keräämismenetelmien yhdistelmä voi tuottaa parempia tuloksia.
Etsitkö pääsyä data-analytiikkaan? Tässä on joitain työkaluja, jotka sinun pitäisi oppia.
- Ohjelmointi
- Python
- Suuri data
- Koneoppiminen
- Tiedonkeruu
- Tietojen analysointi
Idowu on intohimoisesti kaikesta älykkäästä tekniikasta ja tuottavuudesta. Vapaa-ajallaan hän leikkii koodauksella ja vaihtaa shakkilautaan, kun hän on tylsistynyt, mutta rakastaa myös irti rutiinista silloin tällöin. Hänen intohimonsa osoittaa ihmisille tien ympäri nykytekniikkaa motivoi häntä kirjoittamaan enemmän.
Tilaa uutiskirjeemme
Liity uutiskirjeeseemme, jossa on teknisiä vinkkejä, arvosteluja, ilmaisia e-kirjoja ja erikoistarjouksia!
Vielä yksi askel !!!
Vahvista sähköpostiosoitteesi juuri lähettämässäsi sähköpostiviestissä.