mikä on Data Pipelining: prosessi, tyypit, ja näkökohdat rakentaa putki

digitaalinen maailma suoltaa keikkoja tietoja päivittäin, tietoa, joka on välttämätöntä hallitusten toimia, yritysten menestyä, ja meille saada oikea asia tilasimme (mukaan lukien oikea väri) meidän suosikki online marketplace.

on olemassa valtava määrä tietoa, mutta on myös lukemattomia prosesseja, joita soveltaa siihen ja niin monia asioita, jotka voivat mennä pieleen. Siksi data-analyytikot ja data-insinöörit kääntyvät data putkitus.

tämä artikkeli antaa sinulle kaiken mitä sinun tarvitsee tietää dataputkituksesta, mukaan lukien mitä se tarkoittaa, miten se kootaan, dataputkityökalut, miksi tarvitsemme niitä ja miten sellainen suunnitellaan. Aloitamme siitä, mitä se on ja miksi meidän pitäisi välittää.

miksi tarvitsemme Dataputkia?

Datalähtöisten yritysten on saatava tiedot siirrettyä tehokkaasti paikasta toiseen ja muutettua toimivaksi tiedoksi mahdollisimman nopeasti. Valitettavasti on olemassa monia esteitä puhtaalle tiedonkululle, kuten pullonkauloja (jotka johtavat viiveeseen), tietojen korruptiota tai useita tietolähteitä, jotka tuottavat ristiriitaista tai tarpeetonta tietoa.

Dataputket toteuttavat kaikki manuaaliset toimenpiteet, joita tarvitaan näiden ongelmien ratkaisemiseksi ja prosessin muuttamiseksi sujuvaksi, automatisoiduksi työnkuluksi. Vaikka ei jokainen yritys tai organisaatio tarvitsee tietoja putkitus, prosessi on hyödyllisin tahansa yritys, joka:

• luo, luottaa tai tallentaa valtavia määriä tietoa tai tietoa monista lähteistä
• riippuu liian monimutkaisesta tai reaaliaikaisesta tietojen analysoinnista
• käytä pilveä tietojen tallentamiseen
• pidä siiloutuneet tietolähteet

lisäksi tietoputket parantavat turvallisuutta rajoittamalla pääsyä vain valtuutetuille tiimeille. Tärkeintä on, että mitä enemmän yritys on riippuvainen datasta, sitä enemmän se tarvitsee dataputkea, yhtä kriittisimmistä liiketoiminnan analytiikan työkaluista.

mikä on Dataputki?

tiedämme, mitä putkistot ovat, suuria putkijärjestelmiä, jotka kuljettavat resursseja paikasta toiseen pitkiä matkoja. Putkistoista puhutaan yleensä öljyn tai maakaasun yhteydessä. Ne ovat nopeita ja tehokkaita tapoja siirtää suuria määriä materiaalia paikasta toiseen.

Dataputket toimivat samalla periaatteella; ne käsittelevät vain tietoa eivätkä nesteitä tai kaasuja. Dataputket ovat sarja tietojenkäsittelyvaiheita, joista monet suoritetaan erityisellä ohjelmistolla. Putki määrittelee, miten, mitä ja missä tiedot kerätään. Data putkitus automatisoi tiedon louhinta, transformaatio, validointi, ja yhdistelmä, sitten lataa sitä edelleen analysointia ja visualisointi. Koko putki tarjoaa nopeutta päästä toiseen poistamalla virheitä ja neutralisoimalla pullonkauloja tai viivettä.

sattumoisin myös suuria dataputkia on olemassa. Big datalle on ominaista viisi V: tä (lajike, tilavuus, nopeus, todenperäisyys ja arvo). Big data-putkistot ovat skaalautuvia putkistoja, jotka on suunniteltu käsittelemään yhtä tai useampaa big datan ”v”-ominaisuutta, jopa tunnistamaan ja käsittelemään dataa eri muodoissa, kuten rakenne, jäsentymätön ja puolirakenteinen.

All About Data Pipeline Architecture

määrittelemme data pipeline Architecturen täydelliseksi järjestelmäksi, joka on suunniteltu keräämään, järjestämään ja lähettämään tietoja, joita käytetään tarkkoihin, toimiviin oivalluksiin. Arkkitehtuuri on olemassa tarjota paras laid-out suunnittelu hallita kaikkia tietoja tapahtumia, jolloin analysointi, raportointi, ja käyttö helpompaa.

Data-analyytikot ja-insinöörit soveltavat putkijohtoarkkitehtuuria, jotta data voi parantaa business intelligence (BI) – ja analytiikkatietoja sekä kohdennettuja toimintoja. Business intelligence ja analytics hyödyntävät dataa reaaliaikaisen tiedon ja trendien ymmärtämiseen ja tehokkuuteen.

Datayhteensopiva toiminnallisuus kattaa ratkaisevia aiheita, kuten asiakasmatkat, kohdeasiakkaiden käyttäytymisen, robottiprosessiautomaation ja käyttäjäkokemukset.

hajotamme dataputkistoarkkitehtuurin useisiin osiin ja prosesseihin, kuten:

lähteet

tästä osasta kaikki alkaa, mistä tieto on peräisin. Tähän vaiheeseen liittyy mahdollisesti eri lähteitä, kuten sovellusrajapinnat, pilvi, relaatiotietokannat, NoSQL ja Apache Hadoop.

liittyy

eri lähteistä saatuja tietoja yhdistetään usein sen kulkiessa putkea pitkin. Liitokset listaa kriteerit ja logiikka, miten tämä data tulee yhteen.

louhinta

Data-analyytikot saattavat haluta tiettyjä erityisiä tietoja, jotka löytyvät suuremmista kentistä, kuten suuntanumeron puhelinnumeroyhteyskentästä. Joskus, yritys tarvitsee useita arvoja koottu tai uutettu.

standardointi

sano, että sinulla on joitakin tietoja luetteloituna maileina ja muita tietoja kilometreinä. Standardointi varmistaa, että kaikki tiedot noudattavat samoja mittayksiköitä ja esitetään hyväksyttävässä koossa, fontilla ja värillä.

korjaus

jos tietoja on, tulee virheitä. Se voi olla jotain niinkin yksinkertaista kuin postinumero, jota ei ole olemassa, tai sekava lyhenne. Korjausvaiheessa poistetaan myös korruptoituneet tietueet.

kuormat

kun tiedot on puhdistettu, ne ladataan oikeaan analysointijärjestelmään, yleensä tietovarastoon, toiseen relaatiotietokantaan tai Hadoop-kehykseen.

automaatio

Dataputket työllistävät automaatioprosessia joko jatkuvasti tai aikataulussa. Automaatioprosessi käsittelee virheiden havaitsemista, tilanneraportteja ja seurantaa.

Data Pipeline Tools: yleiskatsaus

Data pipelining työkaluja ja ratkaisuja on monessa muodossa, mutta niillä kaikilla on samat kolme vaatimusta:

• ota tiedot useista oleellisista tietolähteistä
• Puhdista, muuta ja rikasta tiedot, jotta ne voidaan analysoida
• lataa tiedot yhteen tietolähteeseen, yleensä tietojärveen tai tietovarastoon

tässä ovat neljä suosituinta tietolähdetyyppiä, mukaan lukien tietyt tuotteet:

erä

eräkäsittelytyökalut soveltuvat parhaiten suurten tietomäärien siirtämiseen säännöllisin väliajoin, mutta et tarvitse niitä reaaliajassa. Suosittuja putkiston työkaluja ovat:

• Informatica PowerCenter
• IBM InfoSphere DataStage

Cloud-native

nämä työkalut on optimoitu pilvipohjaisen datan kanssa työskentelyyn, kuten Amazon Web Services (AWS) kauhat. Koska pilvessä on myös työkalut, organisaatiot säästävät sisäisissä infrastruktuurikustannuksissa. Cloud-native data pipelining työkaluja ovat:

• Blendo
• Confluent

Open-source

klassinen esimerkki ”saat mitä maksat”, avoimen lähdekoodin työkalut ovat oman organisaation kokeneen henkilökunnan rakentamia tai räätälöimiä resursseja. Avoimen lähdekoodin työkaluja ovat:

• Apache Kafka
• Apache Airflow
• Talend

reaaliaikainen

kuten nimestä voi päätellä, nämä työkalut on suunniteltu käsittelemään dataa reaaliaikaisesti. Nämä ratkaisut ovat täydellisiä tietojen käsittelyyn streaming lähteistä, kuten telemetriatiedot liitettyjen laitteiden (kuten Internet of Things) tai rahoitusmarkkinoilla. Reaaliaikaisia dataputken työkaluja ovat:

• Confluent
• Hevo Data
• StreamSets

Data Pipeline Examples

tässä on kolme erityistä dataputkiesimerkkiä, joita käyttävät yleisesti sekä TEKNISET että ei-tekniset käyttäjät:

B2B Data Exchange Pipeline

yritykset voivat lähettää ja vastaanottaa monimutkaisia jäsenneltyjä tai jäsenneltyjä asiakirjoja, kuten NACHA-ja EDI-asiakirjoja sekä SWIFT-ja HIPAA-liiketoimia, muilta yrityksiltä. Yritykset käyttävät B2B-tiedonsiirtoputkistoja esimerkiksi ostotilausten tai toimitustilojen vaihtoon.

tiedon Laatuputki

käyttäjät voivat käyttää tiedon laatuputkistoja erä-tai suoratoistotilassa käyttötapauksista riippuen. Tietojen laatuputkistot sisältävät toimintoja, kuten kaikkien uusien asiakkaiden nimien standardoimisen säännöllisin väliajoin. Asiakkaan osoitteen validoimista reaaliaikaisesti luottohakemuksen hyväksymisen aikana pidettäisiin osana tietojen laatuputkea.

MDM Pipeline

Master data management (MDM) perustuu tietojen sovittamiseen ja yhdistämiseen. Tämä putki sisältää tietojen keräämisen ja käsittelyn eri lähteistä, jäljentää päällekkäisiä tietueita, ja yhdistää tulokset yhdeksi kultaiseksi tietueeksi.

Dataputken suunnittelu ja näkökohdat tai Tietoputken rakentaminen

ennen kuin ryhdyt varsinaiseen dataputken rakentamiseen, sinun on ensin määritettävä erityiset tekijät, jotka vaikuttavat suunnitteluusi. Kysy itseltäsi::

• mikä on putken tarkoitus? Mihin tarvitset putkea, ja mitä haluat sen saavuttavan? Siirtääkö se dataa kerran vai toistuuko se?
• millaisesta aineistosta on kyse? Kuinka paljon dataa luulet käyttäväsi? Onko data jäsennelty vai jäsennelty, suoratoistossa vai tallennettuna?
• miten tietoja käytetään? Käytetäänkö tietoja raportointiin, analytiikkaan, datatieteeseen, business intelligenceen, automaatioon tai koneoppimiseen?

kun olet paremmin perillä suunnittelutekijöistä, voit valita kolmen hyväksytyn tavan luoda tietojenkäsittelyputkistoarkkitehtuuria.

Tiedonvalmistelutyökalut

käyttäjät luottavat perinteisiin tiedonvalmistelutyökaluihin, kuten taulukkolaskentaan, voidakseen paremmin visualisoida tiedon ja työskennellä sen kanssa. Valitettavasti tämä tarkoittaa myös sitä, että käyttäjien on käsiteltävä manuaalisesti jokaista uutta tietokokonaisuutta tai luotava monimutkaisia makroja. Onneksi on olemassa yritystiedonvalmistelutyökaluja, joilla tiedonvalmistelun vaiheet voidaan muuttaa dataputkistoiksi.

suunnittelutyökalut

voit käyttää työkaluja, jotka on suunniteltu rakentamaan tietojenkäsittelyputkia, joissa on virtuaalinen vastine lelujen rakennuspalikoille helppokäyttöisen käyttöliittymän avulla.

Käsikoodaus

käyttäjät käyttävät tietojenkäsittelyn kehyksiä ja kieliä kuten Kafka, MapReduce, SQL ja Spark. Tai voit käyttää omia kehyksiä, kuten AWS Glue ja Databricks Spark. Tämä lähestymistapa edellyttää, että käyttäjät osaavat ohjelmoida.

lopuksi sinun on valittava, mikä dataputkiston suunnittelukuvio toimii parhaiten tarpeisiisi ja toteutettava se. Niitä ovat:

Raakadatakuorma

tämä yksinkertainen rakenne siirtää irtotavarana olevaa, muokkaamatonta tietoa tietokannasta toiseen

Extract-Transform-Load

tämä rakenne poimii tietoja tietovarastosta ja muuntaa (esim., clean, standardize, integrate) se ennen sen lataamista kohdetietokantaan

Extract-Load-Transform

tämä rakenne on kuin ETL, mutta vaiheita muutetaan ajan säästämiseksi ja viiveen välttämiseksi. Tiedon muunnos tapahtuu kohdetietokannassa

tiedon virtualisointi

siinä missä useimmat putkistot luovat fyysisiä kopioita tallennetusta datasta, virtualisointi antaa tiedot näkyminä ilman, että fyysisesti pitää erillistä kopiota

datavirran käsittely

tämä prosessi virtaa tapahtumatietoja jatkuvassa virrassa kronologisessa järjestyksessä. Prosessi jäsentää tapahtumia, eristää jokaisen ainutlaatuisen tapahtuman erilliseksi tietueeksi, jolloin tulevan käytön arviointi

haluatko aloittaa urasi Big Data-insinöörinä? Tutustu Big Data Engineer – koulutukseen ja hanki sertifikaatti.

Haluatko Datainsinööriksi?

Simplilearn tarjoaa jatko-ohjelman tietotekniikassa, joka antaa tarvittavat taidot tulla datainsinööriksi, joka osaa tehdä dataputkitöitä. Tämä Purduen yliopiston ja IBM: n yhteistyöohjelma keskittyy hajautettuun tietojenkäsittelyyn Hadoop-kehyksellä, laajamittaiseen tietojenkäsittelyyn Sparkilla, dataputkistoihin Kafkalla sekä Big dataan AWS-ja Azure-Pilviverkostoissa.

Datainsinöörit voivat Glassdoorin mukaan ansaita keskimäärin 102 864 dollarin vuosipalkan. Data on niin olennainen osa elämäämme, ja data-insinöörit ovat in-demand ammattilaisia, jotka pitävät kaiken käynnissä sujuvasti.