Big datan käsittely on yksi tämän digitaalisen aikakauden kriittisistä puolista. Yritykset käyttävät enemmän tekoälyä, koneoppimista ja data-analytiikkaa, jotka tuottavat ja keräävät enemmän dataa. Siksi se johtaa valtavia tietomääriä jota on tutkittava ja analysoitava tehokkaasti.
Tässä pilvilaskenta ja Presto voivat auttaa.
Mikä on Presto?
Amazon AWS -määritelmän mukaan: Presto on hajautettu SQL-kyselymoottori, joka on luotu suorittamaan nopeita analyyttisiä kyselyitä kaikenkokoisille tietojoukoille. Se nimettiin uudelleen vuoden 2020 lopussa Trinoksi erottamaan projektin Prestodbista.
Preston etuna on se, että se on avoin lähdekoodi, mikä tarkoittaa, että sitä päivitetään säännöllisesti ja kehittäjät osallistuvat siihen usein.
Presto-alusta toimii ei-relaatiotietolähteet Kuten:
- Amazon S3
- Hadoop
- HDFS
- MongoDB
- HBase
Ja relaatiotietokannat Kuten:
- Tilani
- PostgresSQL ja
- MS SQL Server
Kanssa Presto, voit tiedustella tiedoista missä tahansa ne on tallennettu. Tämä tarkoittaa, että sinun ei tarvitse siirtää tietoja relaatiotietokantaan tai tietovarastoon. Presto on luotu SQL: lle ja se tukee SQL: n vakiosemantiikkaa. Tämä sisältää alikyselyt, monimutkaiset kyselyt, ulkoiset liitokset, erilliset luvut ja likimääräiset prosenttipisteet.
Kyselyjen suorittaminen on myös nopeampaa, koska se toimii rinnakkain muistipohjaisen arkkitehtuurin kanssa. Siksi sinun ei enää tarvitse huolehtia siitä, kuinka kauan massiivisen tietokannan kyselyjen tekeminen voi kestää. Tulokset tulevat takaisin sekunneissa.
Oppia kuinka Presto otetaan käyttöön ja sen arkkitehtuuri heidän dokumentaatiossaan.
Lue myös: Kuinka päivittää laiteohjaimet Windows 10:ssä? {Yksinkertainen opas}
Keskeiset käsitteet
Keskeiset SQL-käsitteet tunnetaan laajalti. Ymmärtääksemme, miten Presto toimii, meidän on ensin ymmärrettävä sen ydinkäsitteet.
Palvelintyypit
Presto käyttää kahta palvelintyyppiä: koordinaattori palvelin ja työntekijä palvelin. Työntekijäsolmut käsittelevät kyselyt ja hakevat tietoja liittimistä. Koordinaattori hakee tulokset ja lähettää ne asiakkaalle. Koordinaattoripalvelimet jäsentävät myös lausekkeita ja hallitsevat solmuja.
Se toimii samalla tavalla kuin Massive Parallel Processing -tietokannan hallintajärjestelmät.
Kuvan lähde: tutorialspoint
Presto käyttää liittimiä linkittääkseen hajautetun järjestelmän ja lähteen, esimerkiksi Amazon S3:n. Preston lukuisat liittimet relaatio- ja ei-relaatiolähteisiin tekevät järjestelmästä laajennettavissa melkein mihin tahansa tietolähteeseen.
Lue myös: Ohjainten päivittäminen Windows 10,8,7 -käyttöjärjestelmässä - Päivitä laiteohjaimet
Kuinka Presto käsittelee kyselyitä?
Kun presto vastaanottaa kyselyn, se suorittaa sen jakamalla sen useisiin vaiheisiin. Tyypillisesti järjestelmä luo juurivaiheen ja siihen liittyvät vaiheet. Vaiheet jaetaan sitten tehtäviin työntekijäsolmujen kesken.
Preston käytön edut
Presto on tulossa erittäin suosituksi suurten yritysten, kuten Netflixin, Facebookin, Atlassianin ja Airbnb: n, keskuudessa. Esimerkiksi Facebook käyttää Prestoa yhden petatavun datan käsittelemiseen joka päivä ja suorittaa yli 30 000 kyselyä.
Presto sisältää kaksi erillistä avoimen lähdekoodin projektia: PrestoSQL (nyt nimeltään Trino) ja PrestoDB. Se on erittäin suosittu monenlaisissa käyttötapauksissa erityyppisissä datajärvissä ja tietovarastoissa. Katsotaanpa joitain etuja, jotka tekevät Prestosta niin suositun.
1. Helppo integrointi
Yksi Preston tärkeimmistä eduista on, että se integroituu olemassa olevaan tietojärjestelmääsi ilman muutoksia. Siksi lisäämällä Preston lisäät nopeita analytiikkaominaisuuksia ilman, että sinun tarvitsee säätää olemassa olevaa järjestelmääsi.
2. Nopeampi suorituskyky
Yksi syy Preston kehittämiseen oli se, että olemassa oleva Apache Hive ei toiminut hyvin interaktiivisten kyselyjen kanssa. Presto on suunniteltu käsittelemään interaktiivisia BI-kyselyjä. Lisäksi se noudattaa push-mallia, prosessoimalla SQL-kyselyn useilla vaiheilla samanaikaisesti, mikä tarkoittaa, että kaikki vaiheet liukuhihnassa ilman odottamista vaiheiden välillä.
Prestossa on myös tiedonsiirto muistista muistiin ilman tarvetta kirjoittaa tietoja levylle, mikä parantaa suorituskykyä.
3. Suunniteltu pilveen
Presto ajaa tallennusta ja laskee erikseen, mikä tekee siitä erittäin sopivan pilviympäristöihin. PrestoSQL: ää käyttävät yritykset voivat helposti skaalata ylös tai alas kuormituksen mukaan aiheuttamatta tietojen menetystä. Tämä voi tapahtua, koska Presto-klusteri ei tallenna tietoja.
4. Yhtenäinen SQL-käyttöliittymä
SQL on suosituin data-analytiikan kieli. Tietotieteilijät, analyytikot ja insinöörit käyttävät SQL: ää tietojen käsittelyyn, analysointiin ja testaamiseen ja integroivat sen liiketoimintatiedon työkaluihin.
Presto ei pysty ainoastaan kyselemään tietoja SQL-lähteistä, vaan myös NoSQL-tietokannoista, kuten Elasticsearchista ja Cassandrasta. Se tukee ANSI-SQL- ja Postgres-yhteyksiä. Tämä antaa Prestolle monipuolisuutta, jota muilla hajautetuilla järjestelmillä ei ole.
Käyttöliittymä on ihanteellinen keskikokoisille tiedoille, koska siinä on sama Ikkunan toiminnot joka PostgreSQL: llä on.
Lue myös: Grafiikkaohjainten päivittäminen Windows 10:ssä {Yksinkertainen opas}
Mihin voit käyttää Prestoa?
Prestoa käytetään eri toimialoilla monenlaisiin käyttötarkoituksiin. Se sopii erityisen hyvin ad-hoc- ja interaktiivisiin kyselyihin. Katsotaanpa joitain yleisiä käyttötapauksia:
Data Lake -analytiikka
Voit käyttää PrestoSQL: ä tietojen kyselyyn datajärvestä ilman, että sinun tarvitsee muuttaa tietoja. Presto antaa sinun tehdä kyselyitä tiedoista missä ne sijaitsevat. Siksi voit käyttää sitä tehostaaksesi datajärven analytiikkaa tekemällä kyselyjä strukturoidusta ja strukturoimattomasta tiedosta.
Ad hoc -kysely
Presto antaa sinun suorittaa kyselyitä milloin tahansa riippumatta siitä, missä tietosi sijaitsevat. Vielä parempi, Presto-liittimien avulla tiimisi voivat käyttää tietojoukkoja useista tietolähteistä, ja koska kyselyt suoritetaan sekunneissa tuntien sijaan, järjestelmäsi toimii nopeammin.
Erä ETL
Sen sijaan, että käyttäisit vanhoja eräkäsittelyjärjestelmiä, voit käyttää Prestoa resurssien kannalta tehokkaiden kyselyjen suorittamiseen. Voit koota tietoja useista tietolähteistä ja tehdä suuritehoisia kyselyitä.
Yhteenvetona voidaan todeta, että Prestolla on useita etuja yrityksille, joiden on käsiteltävä suuria tietomääriä, tehtävä ad hoc -interaktiivisia kyselyitä ja analytiikkaa eri tietolähteistä.