Lielo datu apstrāde ir viens no šī digitālā laikmeta kritiskajiem aspektiem. Uzņēmumi izmanto vairāk mākslīgā intelekta, mašīnmācības un datu analītikas, kas ražo un apkopo vairāk datu. Tāpēc tā rezultātā rodas milzīgs datu apjoms kas ir efektīvi jāanalizē un jāanalizē.
Šeit var palīdzēt mākoņdatošana un Presto.
Kas ir Presto?
Saskaņā ar Amazon AWS definīciju: Presto ir izplatīts SQL vaicājumu dzinējs, kas izveidots, lai veiktu ātrus analītiskos vaicājumus jebkura izmēra datu kopām. 2020. gada beigās tas tika pārdēvēts par Trino, lai atdalītu projektu no Prestodb.
Presto priekšrocība ir tā, ka tas ir atvērtā koda avots, kas nozīmē, ka tas tiek regulāri atjaunināts, un izstrādātāji tajā bieži sniedz ieguldījumu.
Presto platforma darbojas ar nerelāciju datu avoti patīk:
- Amazon S3
- Hadoop
- HDFS
- MongoDB
- HBase
Un relāciju datu bāzes patīk:
- Mana vieta
- PostgresSQL un
- MS SQL serveris
Ar Presto, varat pieprasīt datus neatkarīgi no tā, kur tie tiek glabāti. Tas nozīmē, ka jums nav nepieciešams pārsūtīt datus uz relāciju datu bāzi vai datu noliktavu. Presto tika izveidots SQL un atbalsta standarta SQL semantiku. Tas ietver apakšvaicājumus, sarežģītus vaicājumus, ārējos savienojumus, atšķirīgus skaitļus un aptuvenas procentiles.
Vaicājumu izpilde ir arī ātrāka, jo tā darbojas paralēli uz atmiņu balstītai arhitektūrai. Tāpēc jums vairs nav jāuztraucas par to, cik ilgi varētu būt nepieciešams vaicājums lielai datubāzei. Rezultāti atgriežas dažu sekunžu laikā.
Uzziniet kā izvietot Presto un tās arhitektūra to dokumentācijā.
Lasi arī: Kā atjaunināt ierīču draiverus operētājsistēmā Windows 10? {Vienkārša rokasgrāmata}
Galvenie jēdzieni
Galvenie SQL jēdzieni ir plaši zināmi. Lai saprastu, kā darbojas Presto, mums vispirms ir jāsaprot tā pamatjēdzieni.
Serveru veidi
Presto izmanto divu veidu serverus: koordinators serveris un strādnieks serveris. Darbinieku mezgli apstrādā vaicājumus, iegūstot datus no savienotājiem. Koordinators ienes rezultātus un nosūta tos klientam. Koordinatoru serveri arī parsē paziņojumus un pārvalda mezglus.
Tas darbojas līdzīgi Massive Parallel Processing datu bāzes pārvaldības sistēmām.
Attēla avots: tutorialspoint
Presto izmanto savienotājus, lai izveidotu savienojumu starp izplatīto sistēmu un avotu, piemēram, Amazon S3. Presto daudzie savienotāji relāciju un nerelāciju avotiem padara sistēmu paplašināmu gandrīz jebkuram datu avotam.
Lasi arī: Kā atjaunināt draiverus operētājsistēmā Windows 10,8,7 — atjauniniet ierīču draiverus
Kā Presto apstrādā vaicājumus?
Kad presto saņem vaicājumu, tas to izpilda, sadalot to vairākos posmos. Parasti sistēma izveido saknes stadiju un saistītos posmus. Pēc tam posmi tiek sadalīti uzdevumos pa darbinieku mezgliem.
Presto lietošanas priekšrocības
Presto kļūst ļoti populārs lielos uzņēmumos, piemēram, Netflix, Facebook, Atlassian un Airbnb. Piemēram, Facebook izmanto Presto, lai katru dienu apstrādātu vienu petabaitu datu, izpildot vairāk nekā 30 000 vaicājumu.
Presto ietver divus atsevišķus atvērtā koda projektus: PrestoSQL (tagad sauc par Trino) un PrestoDB. Tas ir ļoti populārs dažādiem lietošanas gadījumiem dažādu veidu datu ezeros un datu noliktavās. Apskatīsim dažas priekšrocības, kas padara Presto tik populāru.
1. Viegla integrācija
Viena no galvenajām Presto priekšrocībām ir tā integrācija ar jūsu esošo datu sistēmu bez nepieciešamības veikt izmaiņas. Tāpēc, pievienojot Presto, jūs pievienojat ātras analītikas iespējas bez nepieciešamības pielāgot esošo sistēmu.
2. Ātrāka veiktspēja
Viens no iemesliem, kāpēc Presto tika izstrādāts, bija tas, ka esošais Apache Hive nedarbojās labi ar interaktīviem vaicājumiem. Presto ir paredzēts interaktīvu BI vaicājumu apstrādei. Turklāt tas seko push modelim, apstrādājot SQL vaicājumu, izmantojot vairākus posmus vienlaikus, kas nozīmē, ka visi posmi tiek konveijezēti, negaidot starp posmiem.
Presto nodrošina arī datu pārsūtīšanu no atmiņas uz atmiņu, bez nepieciešamības rakstīt datus diskā, tādējādi uzlabojot veiktspēju.
3. Paredzēts mākonim
Presto izmanto krātuvi un aprēķinus atsevišķi, tāpēc tas ir ļoti piemērots mākoņu vidēm. Uzņēmumi, kas izmanto PrestoSQL, var viegli palielināt vai samazināt mērogu atkarībā no slodzes, neradot datu zudumu. Tas var notikt, jo Presto klasteris nesaglabā nekādus datus.
4. Vienots SQL interfeiss
SQL ir vispopulārākā valoda datu analīzei. Datu zinātnieki, analītiķi un inženieri izmanto SQL datu apstrādei, analīzei un testēšanai, integrējot to ar biznesa informācijas rīkiem.
Presto ir iespēja ne tikai vaicāt datus no SQL avotiem, bet arī no NoSQL datu bāzēm, piemēram, Elasticsearch un Cassandra. Tā atbalsta ANSI-SQL un Postgres savienojumu. Tas nodrošina Presto daudzpusību, kāda nav citām izplatītajām sistēmām.
Interfeiss ir ideāls vidēja lieluma datiem, jo tam ir tāds pats Logu funkcijas kas ir PostgreSQL.
Lasi arī: Grafikas draiveru atjaunināšana operētājsistēmā Windows 10 {Vienkārša rokasgrāmata}
Kādiem nolūkiem jūs varat izmantot Presto?
Presto tiek izmantots dažādās nozarēs dažādiem lietošanas gadījumiem. Tas ir īpaši piemērots ad-hoc un interaktīviem vaicājumiem. Izpētīsim dažus izplatītus lietošanas gadījumus:
Datu ezera analīze
Varat izmantot PrestoSQL, lai vaicātu datus datu ezerā, nepārveidojot datus. Presto ļauj vaicāt datus, kur tie atrodas. Tāpēc varat to izmantot, lai uzlabotu datu ezera analīzi, vaicājot strukturētus un nestrukturētus datus.
Ad hoc vaicājumi
Presto ļauj izpildīt vaicājumus jebkurā laikā neatkarīgi no jūsu datu atrašanās vietas. Vēl labāk, izmantojot Presto savienotājus, jūsu komandas var piekļūt datu kopām dažādos datu avotos, un, tā kā vaicājumi tiek izpildīti sekundēs, nevis stundās, jūsu sistēma darbojas ātrāk.
Partijas ETL
Tā vietā, lai izmantotu mantotās pakešapstrādes sistēmas, varat izmantot Presto, lai izpildītu vaicājumus, kas efektīvi izmanto resursus. Varat apkopot datus no vairākiem datu avotiem un veikt augstas caurlaidības vaicājumus.
Rezumējot, Presto ir vairākas priekšrocības uzņēmumiem, kuriem nepieciešams apstrādāt lielu datu apjomu, veikt ad hoc, interaktīvus vaicājumus un palaist analīzi no dažādiem datu avotiem.