تعد معالجة البيانات الضخمة أحد الجوانب الحاسمة لهذا العصر الرقمي. تستخدم الشركات المزيد من الذكاء الاصطناعي والتعلم الآلي وتحليلات البيانات ، والتي تنتج وتجمع المزيد من البيانات. لذلك ، ينتج عنه كميات هائلة من البيانات التي تحتاج إلى الاستعلام عنها وتحليلها بكفاءة.
هنا حيث يمكن للحوسبة السحابية و Presto المساعدة.
ما هو المعزوفة؟
وفقًا لتعريف Amazon AWS: Presto هو محرك استعلام SQL موزع ، تم إنشاؤه لإجراء استعلامات تحليلية سريعة على مجموعات البيانات من أي حجم. تم تغيير علامتها التجارية في نهاية عام 2020 إلى Trino لفصل المشروع عن Prestodb.
يتميز Presto بكونه مفتوح المصدر ، مما يعني أنه يتم تحديثه بانتظام ويساهم المطورون فيه كثيرًا.
تعمل منصة Presto مع ملفات مصادر البيانات غير العلائقية مثل:
- أمازون S3
- هادوب
- HDFS
- MongoDB
- HBase
و قواعد البيانات العلائقية مثل:
- ماي سبيس
- PostgresSQL و
- خادم MS SQL
مع المعزوفة، يمكنك الاستعلام عن البيانات أينما تم تخزينها. هذا يعني أنك لست بحاجة إلى نقل البيانات إلى قاعدة بيانات ارتباطية أو مستودع بيانات. تم إنشاء Presto لـ SQL وتدعم دلالات SQL القياسية. يتضمن ذلك الاستعلامات الفرعية والاستعلامات المعقدة والصلات الخارجية والأعداد المميزة والنسب المئوية التقريبية.
يعد تنفيذ الاستعلامات أسرع أيضًا ، حيث يعمل بالتوازي مع بنية قائمة على الذاكرة. لذلك ، لا داعي للقلق بعد الآن بشأن المدة التي قد يستغرقها الاستعلام عن قاعدة بيانات ضخمة. النتائج تعود في ثوان.
يتعلم كيفية نشر Presto وهندستها على وثائقهم.
اقرأ أيضا: كيفية تحديث برامج تشغيل الجهاز على نظام التشغيل Windows 10؟ {دليل بسيط}
المفاهيم الرئيسية
مفاهيم SQL الأساسية معروفة على نطاق واسع. لفهم كيفية عمل Presto ، نحتاج أولاً إلى فهم مفاهيمها الأساسية.
أنواع الخوادم
يستخدم Presto نوعين من الخوادم: منسق الخادم و العامل الخادم. تقوم العقد العاملة بمعالجة الاستعلامات ، وجلب البيانات من الموصلات. يقوم المنسق بجلب النتائج وإرسالها إلى العميل. تقوم خوادم المنسق أيضًا بتحليل البيانات وإدارة العقد.
إنه يعمل بشكل مشابه لأنظمة إدارة قواعد بيانات المعالجة المتوازية الضخمة.
مصدر الصورة: tutorialspoint
يستخدم Presto موصلات للربط بين النظام الموزع والمصدر ، على سبيل المثال ، Amazon S3. موصلات Presto العديدة ، للمصادر العلائقية وغير العلائقية ، تجعل النظام قابلاً للتوسيع إلى أي مصدر بيانات تقريبًا.
اقرأ أيضا: كيفية تحديث برامج التشغيل على نظام التشغيل Windows 10،8،7 - تحديث برامج تشغيل الأجهزة
كيف يعالج Presto الاستعلامات؟
عندما تتلقى المعزوفة استعلامًا ، يتم تنفيذه عن طريق تقسيمه إلى مراحل متعددة. عادةً ما يقوم النظام بإنشاء مرحلة الجذر والمراحل ذات الصلة. ثم يتم توزيع المراحل على المهام عبر العقد العاملة.
مزايا استخدام Presto
أصبحت Presto مشهورة جدًا لدى المؤسسات الكبيرة مثل Netflix و Facebook و Atlassian و Airbnb. على سبيل المثال ، يستخدم Facebook Presto لمعالجة بيتابايت واحد من البيانات كل يوم ، وتشغيل أكثر من 30 ألف استعلام.
يتضمن Presto مشروعين منفصلين مفتوح المصدر: PrestoSQL (يسمى الآن Trino) و PrestoDB. إنه شائع جدًا لمجموعة واسعة من حالات الاستخدام ، عبر أنواع مختلفة من بحيرات البيانات ومستودعات البيانات. دعونا نلقي نظرة على بعض المزايا التي تجعل Presto مشهورًا للغاية.
1. تكامل سهل
تتمثل إحدى المزايا الرئيسية لبرنامج Presto في أنه يتكامل مع نظام البيانات الحالي لديك دون الحاجة إلى تعديلات. لذلك ، بإضافة Presto ، فإنك تضيف إمكانات تحليلية سريعة دون الحاجة إلى تعديل نظامك الحالي.
2. أداء أسرع
أحد أسباب تطوير Presto هو أن Apache Hive الحالية لم تعمل بشكل جيد مع الاستعلامات التفاعلية. تم تصميم Presto للتعامل مع استعلامات BI التفاعلية. علاوة على ذلك ، فإنه يتبع نموذج الدفع ، حيث يقوم بمعالجة استعلام SQL باستخدام مراحل متعددة في نفس الوقت ، مما يعني أن جميع المراحل يتم تنظيمها دون انتظار بين المراحل.
يحتوي Presto أيضًا على نقل البيانات من ذاكرة إلى ذاكرة ، دون الحاجة إلى كتابة البيانات على القرص ، مما يعزز الأداء.
3. مصممة للسحابة
يقوم Presto بتشغيل التخزين والحساب بشكل منفصل ، مما يجعله مناسبًا جدًا للبيئات السحابية. يمكن للشركات التي تستخدم PrestoSQL التوسع أو النقصان بسهولة اعتمادًا على الحمل دون التسبب في فقدان البيانات. يمكن أن يحدث هذا لأن مجموعة Presto لا تخزن أي بيانات.
4. واجهة SQL الموحدة
SQL هي اللغة الأكثر شيوعًا لتحليلات البيانات. يستخدم علماء البيانات والمحللون والمهندسون SQL لمعالجة البيانات وتحليلها واختبارها ، ودمجها مع أدوات ذكاء الأعمال.
Presto لديه القدرة ليس فقط على الاستعلام عن البيانات من مصادر SQL ولكن أيضًا من قواعد بيانات NoSQL مثل Elasticsearch و Cassandra. وهو يدعم اتصال ANSI-SQL و Postgres. هذا يمنح Presto تنوعًا لا تمتلكه الأنظمة الموزعة الأخرى.
الواجهة مثالية للبيانات متوسطة الحجم لأنها تحتوي على نفس الشيء وظائف النافذة التي تمتلكها PostgreSQL.
اقرأ أيضا: كيفية تحديث برامج تشغيل الرسومات في Windows 10 {دليل بسيط}
ما الذي يمكنك استخدام Presto لأجله؟
يُستخدم Presto عبر الصناعات لمجموعة متنوعة من حالات الاستخدام. وهي مناسبة بشكل خاص للاستفسارات المخصصة والتفاعلية. دعنا نستكشف بعض حالات الاستخدام الشائعة:
تحليلات بحيرة البيانات
يمكنك استخدام PrestoSQL للاستعلام عن البيانات الموجودة في بحيرة البيانات دون الحاجة إلى تحويل البيانات. يتيح لك Presto الاستعلام عن البيانات في مكان وجودها. لذلك ، يمكنك استخدامه لتمكين تحليلات بحيرة البيانات الخاصة بك من خلال الاستعلام عن البيانات المهيكلة وغير المهيكلة.
الاستعلام المخصص
يسمح لك Presto بتشغيل الاستعلامات في أي وقت بغض النظر عن مكان تواجد بياناتك. والأفضل من ذلك ، باستخدام موصلات Presto ، يمكن لفرقك الوصول إلى مجموعات البيانات في مجموعة كبيرة من مصادر البيانات ، وبما أن الاستعلامات يتم تشغيلها في ثوانٍ بدلاً من ساعات ، فإن نظامك يعمل بشكل أسرع.
دفعة ETL
بدلاً من استخدام أنظمة معالجة الدُفعات القديمة ، يمكنك استخدام Presto لتشغيل الاستعلامات الفعالة في الموارد. يمكنك تجميع البيانات من مصادر بيانات متعددة وإجراء استعلامات عالية الإنتاجية.
باختصار ، تتمتع Presto بالعديد من المزايا للشركات التي تحتاج إلى معالجة كميات كبيرة من البيانات وإجراء استعلامات مخصصة وتفاعلية وتشغيل التحليلات من مصادر بيانات متباينة.