مهندس البيانات

الأدوار والمسؤوليات

سيشارك متدرب مهندس البيانات في مشاريع مثيرة تغطي دورة حياة البيانات من البداية إلى النهاية - من تكامل البيانات الخام مع الأنظمة الأساسية والجهات الخارجية، من خلال النمذجة المتقدمة للبيانات، إلى تصور البيانات الحديثة وتطوير منتجات البيانات المبتكرة.

ستتاح لك الفرصة لتعلم كيفية بناء خطوط أنابيب معالجة البيانات في الوقت الفعلي والعمل معها. ستعمل في بيئة تخزين بيانات حديثة قائمة على السحابة جنبًا إلى جنب مع فريق من زملاء العمل المتنوعين والمكثفين والمثيرين للاهتمام. ستتواصل مع الأقسام الأخرى - مثل المنتجات والتكنولوجيا، والقطاعات التجارية الأساسية، والثقة والسلامة، والتمويل وغيرها - لتمكينهم من النجاح.

تشمل المسؤوليات الرئيسية:

● تكامل البيانات الخام مع الأنظمة الأساسية والتابعة لجهات خارجية

● نمذجة مستودع البيانات لطبقات البيانات التشغيلية والتطبيقية

● التطوير في مجموعة Amazon Redshift

● تطوير SQL كجزء من سير عمل الفريق الرشيق

● تصميم وتنفيذ ETL في Matillion ETL

● تصميم وتنفيذ منتجات البيانات التي تمكن الميزات القائمة على البيانات أو حلول الأعمال

● جودة البيانات واستقرار النظام والأمان

● معايير الترميز في SQL وPython وتصميم ETL

● بناء لوحات معلومات البيانات والتصورات المتقدمة في Periscope Data مع التركيز على تجربة المستخدم والبساطة وسهولة الاستخدام

● العمل مع الأقسام الأخرى في منتجات البيانات - أي المنتج والتكنولوجيا والتسويق والنمو والتمويل والأعمال الأساسية والإعلان وغيرها

● أن تكون جزءًا وتساهم في ثقافة فريق قوية وطموح لتكون في طليعة البيانات الضخمة

المتطلبات

درجة البكالوريوس في علوم الكمبيوتر أو الهندسة أو الرياضيات أو الفيزياء أو أي مجال كمي ذي صلة
معرفة نماذج البيانات العلائقية والأبعاد
معرفة عمليات المحطة الطرفية وسير عمل Linux

القدرة على توصيل الأفكار والنتائج إلى جمهور غير فني
مهارات SQL جيدة عبر مجموعة متنوعة من تقنيات تخزين البيانات العلائقية وخاصة في تخزين البيانات السحابية (على سبيل المثال Amazon Redshift وGoogle BigQuery وSnowflake وVertica وما إلى ذلك)
الاهتمام بالتفاصيل والتفكير التحليلي
روح المبادرة والقدرة على التفكير الإبداعي؛ دافعية عالية ودافع ذاتي؛ فضول قوي والسعي إلى التعلم المستمر

الملف الشخصي المرغوب للمرشح

1. بنية البيانات والبنية الأساسية
تصميم خطوط أنابيب البيانات: تطوير وإنشاء وصيانة خطوط أنابيب البيانات الفعّالة التي تمكّن نقل وتحويل مجموعات البيانات الكبيرة بين الأنظمة المختلفة وحلول التخزين.
بناء مستودعات البيانات: إنشاء حلول تخزين البيانات مثل مستودعات البيانات أو بحيرات البيانات التي تسمح بسهولة الوصول إلى البيانات واسترجاعها وتحليلها من مصادر مختلفة (على سبيل المثال، قواعد البيانات المعاملاتية ومنصات السحابة).
تصميم قاعدة البيانات وتحسينها: تصميم قواعد البيانات، والتأكد من أنها قابلة للتطوير وآمنة ومحسّنة للأداء والتخزين.
2. جمع البيانات ودمجها
دمج البيانات: دمج البيانات من مجموعة متنوعة من المصادر مثل واجهات برمجة التطبيقات وقواعد البيانات والملفات المسطحة والتخزين السحابي وتدفقات البيانات في الوقت الفعلي في أنظمة مركزية.
عمليات ETL (الاستخراج والتحويل والتحميل): تطوير وصيانة عمليات ETL لتنظيف البيانات الخام وتحويلها وتحميلها إلى تنسيقات قابلة للاستخدام للتحليلات.
حوكمة البيانات: تأكد من أن البيانات دقيقة ومتسقة وآمنة من خلال فرض ممارسات حوكمة البيانات والحفاظ على معايير جودة البيانات.
3. تحويل البيانات ومعالجتها
تنظيف البيانات: معالجة البيانات الخام وتنظيفها لإزالة التناقضات أو الأخطاء أو التكرارات، وضمان أن البيانات المستخدمة للتحليل موثوقة وعالية الجودة.
تحويل البيانات: تحويل البيانات إلى تنسيق منظم مناسب للتحليل وإعداد التقارير والمعالجة الإضافية من قبل علماء البيانات والمحللين.
4. الأداء وقابلية التوسع
التحسين: مراقبة خطوط أنابيب البيانات وحلول التخزين وتحسينها واستكشاف أخطائها وإصلاحها بشكل مستمر لضمان أدائها بكفاءة على نطاق واسع، خاصة مع نمو أحجام البيانات.
الأتمتة: أتمتة المهام المتكررة مثل تحميل البيانات ومراقبتها لتقليل الجهد اليدوي وتحسين كفاءة معالجة البيانات.
5. التعاون مع علماء البيانات والمحللين
التعاون بشأن احتياجات البيانات: العمل بشكل وثيق مع علماء البيانات والمحللين لفهم متطلبات البيانات الخاصة بهم وتزويدهم بمجموعات بيانات نظيفة ومنظمة وجاهزة للاستخدام.
توفير إمكانية الوصول إلى البيانات: تأكد من أن المحللين والمستخدمين الآخرين يمكنهم الوصول بسهولة إلى البيانات التي يحتاجون إليها والاستعلام عنها من خلال إعداد أدوات استعلام وواجهات مستخدم فعّالة.
6. منصات السحابة والبيانات الضخمة
الحلول السحابية: الاستفادة من المنصات المستندة إلى السحابة (على سبيل المثال، AWS وGoogle Cloud Platform وMicrosoft Azure) لتخزين البيانات القابلة للتطوير وموارد الحوسبة.
تقنيات البيانات الضخمة: تنفيذ وإدارة تقنيات البيانات الضخمة (على سبيل المثال، Hadoop وSpark وKafka) لمعالجة وتحليل مجموعات البيانات الكبيرة عبر الأنظمة الموزعة.