مهندس بيانات رئيسي

الأدوار والمسؤوليات

خبرة إجمالية تتراوح من 5 إلى 7 سنوات في هندسة البيانات وتحويلها على السحابة
خبرة قوية للغاية لا تقل عن 3 سنوات في هندسة بيانات Azure، Databricks
خبرة في دعم/تطوير أحمال عمل lakehouse على مستوى المؤسسة
خبرة في pyspark مطلوبة - تطوير ونشر أحمال العمل لتشغيلها على الحوسبة الموزعة Spark
يجب أن يكون المرشح حاصلًا على درجة جامعية أو بكالوريوس على الأقل في علوم الكمبيوتر/تكنولوجيا المعلومات، الهندسة (الكمبيوتر/الاتصالات) أو ما يعادلها.
النشر السحابي: يفضل Microsoft Azure
خبرة في تنفيذ مراقبة المنصة والتطبيق باستخدام أدوات السحابة الأصلية

1. هندسة وتصميم البيانات
فهم قوي لهندسة قواعد البيانات، بما في ذلك قواعد البيانات العلائقية، وقواعد البيانات غير العلائقية، ومستودعات البيانات.
القدرة على تصميم وتنفيذ خطوط أنابيب البيانات، وبحيرات البيانات، ومستودعات البيانات.
معرفة عمليات ETL (استخراج وتحويل وتحميل).
2. البرمجة والكتابة النصية
اللغات: خبرة في Python وJava وScala وSQL.
الإلمام بمكتبات معالجة البيانات مثل Pandas وDask وNumPy (بالنسبة لـ Python).
القدرة على كتابة استعلامات ونصوص فعّالة لمعالجة البيانات وتحليلها.
3. تقنيات البيانات الضخمة
الكفاءة في أطر البيانات الضخمة مثل Hadoop وSpark وFlink.
الخبرة في أنظمة الحوسبة الموزعة والتعامل مع مجموعات البيانات الضخمة.
4. منصات السحابة
معرفة منصات السحابة مثل AWS وGoogle Cloud Platform (GCP) وMicrosoft Azure.
الخبرة في حلول البيانات المستندة إلى السحابة مثل Amazon Redshift أو Google BigQuery أو Azure Data Lake.
5. نمذجة البيانات
الخبرة في تقنيات نمذجة البيانات، مثل النمذجة البعدية، ونمذجة ER، ومخططات النجوم/ندفات الثلج.
القدرة على تصميم هياكل المخططات التي تدعم احتياجات الاستخبارات التجارية والتحليل.
6. إدارة خطوط أنابيب البيانات
الخبرة في إنشاء خطوط أنابيب البيانات وصيانتها لمعالجة البيانات على نطاق واسع.
الإلمام بأدوات مثل Apache Airflow أو Luigi أو dbt لتنظيم سير العمل.
7. مستودعات البيانات وتحسين SQL
الخبرة في تصميم وتحسين حلول مستودعات البيانات.
مهارات قوية في ضبط SQL وتحسين الأداء للتعامل مع مجموعات البيانات الكبيرة.
8. حوكمة البيانات والأمان
فهم ممارسات حوكمة البيانات، مثل خصوصية البيانات وإدارة البيانات الوصفية وضمان جودة البيانات.
القدرة على فرض معايير وممارسات أمان البيانات لحماية البيانات.
9. قيادة الفريق وإدارة المشروع
القدرة على قيادة فريق من مهندسي البيانات والتعاون مع فرق متعددة الوظائف وإدارة مشاريع هندسة البيانات.
الإلمام بأطر إدارة المشاريع مثل Agile وScrum.
10. الأتمتة وCI/CD
الخبرة في أتمتة سير عمل البيانات وخطوط أنابيب النشر.
معرفة أدوات CI/CD (على سبيل المثال، Jenkins وGitLab) للتحكم في الإصدارات والأتمتة.
11. تكامل التعلم الآلي (اختياري)
على الرغم من عدم ضرورة ذلك تمامًا لجميع أدوار هندسة البيانات، إلا أن الخبرة في دمج خطوط أنابيب البيانات مع نماذج التعلم الآلي أو دعم نشر النماذج يمكن أن تكون قيمة.

الملف الشخصي المرغوب للمرشح

1. هندسة وتصميم البيانات
فهم قوي لهندسة قواعد البيانات، بما في ذلك قواعد البيانات العلائقية، وقواعد البيانات غير العلائقية، ومستودعات البيانات.
القدرة على تصميم وتنفيذ خطوط أنابيب البيانات، وبحيرات البيانات، ومستودعات البيانات.
معرفة عمليات ETL (استخراج وتحويل وتحميل).
2. البرمجة والكتابة النصية
اللغات: خبرة في Python وJava وScala وSQL.
الإلمام بمكتبات معالجة البيانات مثل Pandas وDask وNumPy (بالنسبة لـ Python).
القدرة على كتابة استعلامات ونصوص فعّالة لمعالجة البيانات وتحليلها.
3. تقنيات البيانات الضخمة
الكفاءة في أطر البيانات الضخمة مثل Hadoop وSpark وFlink.
الخبرة في أنظمة الحوسبة الموزعة والتعامل مع مجموعات البيانات الضخمة.
4. منصات السحابة
معرفة منصات السحابة مثل AWS وGoogle Cloud Platform (GCP) وMicrosoft Azure.
الخبرة في حلول البيانات المستندة إلى السحابة مثل Amazon Redshift أو Google BigQuery أو Azure Data Lake.
5. نمذجة البيانات
الخبرة في تقنيات نمذجة البيانات، مثل النمذجة البعدية، ونمذجة ER، ومخططات النجوم/ندفات الثلج.
القدرة على تصميم هياكل المخططات التي تدعم احتياجات الاستخبارات التجارية والتحليل.
6. إدارة خطوط أنابيب البيانات
الخبرة في إنشاء خطوط أنابيب البيانات وصيانتها لمعالجة البيانات على نطاق واسع.
الإلمام بأدوات مثل Apache Airflow أو Luigi أو dbt لتنظيم سير العمل.
7. مستودعات البيانات وتحسين SQL
الخبرة في تصميم وتحسين حلول مستودعات البيانات.
مهارات قوية في ضبط SQL وتحسين الأداء للتعامل مع مجموعات البيانات الكبيرة.
8. حوكمة البيانات والأمان
فهم ممارسات حوكمة البيانات، مثل خصوصية البيانات وإدارة البيانات الوصفية وضمان جودة البيانات.
القدرة على فرض معايير وممارسات أمان البيانات لحماية البيانات.
9. قيادة الفريق وإدارة المشروع
القدرة على قيادة فريق من مهندسي البيانات والتعاون مع فرق متعددة الوظائف وإدارة مشاريع هندسة البيانات.
الإلمام بأطر إدارة المشاريع مثل Agile وScrum.
10. الأتمتة وCI/CD
الخبرة في أتمتة سير عمل البيانات وخطوط أنابيب النشر.
معرفة أدوات CI/CD (على سبيل المثال، Jenkins وGitLab) للتحكم في الإصدارات والأتمتة.
11. تكامل التعلم الآلي (اختياري)
على الرغم من عدم ضرورة ذلك تمامًا لجميع أدوار هندسة البيانات، إلا أن الخبرة في دمج خطوط أنابيب البيانات مع نماذج التعلم الآلي أو دعم نشر النماذج يمكن أن تكون قيمة.