مهندس منصة البيانات

الأدوار والمسؤوليات

يبحث العميل عن مهندس منصة بيانات استثنائي للانضمام إلى فريق المتخصصين في الذكاء الاصطناعي في الإمارات العربية المتحدة. بصفتك مهندس منصة بيانات، ستكون مسؤولاً عن تصميم وتنفيذ وتحسين خطوط أنابيب البيانات والبنية الأساسية لدعم أنظمة الذكاء الاصطناعي المتطورة لدينا. ستتعاون بشكل وثيق مع الفريق متعدد التخصصات لضمان جمع البيانات وتخزينها ومعالجتها وتحليلها بكفاءة، مما يمكننا من إطلاق العنان لرؤى قيمة ودفع الابتكار عبر مختلف المجالات.

المسؤوليات:

تطوير خطوط الأنابيب: تصميم وتطوير وصيانة خطوط أنابيب البيانات القابلة للتطوير والموثوقة لاستيعاب وتحويل وتحميل مجموعات البيانات المتنوعة من مصادر مختلفة، بما في ذلك البيانات المنظمة وغير المنظمة، وبيانات البث، والتغذية في الوقت الفعلي.

تكامل البيانات: تنفيذ عمليات تكامل البيانات القوية لدمج البيانات بسلاسة من مصادر مختلفة، وضمان الاتساق والموثوقية وجودة البيانات.

تخزين البيانات: تصميم وتحسين حلول تخزين البيانات، بما في ذلك قواعد البيانات العلائقية وقواعد بيانات NoSQL وبحيرات البيانات وخدمات التخزين السحابي، لتخزين وإدارة كميات كبيرة من البيانات بكفاءة.

تحسين الأداء: تحسين معالجة البيانات وأداء الاستعلام لتعزيز قابلية توسع النظام وموثوقيته وكفاءته، والاستفادة من تقنيات مثل الفهرسة والتجزئة والتخزين المؤقت والمعالجة المتوازية.

حوكمة البيانات: تنفيذ أطر حوكمة البيانات لضمان أمان البيانات وخصوصيتها وسلامتها والامتثال للمتطلبات التنظيمية، بما في ذلك تشفير البيانات وضوابط الوصول والتدقيق.

المراقبة والصيانة: مراقبة خطوط أنابيب البيانات ومكونات البنية الأساسية، وتحديد المشكلات ومعالجتها بشكل استباقي، وأداء مهام الصيانة الروتينية لضمان استقرار النظام وموثوقيته.

التعاون: التعاون بشكل وثيق مع فرق متعددة الوظائف، بما في ذلك علماء البيانات والمهندسين المعماريين وخبراء المجال، لفهم المتطلبات وجمع الأفكار وتقديم حلول متكاملة.

التوثيق: إنشاء وثائق شاملة، بما في ذلك المواصفات الفنية ومخططات تدفق البيانات والإجراءات التشغيلية، لتسهيل الفهم والتعاون وتبادل المعرفة.

المؤهلات:

خبرة مثبتة كمهندس منصة بيانات، مع سجل حافل في تصميم وتنفيذ خطوط أنابيب البيانات المعقدة وحلول البنية الأساسية.
خبرة في نمذجة البيانات وعمليات الاستخراج والتحويل والتحميل ومفاهيم مستودعات البيانات، مع إتقان لغة الاستعلامات البنيوية (SQL) ولغات البرمجة النصية (مثل Python).

خبرة عملية قوية في التعامل مع Data Bricks.

مهارات تحليلية وحل مشكلات وتواصل ممتازة، مع القدرة على ترجمة المفاهيم التقنية المعقدة إلى رؤى واضحة وقابلة للتنفيذ.

قدرة مثبتة على العمل بشكل فعال في بيئة تعاونية سريعة الخطى، مع شغف بالابتكار والتعلم المستمر.

يمكن أن تشرح بالتفصيل كيف صممت وبنت ودمجت منصات البيانات.

يجب أن تكون قادرًا أيضًا على الشرح بالتفصيل وإظهار عدد نقاط التكامل التي عملت عليها وعملك مع المنصات.

الملف الشخصي المرغوب للمرشح

هندسة البيانات: معرفة قوية بمبادئ وممارسات هندسة البيانات، بما في ذلك عمليات ETL (الاستخراج والتحويل والتحميل).

لغات البرمجة: إتقان لغات البرمجة مثل Python أو Java أو Scala، المستخدمة في معالجة البيانات ومعالجتها.

إدارة قواعد البيانات: الخبرة في قواعد البيانات العلائقية (مثل PostgreSQL وMySQL) وقواعد بيانات NoSQL (مثل MongoDB وCassandra).

تقنيات البيانات الضخمة: الإلمام بأدوات وأطر البيانات الضخمة، مثل Apache Hadoop أو Spark أو Kafka.

المنصات السحابية: الخبرة في الخدمات السحابية (مثل AWS وGoogle Cloud وAzure) لتخزين البيانات ومعالجتها.

مستودعات البيانات: فهم مفاهيم مستودعات البيانات والخبرة في منصات مثل Snowflake أو Redshift أو Google BigQuery.

نمذجة البيانات: المهارات في تصميم نماذج البيانات التي تنظم البيانات وتبنيها بكفاءة للتحليلات.

حوكمة البيانات: معرفة أفضل ممارسات حوكمة البيانات وجودة البيانات لضمان سلامة البيانات والامتثال لها.

واجهات برمجة التطبيقات والخدمات المصغرة: الإلمام ببناء ودمج واجهات برمجة التطبيقات لتسهيل الوصول إلى البيانات ومشاركتها.

التعاون: مهارات قوية في التواصل والتعاون للعمل مع علماء البيانات والمحللين وأصحاب المصلحة الآخرين.