مهندس بيانات مساعد

الأدوار والمسؤوليات

نحن نبحث عن مهندس بيانات محترف لتعزيز قدراتنا في هندسة البيانات. في هذا الدور، ستدعم أعضاء الفريق المبتدئين، وتقود تطوير وصيانة حلول البيانات المتطورة. علاوة على ذلك، ستساهم في بناء وصيانة البنية الأساسية اللازمة لعمليات هندسة البيانات. بالتعاون مع فرق متعددة الوظائف، ستساهم في بناء طبقات بيانات الخدمة الذاتية وتوفير رؤى حاسمة لمواءمة بنية البيانات مع استراتيجيات الأعمال الأوسع. مساهمتك في الحلول المبتكرة وضمان أعلى معايير جودة البيانات.

نحن نعمل بتقنيات متطورة لتشغيل تدفقات عمل البيانات والهندسة لدينا. تتضمن مجموعتنا SQL وPython للبرمجة، مع Dagster (وAirflow لأنابيب البيانات القديمة) كأداة تنسيق. نقوم بتخزين ومعالجة البيانات باستخدام Snowflake وRedshift وClickhouse وS3. على جانب البنية الأساسية، نستفيد من Docker وKubernetes للحاويات والتنسيق، جنبًا إلى جنب مع خدمات AWS مثل ECS/EKS وDMS وKinesis وGlue وAthena والمزيد. تتم تبسيط عمليات ETL الخاصة بنا باستخدام FiveTran وDBT لتحويلات البيانات بسلاسة. بالنسبة للبنية الأساسية ككود، نعتمد على Terraform مع Terragrunt، مما يضمن عمليات نشر قوية وقابلة للتطوير.

المسؤوليات الرئيسية:

تصميم وتنفيذ حلول ETL المعقدة لمجموعات البيانات الكبيرة.

تحسين وضبط كود SQL و/أو Python لتحسين الأداء.

تصميم وصيانة نماذج البيانات للتخزين والاسترجاع بكفاءة.

استكشاف الأخطاء وإصلاحها وحل المشكلات المتعلقة بأداء خط أنابيب البيانات.

بناء وصيانة مجموعات البيانات ذاتية الخدمة لتسريع جهود نشر البيانات.

المساهمة في المبادرات لإدارة وتحسين البنية الأساسية.

تنفيذ أفضل الممارسات للتحكم في الإصدارات والتعاون في Terraform.

الشخص

المؤهلات المطلوبة:

أكثر من 7 سنوات من الخبرة كمهندس بيانات
إتقان SQL وPython
خبرة في مستودعات البيانات السحابية الحديثة وحلول بحيرة البيانات مثل Snowflake وBigQuery وRedshift.
خبرة في معالجة البيانات ETL/ELT، والدفعات، وخطوط أنابيب معالجة البيانات المتدفقة.

خبرة في خدمات AWS (مثل S3 وDMS وGlue وAthena وEKS، وما إلى ذلك)

خبرة مثبتة في إرشادات وأفضل ممارسات مستودعات البيانات ونمذجة البيانات الأبعادية

خبرة في أدوات ETL مثل FiveTran وDBT وAirbyte وما إلى ذلك

خبرة في أدوات التنسيق مثل Dagster وAirflow ووظائف AWS Step وما إلى ذلك

المعرفة بخطوط أنابيب CI/CD والأتمتة.

الملف الشخصي المرغوب للمرشح

المؤهلات المطلوبة:

خبرة لا تقل عن 7 سنوات كمهندس بيانات
إتقان SQL وPython
خبرة في مستودعات البيانات السحابية الحديثة وحلول بحيرة البيانات مثل Snowflake وBigQuery وRedshift.

خبرة في ETL/ELT والدفعات وخطوط أنابيب معالجة البيانات المتدفقة.

خبرة في خدمات AWS (مثل S3 وDMS وGlue وAthena وEKS وما إلى ذلك)
خبرة مثبتة في مستودعات البيانات وإرشادات نمذجة البيانات الأبعاد وأفضل الممارسات
الإلمام بأدوات ETL مثل FiveTran وDBT وAirbyte وما إلى ذلك
خبرة في أدوات التنسيق مثل Dagster وAirflow ووظائف AWS Step وما إلى ذلك
معرفة خطوط أنابيب CI/CD والأتمتة.

قدرات أخرى:

خبرة في Terraform وTerragrunt.
خبرة في مخازن البيانات مثل MySQL وMongoDB وDynamoDB وAurora.
خبرة في أطر النشر والاشتراك والطوابير والبث مثل AWS Kinesis وKafka وSQS وSNS.

خبرة في محركات المعالجة في الوقت الفعلي مثل Apache Flink وApache Spark وما إلى ذلك.

خبرة في أدوات BI مثل Tableau وQuickSight وTableau وPowerBI وMicroStrategy وما إلى ذلك.

خبرة في أدوات الوسم والتتبع مثل Snowplow وTealium وSegment.io وما إلى ذلك.

خبرة في حلول التحليلات في الوقت الفعلي مثل Clickhouse وRockset وPinot وDruid.

خبرة في GCP وGoogle Analytics.