مهندس البيانات

الأدوار والمسؤوليات

تصميم وتنفيذ حلول البيانات المبتكرة: تطوير وصيانة خطوط أنابيب ETL المتقدمة باستخدام SQL وPython والذكاء الاصطناعي التوليدي، وتحويل عمليات البيانات التقليدية إلى حلول عالية الكفاءة وآلية.
تنظيم تدفقات عمل البيانات المعقدة: استخدام أدوات مثل Dagster وAirflow لتنظيم خطوط الأنابيب المتطورة، وضمان التكامل السلس وأتمتة عمليات البيانات.
الاستفادة من الذكاء الاصطناعي التوليدي لحلول البيانات: إنشاء وتنفيذ حلول بيانات ذكية باستخدام تقنيات الذكاء الاصطناعي التوليدي مثل Retrieval-Augmented Generation (RAG). يتضمن ذلك بناء حلول لاسترجاع ودمج مصادر البيانات الخارجية مع LLMs لتوفير استجابات دقيقة ومثرية سياقيًا.
استخدام الهندسة السريعة: تطوير وتحسين تقنيات الهندسة السريعة للتواصل بشكل فعال مع نماذج اللغة الكبيرة (LLMs)، وتعزيز دقة وأهمية الاستجابات المولدة في تطبيقات مختلفة.
استخدام التضمينات وقواعد البيانات المتجهة: تطبيق نماذج لغة التضمين لتحويل البيانات إلى تمثيلات رقمية وتخزينها في قواعد بيانات متجهة. قم بإجراء عمليات بحث ذات صلة باستخدام هذه التضمينات لمطابقة استعلامات المستخدم مع البيانات الأكثر صلة.
دمج تقنيات البحث الدلالي: قم بتنفيذ البحث الدلالي لتعزيز دقة وأهمية نتائج البحث، وضمان تحسين عمليات استرجاع البيانات بشكل كبير ووعيها بالسياق.
التعاون عبر الفرق: العمل بشكل وثيق مع الفرق متعددة الوظائف، بما في ذلك علم البيانات وتحليلات الأعمال لفهم وتلبية متطلبات البيانات الفريدة والمتطورة.
ضمان تدفق البيانات عالية الجودة: الاستفادة من عمليات التدفق والدفعات والتقاط البيانات المتغيرة (CDC) لضمان تدفق ثابت وموثوق للبيانات عالية الجودة عبر جميع الأنظمة.
تمكين تمكين مستخدمي الأعمال: استخدم أدوات تحويل البيانات مثل DBT لإعداد مجموعات البيانات وتنظيمها، وتمكين مستخدمي الأعمال من إجراء تحليلات الخدمة الذاتية.
الحفاظ على جودة البيانات وتناسقها: تنفيذ معايير صارمة لضمان جودة البيانات وتناسقها عبر جميع مخازن البيانات، والابتكار المستمر لتحسين موثوقية البيانات.
مراقبة أداء خطوط الأنابيب وتحسينه: مراقبة خطوط أنابيب البيانات بشكل منتظم لتحديد وحل مشكلات الأداء والموثوقية، باستخدام أساليب مبتكرة للحفاظ على تشغيل الأنظمة على النحو الأمثل.

الملف الشخصي المرغوب للمرشح

خبرة تزيد عن 7 سنوات كمهندس بيانات.
إتقان SQL وPython.
خبرة في مستودعات البيانات السحابية الحديثة وحلول بحيرة البيانات مثل Snowflake وBigQuery وRedshift وAzure Synapse.
خبرة في عمليات ETL/ELT، وخبرة في بناء وإدارة خطوط أنابيب معالجة البيانات الدفعية والمتدفقة.
قدرة قوية على التحقيق في مشكلات البيانات واستكشاف أخطائها وإصلاحها، وتوفير حلول قصيرة الأجل وحلول طويلة الأجل.
خبرة في الذكاء الاصطناعي التوليدي، بما في ذلك التوليد المعزز بالاسترجاع (RAG)، والهندسة الفورية، وتقنيات التضمين لإنشاء قواعد بيانات المتجهات وإدارتها.
معرفة بخدمات AWS، بما في ذلك DMS وGlue وBedrock وSageMaker وAthena
المعرفة بـ dbt أو أدوات تحويل البيانات الأخرى

خبرة أخرى مرغوبة:

المعرفة بوكلاء AWS Bedrock والخبرة في ضبط النماذج لحالات استخدام محددة، وتحسين أداء التطبيقات التي تعتمد على الذكاء الاصطناعي.
الكفاءة في تنفيذ البحث الدلالي لتعزيز دقة وأهمية استرجاع البيانات.

خبرة في تقنيات ومنصات LangChain لبناء التطبيقات التي تتطلب التفكير المعقد متعدد الخطوات، مثل الذكاء الاصطناعي المحادثة، واسترجاع المستندات، وإنشاء المحتوى، وعمليات اتخاذ القرار الآلية.

خبرة في خدمات ومفاهيم AWS، بما في ذلك AWS OpenSearch وEC2 وECS وEKS وVPC وIAM وغيرها...

الكفاءة في أدوات التنسيق مثل Dagster وAirflow وAWS Step Functions والمنصات المماثلة.

خبرة في أطر النشر والاشتراك والطوابير والبث مثل AWS Kinesis وKafka وSQS وSNS.

الإلمام بخطوط أنابيب CI/CD والأتمتة، مما يضمن عمليات نشر فعالة وموثوقة.