إدارة خصوصية بيانات Informatica كبير

الأدوار والمسؤوليات

الخبرة: 5-8 سنوات

الملخص: مطور Informatica PC وIDMC ذو خبرة تزيد عن 5 سنوات في هندسة البيانات. ماهر في تصميم خطوط أنابيب البيانات الشاملة باستخدام PC/IDMC للهجرة والتحول الفعال عبر منصات السحابة. المرشح المثالي سيكون لديه معرفة متعمقة بـ Informatica PowerCenter وIDMC. الأساس القوي في مفاهيم مستودعات البيانات والكفاءة في Snowflake وSQL أمر ضروري. لاعب فريق قوي يتمتع بخبرة سريعة، ويقدم حلول بيانات عالية التأثير في الوقت المناسب.

المهارات الفنية

الأدوات: Informatica Cloud Data Integration، Informatica PowerCenter
المستودعات: Snowflake، DataLake
البرمجة: SQL، Python، Shell Scripting
إدارة البيانات: إدارة التخزين، مراقبة الجودة، الحوكمة
النمذجة: النمذجة الأبعادية، مخطط النجمة/ندفة الثلج

الكفاءات الأساسية

تصميم وتطوير وتحسين سير عمل ETL باستخدام Informatica PowerCenter (PC) وInformatica IDMC.
إدارة عمليات استيعاب البيانات من مصادر بيانات متنوعة مثل Salesforce وقواعد بيانات Oracle وPostgreSQL وMySQL.
تنفيذ وصيانة عمليات ETL وخطوط أنابيب البيانات لضمان استخراج البيانات وتحويلها وتحميلها بكفاءة.
استخدام Snowflake كحل لمستودع البيانات لإدارة كميات كبيرة من البيانات المنظمة وغير المنظمة.
صيانة وتحسين وظائف ETL للأداء والموثوقية، وضمان توفر البيانات في الوقت المناسب لمستخدمي الأعمال.
دعم جهود نقل البيانات ودمجها وتوحيدها.
كتابة وصيانة نصوص Python الأساسية لمهام معالجة البيانات والأتمتة.
استخدام أوامر Unix shell للمهام المتعلقة بالبيانات وإدارة النظام.
استكشاف الأخطاء وإصلاحها وحل المشكلات المتعلقة بـ ETL، وضمان سلامة البيانات وتوافرها.
ضمان الالتزام بأفضل الممارسات لحوكمة البيانات والأمان.

الخبرة المهنية

مطور Informatica
طور عمليات ELT باستخدام PC/IDMC لدمج البيانات في Snowflake.
نفذ إدارة التخزين لـ Azure Blob وSnowflake، مما أدى إلى تحسين أمان البيانات.
عمل على أساس Python ولغات برمجة shell

الملف الشخصي المرغوب للمرشح

تصميم وتطوير عملية ETL:

إنشاء خط أنابيب ETL: تصميم وتطوير سير عمل ETL (استخراج وتحويل وتحميل) باستخدام Informatica PowerCenter أو Informatica Cloud Data Integration أو Informatica Intelligent Cloud Services (IICS).
تحويل البيانات: إنشاء تحويلات لتنظيف البيانات وتجميعها ومعالجتها أثناء انتقالها عبر خط أنابيب ETL لضمان جودة البيانات وتناسقها.
تحميل البيانات: التأكد من تحميل البيانات المحولة إلى وجهات مناسبة مثل مستودعات البيانات أو بحيرات البيانات أو قواعد البيانات.
تكامل البيانات:

تكامل نظام المصدر: دمج مصادر البيانات المختلفة، مثل قواعد البيانات العلائقية والملفات المسطحة وواجهات برمجة التطبيقات والمنصات السحابية والأنظمة المحلية.
هجرة البيانات: نقل البيانات من الأنظمة القديمة إلى هياكل البيانات الحديثة باستخدام قدرات التكامل في Informatica.
تكامل البيانات في الوقت الفعلي: تنفيذ تكامل البيانات في الوقت الفعلي باستخدام ميزات Informatica مثل التقاط البيانات المتغيرة (CDC) أو تدفق بيانات Informatica للتحديثات شبه الفورية.
جودة البيانات والتنظيف:

تحديد ملف تعريف البيانات: تحليل بيانات المصدر وتحديد ملف تعريفها لتحديد مشكلات الجودة والقيم المفقودة والتناقضات التي يجب معالجتها قبل التحميل في نظام الوجهة.
تحويل البيانات وتنظيفها: التأكد من تحويل البيانات وتنظيفها وفقًا لقواعد العمل، مثل إزالة التكرارات وتوحيد التنسيقات وتطبيق منطق العمل.
التحقق من صحة البيانات: التحقق من دقة البيانات في الوجهة وتوافقها مع بيانات المصدر ومتطلبات العمل.
تحسين الأداء:

تحسين الاستعلام: تحسين وظائف ETL للأداء، وضمان تشغيل العمليات بكفاءة وفي حدود الوقت المطلوبة.
المعالجة المتوازية: تنفيذ المعالجة المتوازية في Informatica لتحسين الأداء أثناء عمليات نقل البيانات وتحويلها على نطاق واسع.
إدارة الذاكرة: ضمان الاستخدام السليم للذاكرة وتحسين سير العمل لتقليل الاختناقات في عملية ETL.

هندسة وتصميم البيانات:

نمذجة البيانات: تصميم وتطوير نماذج البيانات المنطقية والمادية لتخزين البيانات بكفاءة، وضمان تصميم مخطط مثالي في مستودعات البيانات أو بحيرات البيانات.

سلالة البيانات: تنفيذ تتبع سلالة البيانات في خطوط أنابيب ETL لضمان الشفافية وإمكانية تتبع تدفق البيانات من المصادر إلى الوجهات.

التعاون مع أصحاب المصلحة:

العمل مع علماء البيانات والمحللين: التعاون مع علماء البيانات ومحللي الأعمال وأصحاب المصلحة الآخرين لضمان استخراج البيانات الصحيحة وتحويلها لدعم حالات الاستخدام التحليلية.

جمع المتطلبات: جمع المتطلبات من مستخدمي الأعمال والفرق الفنية لضمان تلبية عملية ETL لاحتياجاتهم ودعم مبادرات إعداد التقارير أو التحليلات المختلفة.

استكشاف الأخطاء وإصلاحها والدعم:

تصحيح أخطاء وظائف ETL: تحديد وحل المشكلات المتعلقة بوظائف ETL، مثل عدم تطابق البيانات أو الأعطال أو مشكلات الأداء.
معالجة الأخطاء وتسجيلها: تنفيذ آليات معالجة الأخطاء القوية في عمليات ETL لضمان التشغيل السلس والتعافي السريع من الأعطال.
مراقبة النظام: مراقبة أداء وصحة وظائف ETL وإجراء التعديلات حسب الضرورة.