Verilənlər bazası üzrə mühəndis (Data Engineer)

Vəzifə təsviri

·  Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larını dizayn etmək, inkişaf etdirmək və optimallaşdırmaq;

·       Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;

·       Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və saxlanması;

·       Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitoring mexanizmlərinin tətbiqi;

·       Data warehouse və data lake arxitekturalarının qurulmasında iştirak etmək;

·       Məlumat pipeline-larında problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);

·       SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;

·       Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);

·       Müxtəlif sistemlər arasında data inteqrasiyası və data migration proseslərinin həyata keçirilməsi;

·       Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.

Tələblər

·       Müvafiq sahədə minimum 3 il iş təcrübəsi;

·       ETL/ELT pipeline-larının inkişafı və optimallaşdırılması üzrə praktiki təcrübə;

·       Böyük həcmli məlumatlarla işləmək üçün SQL üzrə yüksək səviyyəli bilik və query optimizasiya bacarıqları;

·       Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL inkişafı);

·      Streaming və data processing texnologiyaları ilə təcrübə: (Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow)

·     Relational və ya analytical verilənlər bazaları ilə təcrübə (PostgreSQL və s.);

·     Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə bilik.

Üstünlük hesab olunur

·       Data lake və ya lakehouse arxitekturası ilə işləmə təcrübəsi;

·       Partitioning strategiyaları və metadata idarəçiliyi üzrə bilik;

·       Paylanmış sistemlər və böyük həcmli məlumat infrastrukturlarının idarə olunması təcrübəsi.