Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larının dizayn edilməsi, hazırlanması və optimallaşdırılması;
Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;
Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və dəstəklənməsi;
Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitorinq mexanizmlərinin tətbiqi;
Data warehouse və data lake arxitekturalarının qurulmasında iştirak;
Məlumat pipeline-larında yaranan problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);
SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;
Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);
Müxtəlif sistemlər arasında data inteqrasiyası və data miqrasiya proseslərinin həyata keçirilməsi;
Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.
Tələblər
İnformasiya texnologiyaları, kompüter elmləri, tətbiqi riyaziyyat və ya digər müvafiq sahələr üzrə ali təhsil;
Müvafiq sahədə minimum 3 il iş təcrübəsi;
ETL/ELT pipeline-larının hazırlanması və optimallaşdırılması üzrə praktiki təcrübə;
Böyükhəcmli məlumatlarla işləmək üçün SQL üzrə yüksəksəviyyəli bilik və sorğuların (query) optimallaşdırılması bacarıqları;
Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL hazırlanması);
Streaming və data processing texnologiyaları ilə iş təcrübəsi: Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow;
Relyasiyalı (relational) və ya analitik verilənlər bazaları ilə iş təcrübəsi (PostgreSQL və s.);
Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə biliklər.
Data lake və ya lakehouse arxitekturası ilə iş təcrübəsi (üstünlükdür);
Partitioning strategiyaları və metadata idarəçiliyi üzrə biliklər (üstünlükdür);
Paylanmış sistemlər və böyükhəcmli məlumat infrastrukturlarının idarə olunması təcrübəsi (üstünlükdür).