Verilənlər bazası üzrə mühəndis (Data Engineer)

Azərbaycan Yerüstü Nəqliyyat Agentliyi
Полная занятость

Сегодня

154

Подать заявку

Описание

ETL/ELT proseslərinin arxitekturasını qurmaq, dizaynına rəhbərlik etmək, inkişaf etdirmək və həm toplu (batch), həm də axın (streaming) məlumat axınları üçün optimallaşdırmaq;
Məlumat mühəndisləri və məlumat alimləri ilə əməkdaşlıq edərək məlumat proseslərini optimallaşdırmaq və infrastrukturun ümumi səmərəliliyini artırmaq;
Məlumat keyfiyyətini və ardıcıllığını təmin etmək üçün müntəzəm olaraq məlumatların yoxlanışı və bütövlük testlərini aparmaq;
Məlumat anbarlarının (data warehouse) və məlumat göllərinin (data lake) yaradılmasında və saxlanmasında iştirak etmək;
Kafka → NiFi → Elasticsearch → PostgreSQL inteqrasiya səviyyələrində mürəkkəb məlumat infrastrukturu problemlərini aradan qaldırmaq;
Məlumat axınları, boru xətləri (pipelines) və sistem arxitekturası üzrə sənədləri hazırlamaq və daim yeniləmək;
ETL inkişafında iştirak etmək, monitorinq və sazlama (debugging) proseslərinə dəstək vermək;
SQL və digər verilənlər bazası alətləri vasitəsilə məlumat çıxarma, emal və analizini həyata keçirmək;
Məlumat köçürülməsi (data migration) layihələrinə dəstək göstərmək, məlumat sistemlərinin problemsiz keçidini və inteqrasiyasını təmin etmək;
Məlumat prosesləri, boru xətləri və saxlama ilə bağlı problemləri aradan qaldırmaq;
Kafka, NiFi, Spark və Python əsaslı orkestrasiya alətləri vasitəsilə çoxsaylı məlumat mənbələrini inteqrasiya edən yüksək performanslı məlumat toplama (ingestion) çərçivələrini qurmaq və idarə etmək.

Требования

Müvafiq sahədə minimum 3 illik iş təcrübəsi;
ETL inkişafında təcrübə, o cümlədən proseslərin monitorinqi və sazlanması üzrə bacarıqlar;
Böyük məlumat dəstləri üçün SQL-də yüksək səviyyəli bilik, sorğuların performansını artırma və verilənlər bazasının optimallaşdırılması bacarığı;
Məlumatın sorğulanması və emalı üçün SQL-də yüksək səviyyədə bacarıq;
Python, Java və ya Scala kimi bir və ya bir neçə proqramlaşdırma dilində təcrübə;
Güclü analitik və problem həll etmə bacarığı, detallara diqqət;
Yeni texnologiyaları öyrənməyə və mövcud bacarıqları inkişaf etdirməyə həvəs;
Əla ünsiyyət və komanda ilə işləmək bacarığı;
İrəli səviyyədə ETL/ELT mühəndisliyi: Kafka, NiFi və Spark vasitəsilə real vaxt və toplu emal üçün yüksək həcmli boru xətlərinin tam idarə olunması;
Python-da ETL, orkestrasiya və API inteqrasiyası üzrə qabaqcıl bilik; paylanmış sistemlər üçün Java/Scala üzrə iş bilikləri;
Əsas (mission-critical) boru xətləri üçün yoxlama, mənşə izləmə (lineage tracking) və monitorinq mexanizmlərinin hazırlanması və tətbiqi təcrübəsi;
Data lakehouse arxitekturası, bölümləmə (partitioning) strategiyaları və metadata idarəçiliyi üzrə təcrübə;
Git (GitLab) vasitəsilə məlumat həllərinin yerləşdirilməsi (deployment) təcrübəsi;
Fərqli sistemlərin inteqrasiyası təcrübəsi (Kafka → NiFi → Elasticsearch/PostgreSQL).