Verilənlər üzrə mühəndis (Data Engineer)

27-01-2025

307

Real-time və batch prosesləri üçün data pipeline-lərin dizaynı, inkişafı və optimallaşdırılması;
Medallion Architecture (bronze, silver, gold təbəqələri) üzərində məlumat axınlarını modelləşdirmək və tətbiq etmək;
Data pipelineları avtomatlaşdırmaq və inkişaf etdirmək üçün ETL/ELT pipeline-larını yaratmaq;
Verilənlər platformalarının performansını optimallaşdırmaq, məlumatların düzgünlüyünü və təhlükəsizliyini təmin etmək;
Apache Spark və ya Apache Arrow kimi alətlərdən istifadə edərək irimiqyaslı məlumatların emalı və analizini həyata keçirmək;
Məlumat transformasiyası və modelləşdirilməsi üçün DBT modellərini inkişaf etdirmək;
Kubernetes əsaslı mühitlərdə məlumat emalı və saxlama proseslərinin avtomatlaşdırılması və monitorinqi;
İrimiqyaslı data pipeline-lar üçün resurs idarəetmə strategiyalarını inkişaf etdirmək;
Kod yazma standartlarına riayət etmək və komanda daxilində "Best Practice" tətbiq etmək;
Mövcud kod bazasını təkmilləşdirmək və texniki borcları aradan qaldırmaq;
Junior mühəndislərə mentorluq etmək, onlara data pipeline-lərin qurulması və məlumat modellərinin tətbiqi ilə bağlı dəstək vermək.

Məlumat mühəndisliyi, kompüter elmləri və ya müvafiq sahədə bakalavr və ya magistr dərəcəsi;
Ən azı 3-5 il məlumat mühəndisliyi və ya məlumat platforması sahəsində təcrübə;
Python, SQL, Bash üzrə texniki biliklər;
Apache Airflow, DBT alətlərində təcrübə;
Apache Spark, Apache Arrow, Apache Kafka, Confluent bilikləri;
Effektiv vaxt idarəetmə və prioritetləşdirmə bacarığı;
Mürəkkəb problemləri təhlil və həll etmə qabiliyyəti;
Komandadaxili əməkdaşlıq və mentorluq bacarıqları.