Data Mühəndisi

Rolun təsviri:

Data Mühəndisi təşkilat daxilində süni intellekt əsaslı həllərin dəstəklənməsi üçün tələb olunan məlumat infrastrukturunun qurulmasına cavabdeh olacaq. Bu rol parçalanmış və strukturlaşdırılmamış məlumatların toplanması, strukturlaşdırılması və transformasiyası yolu ilə onların etibarlı, əlçatan və istifadəyə yararlı formata gətirilməsinə fokuslanır.

AI mühəndisləri və biznes komandaları ilə sıx əməkdaşlıq edərək, Data Mühəndisi məlumat boru xətlərini (data pipelines) dizayn edəcək və saxlayacaq, məlumat dəstlərini standartlaşdıracaq və analitika və AI tətbiqləri üçün məlumatlara səmərəli çıxışı təmin edəcək. Bu rol real dünya məlumat problemlərinin həllinə praktik və hands-on yanaşma, həmçinin mürəkkəb mühitdə məlumat keyfiyyətinin təmin edilməsini tələb edir.

Əsas öhdəliklər:

• Müxtəlif mənbələrdən (Excel, PDF, e-poçtlar, daxili sistemlər) məlumatların daxil edilməsi və emalı üçün data pipeline-ların dizaynı, qurulması və saxlanması
• Strukturlaşdırılmış və strukturlaşdırılmamış məlumat dəstlərinin təmizlənməsi, transformasiyası və standartlaşdırılması
• Mərkəzləşdirilmiş məlumat qatının (data warehouse və ya data lake) yaradılması və idarə olunması
• Müqavilələr, satınalma məlumatları və layihə məlumatları kimi biznes üçün kritik məlumatların strukturlaşdırılması və təşkili
• AI mühəndisləri ilə əməkdaşlıq edərək sənəd indeksləmə və axtarış sistemləri daxil olmaqla AI istifadəsi üçün məlumat əlçatanlığının təmin edilməsi
• Məlumatların təşkili standartlarının, adlandırma konvensiyalarının və əsas idarəetmə (governance) praktikalarının tətbiqi
• Bütün məlumat dəstləri üzrə keyfiyyətin, ardıcıllığın və etibarlılığın təmin edilməsi
• Data pipeline-ların performansının və miqyaslana bilmə qabiliyyətinin monitorinqi və optimallaşdırılması
• API-lər və avtomatlaşdırılmış iş axınları vasitəsilə müxtəlif mənbələrdən məlumatların inteqrasiyası
• Davamlılığın təmin edilməsi üçün məlumat modellərinin, pipeline-ların və proseslərin sənədləşdirilməsi
• Biznes əməliyyatlarına və AI həllərinə təsir edən məlumat problemlərinin müəyyənləşdirilməsi və aradan qaldırılması
• Məlumat arxitekturasının və infrastrukturunun davamlı təkmilləşdirilməsinin dəstəklənməsi

Tələb olunan təhsil və təcrübə:

• Kompüter Elmləri, Mühəndislik, Data Science və ya əlaqəli sahə üzrə bakalavr və ya magistr dərəcəsi
• Data engineering, backend engineering və ya əlaqəli sahələrdə 3–6 il iş təcrübəsi
• Real mühitlərdə data pipeline-ların qurulması və saxlanması üzrə sübut olunmuş təcrübə
• Strukturlaşdırılmış, yarı-strukturlaşdırılmış və strukturlaşdırılmamış məlumat mənbələri ilə iş təcrübəsi
• Müxtəlif sistemlərdən (fayllar, API-lər, verilənlər bazaları) məlumat inteqrasiyası üzrə güclü təcrübə
• Bulud platformaları (AWS, Azure və ya GCP) ilə tanışlıq
• Parçalanmış və ya qeyri-ardıcıl məlumat mühitlərində işləmə təcrübəsi
• Analitika, hesabatlılıq və ya AI/ML təşəbbüslərinin dəstəklənməsi üzrə təcrübə
• Sürətli və nəticə yönümlü mühitlərdə işləmə təcrübəsi
• Mürəkkəb məlumat problemlərini həll etmə və məlumat etibarlılığını artırma bacarığı
• Data pipeline layihələri üzrə portfel və ya nümunələrin olması (üstünlükdür)

Tələb olunan bacarıqlar:

• Python və SQL üzrə güclü proqramlaşdırma bacarıqları
• ETL/ELT data pipeline-larının dizaynı və tətbiqi üzrə təcrübə
• Məlumat modelləşdirilməsi və sxem dizaynı üzrə möhkəm bilik
• Relasion verilənlər bazaları (məsələn, PostgreSQL, MySQL) ilə iş təcrübəsi
• Qarışıq və qeyri-səliqəli məlumat dəstlərini təmizləmək, transformasiya etmək və standartlaşdırmaq bacarığı
• Müxtəlif mənbələrdən (fayllar, API-lər, sistemlər) məlumat inteqrasiyası təcrübəsi
• Bulud platformaları (AWS, Azure və ya GCP) ilə tanışlıq
• Məlumat saxlama həlləri (data warehouse, data lake) haqqında anlayış
• Strukturlaşdırılmamış və yarı-strukturlaşdırılmış məlumatlarla (sənədlər, PDF-lər, Excel faylları) iş təcrübəsi
• Məlumat keyfiyyəti idarəetməsi və validasiya texnikaları üzrə bilik
• Workflow orkestrasiya alətləri (məsələn, Airflow, Prefect) ilə tanışlıq (üstünlükdür)
• Əsas məlumat idarəetməsi və giriş nəzarəti praktikaları haqqında anlayış
• Güclü problem həll etmə bacarığı və detallara diqqət
• AI mühəndisləri və biznes tərəfdaşları ilə effektiv əməkdaşlıq bacarığı