Опис
📈 Projektuj nasze potoki danych:
Poszukujemy doświadczonego Python Developera specjalizującego się w Data Engineering do projektowania i budowania wysokoobciążonych procesów zbierania, transformacji i przetwarzania ogromnych wolumenów danych w Wrocławiu.
💾 Główne zadania:
• Pisanie i optymalizacja skryptów ETL/ELT w Pythonie do importowania danych z różnych źródeł.
• Tworzenie, konfiguracja i monitoring potoków przetwarzania danych w Apache Airflow.
• Projektowanie schematów baz danych i optymalizacja złożonych analitycznych zapytań SQL w PostgreSQL i ClickHouse.
• Sprawdzanie jakości danych, analiza anomalii i zapewnianie integralności informacji.
• Optymalizacja wydajności baz danych i szybkości przetwarzania dużych tablic logów i danych transakcyjnych.
🛠️ Wymagane umiejętności:
• Minimum 3 lata komercyjnego doświadczenia z Pythonem, skupionego na Data Engineering / ETL.
• Głęboka znajomość SQL i doświadczenie z relacyjnymi i kolumnowymi bazami danych (PostgreSQL, ClickHouse).
• Praktyczne doświadczenie z orkiestratorem Apache Airflow (tworzenie i zarządzanie DAG-ami).
• Rozumienie architektury Data Warehouse (DWH), metod modelowania danych i formatów JSON, Parquet, CSV.
• Dobra znajomość Linux CLI, Docker i Git.
✨ Co oferujemy:
• Wynagrodzenie od 15000 PLN netto miesięcznie.
• Praca stacjonarna lub hybrydowa we Wrocławiu.
• Oficjalne zatrudnienie, płatny urlop i prywatna opieka medyczna.
• Nowoczesny sprzęt i finansowanie kursów i certyfikatów.
• Praca przy złożonych wyzwaniach architektonicznych z sympatycznym zespołem inżynierów.