Kariera: odkryj możliwości z Versatile.

O pracy:

Versatile to innowacyjny, oparty na sztucznej inteligencji startup budowlany, zaangażowany w przekształcanie branży budowlanej za pomocą najnowocześniejszych technologii. Naszą misją jest zwiększenie wydajności, bezpieczeństwa i produktywności projektów budowlanych poprzez inteligentne rozwiązania.

Zatrudniamy praktycznego starszego inżyniera danych, który chce tworzyć produkty danych, które poruszają igłę w świecie fizycznym. Twoja praca pomoże profesjonalistom budowlanym podejmować lepsze, oparte na danych decyzje każdego dnia. Będziesz częścią wysoce wydajnego zespołu inżynierów z siedzibą w Tel Awiwie.

Obowiązki:

• Kierowanie projektowaniem, rozwojem i własnością skalowalnych potoków danych (ETL/ELT), które zasilają analitykę, funkcje produktu i dalsze zużycie.
• Ścisła współpraca z zespołami Product, Data Science, Data Analytics i full-stack/platform w celu dostarczania rozwiązań w zakresie danych, które zaspokajają potrzeby produktowe i biznesowe.
• Tworzenie i optymalizacja przepływów pracy z danymi przy użyciu Databricks, Spark (PySpark, SQL), Kafka i narzędzi opartych na AWS.
• Wdrażanie i zarządzanie architekturami danych, które obsługują zarówno przetwarzanie w czasie rzeczywistym, jak i wsadowe, w tym warstwy przesyłania strumieniowego, przechowywania i przetwarzania.
• Opracowywanie, integrowanie i utrzymywanie łączników danych i potoków pozyskiwania danych z wielu źródeł.
• Zarządzanie wdrażaniem, skalowaniem i wydajnością infrastruktury danych i klastrów, w tym Spark na Kubernetes, Kafka i usługi AWS.
• Zarządzanie wdrażaniem, skalowaniem i wydajnością infrastruktury danych i klastrów, w tym Databricks, Kafka i usług AWS.
• Używanie Terraform (i podobnych narzędzi) do zarządzania infrastrukturą jako kodem dla platform danych.
• Modelowanie i przygotowywanie danych do analizy, BI i przypadków użycia związanych z produktem, zapewniając wysoką wydajność i niezawodność.

Wymagania:

• 8+ lat praktycznego doświadczenia w pracy z systemami danych na dużą skalę w środowiskach produkcyjnych.
• Udokumentowane doświadczenie w projektowaniu, wdrażaniu i integracji struktur Big Data - PySpark, Kafka, Databricks.
• Silna znajomość Python i SQL, z doświadczeniem w budowaniu i optymalizacji potoków danych wsadowych i strumieniowych.
• Doświadczenie z usługami w chmurze AWS i środowiskami opartymi na systemie Linux.
• Doświadczenie w tworzeniu potoków ETL/ELT i kompleksowej orkiestracji przepływów pracy.
• Udokumentowane doświadczenie w projektowaniu, wdrażaniu i obsłudze infrastruktury danych / platform danych.
• Obowiązkowe praktyczne doświadczenie z Apache Spark w środowiskach produkcyjnych.
• Obowiązkowe doświadczenie w uruchamianiu Spark na Kubernetes.
• Obowiązkowe praktyczne doświadczenie z Apache Kafka, w tym z konektorami Kafka.
• Zrozumienie zasad projektowania opartego na zdarzeniach i domenach w nowoczesnych architekturach danych.
• Znajomość narzędzi infrastruktury jako kodu (np. Terraform) - zaleta.
• Doświadczenie we wspieraniu uczenia maszynowego lub aplikacji algorytmicznych - zaleta.
• Tytuł licencjata lub wyższy w dziedzinie informatyki, inżynierii, matematyki lub innej dziedzinie ilościowej.