Καριέρα: εξερευνήστε τις ευκαιρίες με την Versatile.

Σχετικά με τη θέση εργασίας:

Η Versatile είναι μια καινοτόμος νεοσύστατη επιχείρηση κατασκευαστικής νοημοσύνης με βάση την τεχνητή νοημοσύνη, η οποία έχει δεσμευτεί να μεταμορφώσει τον κατασκευαστικό κλάδο με τεχνολογία αιχμής. Αποστολή μας είναι να βελτιώσουμε την αποτελεσματικότητα, την ασφάλεια και την παραγωγικότητα των κατασκευαστικών έργων μέσω έξυπνων λύσεων.

Προσλαμβάνουμε έναν πρακτικό Senior Data Engineer που θέλει να δημιουργήσει προϊόντα δεδομένων που θα μετακινήσουν τη βελόνα στον φυσικό κόσμο. Η εργασία σας θα βοηθήσει τους επαγγελματίες του κατασκευαστικού κλάδου να λαμβάνουν καθημερινά καλύτερες αποφάσεις, βασισμένες σε δεδομένα. Θα είστε μέλος μιας ομάδας μηχανικών υψηλών επιδόσεων με έδρα το Τελ Αβίβ.

Αρμοδιότητες:

• Ηγείστε του σχεδιασμού, της ανάπτυξης και της ιδιοκτησίας κλιμακούμενων αγωγών δεδομένων (ETL/ELT) που τροφοδοτούν τις αναλύσεις, τα χαρακτηριστικά του προϊόντος και την κατανάλωση σε μεταγενέστερο στάδιο.
• Συνεργάζεστε στενά με τις ομάδες Product, Data Science, Data Analytics και full-stack/platform για την παροχή λύσεων δεδομένων που εξυπηρετούν τις ανάγκες του προϊόντος και της επιχείρησης.
• Κατασκευάζετε και βελτιστοποιείτε ροές εργασίας δεδομένων χρησιμοποιώντας Databricks, Spark (PySpark, SQL), Kafka και εργαλεία που βασίζονται στην AWS.
• Υλοποιήστε και διαχειριστείτε αρχιτεκτονικές δεδομένων που υποστηρίζουν επεξεργασία σε πραγματικό χρόνο και σε δέσμη, συμπεριλαμβανομένων των επιπέδων ροής, αποθήκευσης και επεξεργασίας.
• Ανάπτυξη, ενσωμάτωση και συντήρηση συνδέσμων δεδομένων και αγωγών εισαγωγής δεδομένων από πολλαπλές πηγές.
• Διαχείριση της ανάπτυξης, της κλιμάκωσης και της απόδοσης της υποδομής και των συστάδων δεδομένων, συμπεριλαμβανομένου του Spark on Kubernetes, του Kafka και των υπηρεσιών AWS.
• Διαχείριση της ανάπτυξης, της κλιμάκωσης και της απόδοσης της υποδομής και των συστάδων δεδομένων, συμπεριλαμβανομένων των Databricks, της Kafka και των υπηρεσιών AWS.
• Χρήση του Terraform (και παρόμοιων εργαλείων) για τη διαχείριση υποδομών ως κώδικα για πλατφόρμες δεδομένων.
• Μοντελοποίηση και προετοιμασία δεδομένων για αναλύσεις, BI και περιπτώσεις χρήσης που αφορούν προϊόντα, εξασφαλίζοντας υψηλή απόδοση και αξιοπιστία.

Απαιτήσεις:

• 8+ έτη πρακτικής εμπειρίας σε συστήματα δεδομένων μεγάλης κλίμακας σε περιβάλλοντα παραγωγής.
• Αποδεδειγμένη εμπειρία στο σχεδιασμό, την ανάπτυξη και την ενσωμάτωση πλαισίων μεγάλων δεδομένων - PySpark, Kafka, Databricks.
• Ισχυρή τεχνογνωσία στην Python και την SQL, με εμπειρία στη δημιουργία και βελτιστοποίηση σωληνώσεων δεδομένων δέσμης και ροής.
• Εμπειρία με υπηρεσίες cloud AWS και περιβάλλοντα που βασίζονται σε Linux.
• Ιστορικό στην κατασκευή αγωγών ETL/ELT και στην ενορχήστρωση ροών εργασίας από άκρη σε άκρη.
• Αποδεδειγμένη εμπειρία στο σχεδιασμό, την ανάπτυξη και τη λειτουργία υποδομών δεδομένων/πλατφορμών δεδομένων.
• Υποχρεωτική πρακτική εμπειρία με το Apache Spark σε περιβάλλοντα παραγωγής.
• Υποχρεωτική εμπειρία στην εκτέλεση του Spark σε Kubernetes.
• Υποχρεωτική πρακτική εμπειρία με τον Apache Kafka, συμπεριλαμβανομένων των συνδετήρων Kafka.
• Κατανόηση των αρχών σχεδιασμού με γνώμονα το γεγονός και τον τομέα στις σύγχρονες αρχιτεκτονικές δεδομένων.
• Εξοικείωση με εργαλεία infrastructure-as-code (π.χ. Terraform) - πλεονέκτημα.
• Εμπειρία στην υποστήριξη εφαρμογών μηχανικής μάθησης ή αλγοριθμικών εφαρμογών - πλεονέκτημα.
• BSc ή ανώτερο πτυχίο στην Επιστήμη των Υπολογιστών, τη Μηχανική, τα Μαθηματικά ή άλλο ποσοτικό πεδίο.