Carrières : explorez les possibilités offertes par Versatile.

A propos du poste :

Versatile est une startup innovante d'intelligence de construction axée sur l'IA, engagée à transformer l'industrie de la construction avec une technologie de pointe. Notre mission est d'améliorer l'efficacité, la sécurité et la productivité des projets de construction grâce à des solutions intelligentes.

Nous recrutons un ingénieur de données senior qui veut construire des produits de données qui font bouger l'aiguille dans le monde physique. Votre travail aidera les professionnels de la construction à prendre chaque jour de meilleures décisions basées sur des données. Vous ferez partie d'une équipe d'ingénieurs très performante basée à Tel Aviv.

Responsabilités :

• Diriger la conception, le développement et la propriété de pipelines de données évolutifs (ETL/ELT) qui alimentent l'analyse, les fonctionnalités du produit et la consommation en aval.
• Vous travaillez en étroite collaboration avec les équipes Produit, Data Science, Data Analytics et les équipes full-stack/plateforme afin de fournir des solutions de données qui répondent aux besoins du produit et de l'entreprise.
• Construire et optimiser les flux de données en utilisant Databricks, Spark (PySpark, SQL), Kafka et les outils basés sur AWS.
• Mettre en œuvre et gérer des architectures de données qui prennent en charge le traitement en temps réel et par lots, y compris les couches de streaming, de stockage et de traitement.
• Développer, intégrer et maintenir des connecteurs de données et des pipelines d'ingestion provenant de sources multiples.
• Gérer le déploiement, la mise à l'échelle et la performance de l'infrastructure de données et des clusters, y compris Spark sur Kubernetes, Kafka et les services AWS.
• Gérer le déploiement, la mise à l'échelle et les performances de l'infrastructure de données et des clusters, y compris Databricks, Kafka et les services AWS.
• Utiliser Terraform (et des outils similaires) pour gérer l'infrastructure en tant que code pour les plateformes de données.
• Modéliser et préparer les données pour l'analyse, la BI et les cas d'utilisation orientés produit, en garantissant des performances et une fiabilité élevées.

Exigences :

• 8+ ans d'expérience pratique avec des systèmes de données à grande échelle dans des environnements de production.
• Expérience confirmée dans la conception, le déploiement et l'intégration de frameworks big data - PySpark, Kafka, Databricks.
• Forte expertise en Python et SQL, avec une expérience dans la construction et l'optimisation de pipelines de données en batch et en streaming.
• Expérience des services cloud AWS et des environnements basés sur Linux.
• Expérience dans la construction de pipelines ETL/ELT et dans l'orchestration de flux de travail de bout en bout.
• Expérience avérée de la conception, du déploiement et de l'exploitation d'infrastructures et de plateformes de données.
• Expérience pratique obligatoire avec Apache Spark dans des environnements de production.
• Expérience obligatoire de l'exécution de Spark sur Kubernetes.
• Expérience pratique obligatoire avec Apache Kafka, y compris les connecteurs Kafka.
• Compréhension des principes de conception axés sur les événements et sur le domaine dans les architectures de données modernes.
• Familiarité avec les outils d'infrastructure en tant que code (par exemple, Terraform) - avantage.
• Expérience de l'apprentissage automatique ou des applications algorithmiques - avantage.
• Licence ou diplôme supérieur en informatique, ingénierie, mathématiques ou autre domaine quantitatif.