Carreras: explora las oportunidades con Versatile.

Acerca del trabajo:

Versatile es una innovadora startup de inteligencia de construcción impulsada por IA, comprometida a transformar la industria de la construcción con tecnología de vanguardia. Nuestra misión es mejorar la eficiencia, la seguridad y la productividad de los proyectos de construcción a través de soluciones inteligentes.

Estamos contratando a un Ingeniero de Datos Senior que quiera construir productos de datos que muevan la aguja en el mundo físico. Su trabajo ayudará a los profesionales de la construcción a tomar cada día mejores decisiones basadas en datos. Formarás parte de un equipo de ingeniería de alto rendimiento con sede en Tel Aviv.

Responsabilidades:

• Dirigir el diseño, el desarrollo y la propiedad de canalizaciones de datos escalables (ETL/ELT) que impulsen el análisis, las funciones de productos y el consumo posterior.
• Colaborar estrechamente con los equipos de productos, ciencia de datos, análisis de datos y plataformas completas para ofrecer soluciones de datos que satisfagan las necesidades de los productos y las empresas.
• Crear y optimizar flujos de trabajo de datos utilizando Databricks, Spark (PySpark, SQL), Kafka y herramientas basadas en AWS.
• Implementar y administrar arquitecturas de datos que admitan el procesamiento por lotes y en tiempo real, incluidas las capas de transmisión, almacenamiento y procesamiento.
• Desarrollar, integrar y mantener conectores de datos y conductos de ingestión de múltiples fuentes.
• Gestionar la implementación, el escalado y el rendimiento de la infraestructura y los clústeres de datos, incluidos Spark en Kubernetes, Kafka y los servicios de AWS.
• Gestionar la implementación, el escalado y el rendimiento de la infraestructura y los clústeres de datos, incluidos Databricks, Kafka y los servicios de AWS.
• Utilizar Terraform (y herramientas similares) para gestionar la infraestructura como código para plataformas de datos.
• Modelar y preparar datos para análisis, BI y casos de uso orientados a productos, garantizando un alto rendimiento y fiabilidad.

Requisitos:

• Más de 8 años de experiencia práctica trabajando con sistemas de datos a gran escala en entornos de producción.
• Experiencia demostrada en el diseño, despliegue e integración de marcos de big data - PySpark, Kafka, Databricks.
• Sólidos conocimientos de Python y SQL, con experiencia en la construcción y optimización de pipelines de datos batch y streaming.
• Experiencia con servicios en la nube de AWS y entornos basados en Linux.
• Experiencia en la construcción de ETL/ELT pipelines y orquestación de flujos de trabajo end-to-end.
• Experiencia demostrada en el diseño, la implementación y el funcionamiento de infraestructuras y plataformas de datos.
• Experiencia práctica obligatoria con Apache Spark en entornos de producción.
• Experiencia obligatoria ejecutando Spark en Kubernetes.
• Experiencia práctica obligatoria con Apache Kafka, incluidos los conectores Kafka.
• Comprensión de los principios de diseño orientados a eventos y orientados a dominios en arquitecturas de datos modernas.
• Familiaridad con herramientas de infraestructura como código (por ejemplo, Terraform) - ventaja.
• Experiencia en aplicaciones de aprendizaje automático o algorítmicas: ventaja.
• Licenciatura o superior en Informática, Ingeniería, Matemáticas u otro campo cuantitativo.