Requerimientos indispensables
- 7+ años de experiencia en Data Engineering, con ownership senior sobre plataformas productivas.
- Inglés avanzado – Obligatorio
- Experiencia real y profunda en Entity Resolution / Master Data Management.
- Experiencia práctica con: Matching determinístico y probabilístico, Blocking, Confidence scoring, Survivorship, Human-in-the-loop / revisión manual.
- PySpark a escala y experiencia sólida con Delta Lake.
- Experiencia con Microsoft Fabric, especialmente Lakehouse, Warehouse, Notebooks y Pipelines.
- T-SQL y Azure SQL avanzados, incluyendo operaciones de MERGE / upsert bajo carga concurrente.
- Experiencia diseñando pipelines configurables, llevando las diferencias entre fuentes a configuración en lugar de hardcodearlas.
- Experiencia trabajando con datos de múltiples fuentes con estructuras inconsistentes o contratos poco definidos.
- Experiencia trabajando con PII y datos regulados, considerando seguridad, trazabilidad y auditabilidad.
- Capacidad para documentar claramente reglas, decisiones técnicas y procesos.
Funciones
Buscamos Senior Data Engineer con experiencia sólida en Entity Resolution / Master Data Management (MDM) para diseñar y evolucionar una plataforma de identidad sobre datos provenientes de múltiples sistemas.
El desafío principal será construir procesos de matching y deduplicación de alta precisión, capaces de identificar cuándo distintos registros corresponden a una misma persona, minimizando especialmente los falsos matches.
Lo que harás:
- Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas.
- Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual.
- Procesar grandes volúmenes de datos con PySpark y Delta Lake.
- Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes.
- Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos.
- Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse.
- Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching.
- Definir y monitorear criterios de calidad, latencia y actualización de los datos.
- Documentar reglas, decisiones técnicas y funcionamiento de los pipelines.
- Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos.
- Participar en la evolución y mantenimiento de una plataforma de datos productiva.
Deseable
- Experiencia profunda en Databricks o Azure Synapse y transición hacia Microsoft Fabric.
- Experiencia con Splink, Zingg u otras herramientas de Entity Resolution.
- Experiencia con frameworks internos o configurables de orquestación sobre Spark.
- Conocimiento de property management / real estate data y modelos de lease, household, co-signer, roommate, etc.
- Experiencia con datos destinados a procesos operativos o de facturación, más allá de escenarios puramente analíticos o de reporting.
- Experiencia reduciendo deuda técnica y evolucionando plataformas de datos existentes.
- Experiencia con Azure DevOps y CI/CD para data engineering.
- Experiencia con ADLS Gen2, Azure SQL, T-SQL y Power BI.
Beneficios
- Contrato a largo plazo.
- 100% Remoto.
- Vacaciones y PTOs
- Posibilidad de recibir 2 bonos al año.
- 2 revisiones salariales al año.
- Clases de inglés.
- Equipamiento Apple.
- Plataforma de cursos en linea
- Budget para compra de libros.
- Budget para compra de materiales de trabajo
- mucho mas..