Ingeniero Senior de Big Data con Scala | AWS Spark | Remoto

¿Es usted un desarrollador experimentado de Scala con amplia experiencia en tecnologías de big data e infraestructura en la nube? Nuestra organización fintech, especializada en plataformas de trading e inversión en línea, busca un Ingeniero Senior de Big Data con Scala para diseñar e implementar sofisticados pipelines de datos que potencien nuestros productos financieros. Esta posición remota le ofrece la oportunidad de trabajar con tecnologías de vanguardia en un entorno dinámico y acelerado. Acerca del Puesto Como Ingeniero Senior de Big Data con Scala, será fundamental en la arquitectura y desarrollo de sistemas robustos de procesamiento de datos que respalden nuestras plataformas de trading e inversión. Trabajará con conjuntos masivos de datos, optimizará el rendimiento y garantizará la fiabilidad en nuestra infraestructura de sistemas distribuidos. Esta posición requiere un profundo conocimiento técnico combinado con la capacidad de comprender los desafíos del dominio financiero. Responsabilidades Clave - Diseñar e implementar pipelines de datos eficientes y escalables utilizando Scala 2.13/3.0 y tecnologías de big data de última generación. - Desarrollar y mantener flujos de trabajo ETL empleando Apache Spark 3.3+, Hadoop 3.3+, Hive 3.1+ y Apache Airflow 2.5+. - Arquitectar soluciones para el procesamiento de flujos de datos financieros de alto volumen con Apache Kafka 3.3+. - Optimizar el almacenamiento y recuperación de datos en diversos sistemas, incluyendo HDFS, Amazon S3, Apache Cassandra 4.1+ y sistemas RDBMS. - Colaborar con equipos de Ciencia de Datos para implementar y optimizar sus modelos y algoritmos en Python 3.9+. - Construir y mantener infraestructura en AWS, aprovechando servicios como S3, Athena, EMR, EKS y Lambda. - Implementar pruebas automatizadas completas para aplicaciones Spark para garantizar la integridad de los datos. - Participar en revisiones de código y discusiones técnicas para mejorar la arquitectura del sistema. - Monitorear métricas de rendimiento e implementar optimizaciones para pipelines de datos existentes. - Documentar soluciones técnicas y compartir conocimientos con los miembros del equipo. Habilidades y Experiencia Requeridas - 4+ años de experiencia profesional con desarrollo en Scala en entornos de producción. - Sólida competencia con Apache Spark, ecosistema Hadoop y principios de computación distribuida. - Experiencia práctica con Hive, Airflow y herramientas de orquestación de flujos de trabajo. - Experiencia demostrada con Kafka y arquitecturas basadas en mensajes. - Conocimiento avanzado de soluciones de almacenamiento de datos, incluyendo HDFS, AWS S3 y Cassandra. - Comprensión sólida de conceptos de bases de datos relacionales y dominio en SQL. - Experiencia diseñando e implementando pipelines de datos para sistemas a gran escala. - Experiencia comprobada con servicios AWS (S3, Athena, EMR, EKS, etc.). - Capacidad para leer y comprender código Python, particularmente para aplicaciones de ciencia de datos. - Experiencia escribiendo y manteniendo pruebas automatizadas para aplicaciones Spark. - Excelentes habilidades de comunicación en inglés, tanto oral como escrito. Valorable Adicional - Experiencia en la industria fintech, trading o inversión. - Conocimiento de procesamiento de datos en tiempo real y sistemas de baja latencia. - Familiaridad con tecnologías de containerización (Docker, Kubernetes). - Experiencia con pipelines CI/CD y prácticas DevOps. - Comprensión de los requisitos de gobernanza de datos y cumplimiento normativo en servicios financieros. - Contribuciones a proyectos de código abierto o a la comunidad de Scala. - Certificaciones en AWS o tecnologías de big data. Por Qué Unirse a Nuestro Equipo Trabajar con nosotros significa estar a la vanguardia de la innovación en tecnología financiera. Ayudará a construir sistemas que procesan millones de transacciones diarias e impactan directamente en las decisiones de inversión de nuestros clientes. Ofrecemos compensación competitiva, acuerdos flexibles de trabajo remoto, oportunidades de desarrollo profesional y la posibilidad de trabajar con un equipo diverso de ingenieros talentosos. Únase a nosotros para crear plataformas de trading e inversión de próxima generación que están remodelando el panorama financiero.