Data Engineer Specialist

Responsabilidades:

🎯#Desafios que você vai encontrar:

• Liderar o design, implementação e evolução de arquiteturas de dados complexas e escaláveis em larga escala, com foco em resiliência e otimização de custos.
• Definir e implementar estratégias avançadas de otimização para pipelines de dados Apache Spark e cargas de trabalho Databricks, visando performance e eficiência.
• Estabelecer e disseminar boas práticas de engenharia de dados, governança e segurança da informação para todo o time, atuando como um mentor técnico.
• Explorar e implementar novas tecnologias e ferramentas no ecossistema AWS (e outras nuvens, se aplicável) para resolver desafios de dados complexos, como streaming de dados em tempo real, data mesh, data fabric, entre outros.
• Atuar como referência técnica para a equipe, revisando códigos, auxiliando na resolução de problemas críticos e promovendo a capacitação técnica.
• Colaborar intensamente com arquitetos de solução, cientistas de dados, analistas e lideranças, traduzindo necessidades de negócio em soluções de dados estratégicas e inovadoras.
• Desenvolver e implementar estratégias de monitoramento, alerta e recuperação de desastres para garantir a alta disponibilidade e integridade dos dados.
• Projetar e supervisionar a implementação de modelos de dados complexos (dimensional, Data Vault, etc.) e a integração de fontes de dados heterogêneas.
• Contribuir ativamente na definição da roadmap tecnológica da área de dados, identificando oportunidades de melhoria contínua e inovação.

Requisitos:

✔️ #Conhecimentos importantes para a posição:

• Formação em Ciência da Computação, Engenharia de Dados, Sistemas de Informação ou áreas correlatas.
• Experiência comprovada e sólida como Data Engineer Sênior ou Especialista, atuando no design e implementação de soluções de dados em larga escala.
• Expertise avançada em Apache Spark, com profunda compreensão de otimizações de performance e arquiteturas distribuídas.
• Domínio da plataforma Databricks, incluindo Delta Lake, MLflow e otimizações de custo/performance.
• Profundo conhecimento e experiência em orquestração de pipelines de dados com Apache Airflow, incluindo custom operators e estratégias de reprocessamento robustas.
• Experiência arquitetando e implementando soluções de dados abrangentes na AWS, com expertise em serviços como S3, RDS, DynamoDB, ECS, EKS, Glue, Lambda, Redshift, Kinesis, Lake Formation e DMS.
• Habilidade de modelar dados complexos e otimizar esquemas para diferentes casos de uso (analítico, transacional, etc.).
• Fluência em Python para desenvolvimento de pipelines e ferramentas de dados.
• Sólidos conhecimentos em SQL avançado e otimização de consultas em grandes volumes de dados.
• Experiência com ferramentas de ETL/ELT e padrões de integração de dados (Batch, Streaming, CDC).
• Forte capacidade de liderança técnica, mentoring e comunicação clara para diferentes públicos.
• Experiência com CI/CD e automação de infraestrutura (IaC - Infrastructure as Code, ex: Terraform).