Engenheiro DataOps Sênior

Responsabilidades:

• Engenheiro Devops Sênior + Pipeline de Dados
• Desenvolvimento de pipeline de dados para o Data Lake;
• Manutenção dos processos para correção de falhas/erros;
• Implementação de melhorias;
• Atuará no contexto de FastData, implementará os consumers como microserviços no EKS, enriquecerá os eventos com dados da plataforma e integrará do Adobe Analytics.
• Atuar como parte da equipe ágil;
• Colaborar com outros membros da equipe, Engenheiros, PO, QA, Designers, Scrum Master, Funcional e Tech Lead para resolver os desafios existentes;
• Desenvolver, implantar e operar aplicações na cultura DevOps;
• Modelagem de Dados Relacional e Dimensional.

Requisitos:

• Experiência de mínimo de 2 anos atuando com o desenvolvimento e monitoramento de Pipeline AWS;
• Domínio de terraform para trabalhar com Infra as Code
• Domínio em virtualização EC2
• Domínio em esteiras de CI/CD com Git
• Conhecimento prático em Kubernets
• Conhecimentos em serviços de mensageria, especialmente Kafka
• Big Data | Tecnologias, Soluções e Conceitos como Spark, Hadoop, Hive, MapReduce, Kafka;
• Workflow | AirFlow;
• Storage Solutions | S3, Redshift, Parquet, Delta;
• Data Modeling | Landing, Cleaning, Processing, Curation, Estruturas de Fato/Dimensão, encadeamento de ETLs, Data Marts;
• Conhecimento Solido em Pipeline de Dados na AWS.

INDISPENSÁVEL Conhecimento/Atuação em:

• Terraform
• Python 
• Spark 
• Amazon EKS
• GIT
• Kubernetes + Docker