Data Engineer Pleno

Conheça um pouco sobre a área:

Estamos à procura de um Data Engineer Pleno para integrar nosso time de Dados. O profissional será responsável por desenvolver e manter pipelines de dados robustos e escaláveis, garantir a qualidade e a integridade dos dados, além de colaborar com diferentes equipes para fornecer soluções de dados eficientes. Se você tem paixão por dados, habilidades técnicas avançadas e experiência com grandes volumes de dados, queremos conhecer você!

Desafios que você vai encontrar:

• Desenvolver, manter e otimizar pipelines de dados utilizando Apache Spark.
• Implementar e gerenciar soluções de dados na plataforma Databricks.
• Implementar e gerenciar soluções de orquestração de pipeline de dados na plataforma Apache Airflow.
• Projetar e implementar arquitetura de dados na AWS, utilizando serviços como S3, RDS, DynamoDB, ECS, EKS, Glue, Lambda, entre outros.
• Garantir a qualidade e integridade dos dados através de práticas de validação e monitoramento.
• Colaborar com equipes de análise de dados, ciência de dados e outros stakeholders para entender necessidades de dados e fornecer soluções eficazes.
• Participar na definição e implementação de boas práticas de engenharia de dados.
• Documentar processos, pipelines e arquitetura de dados de forma clara e detalhada.

Conhecimentos importantes para a posição:

• Formação em Ciência da Computação, Engenharia de Dados, Sistemas de Informação ou áreas relacionadas.
• Experiência comprovada como Data Engineer ou em funções similares.
• Experiência com ferramentas de orquestração de workflows, como Apache Airflow.
• Conhecimento em linguagens de programação como Python.
• Conhecimento intermediário em Apache Spark.
• Experiência com Databricks e suas funcionalidades.
• Experiência em arquitetura de dados na AWS, incluindo serviços como S3,RDS, DynamoDB, ECS, EKS, Glue e Lambda.
• Sólidos conhecimentos em SQL e na modelagem de dados.
• Experiência com ferramentas de ETL/ELT.
• Capacidade de trabalhar de forma colaborativa em um ambiente ágil.
• Boas habilidades de comunicação e capacidade de traduzir requisitos de negócio em soluções técnicas.

Diferencial para a posição:

• Experiência com outras plataformas de nuvem como Azure ou Google Cloud.
• Certificações em AWS, Databricks ou outras relacionadas.
• Experiência em automação de infraestrutura com Terraform.
• Experiência em CI/CD com Github Actions.