Mid Level / Senior Data Developer

Estamos em busca de uma pessoa Engenheira de Dados Pleno / Senior altamente qualificado para se juntar à nossa equipe dinâmica de dados. Este papel é fundamental na concepção, construção e manutenção de pipelines de dados e infraestrutura escaláveis para suportar nossos processos de tomada de decisão baseados em dados. 

Responsabilidades: 

• Projetar e Desenvolver Pipelines de Dados: Arquitetar, implementar e manter pipelines ETL/ELT escaláveis e de alto desempenho para processar grandes volumes de dados estruturados e não estruturados.
• Integração e Processamento de Dados: Construir arquiteturas acionadas por eventos para permitir o processamento de dados em tempo real e a integração perfeita entre sistemas.
• Gerenciamento da Infraestrutura em Nuvem: Aproveitar os serviços em nuvem AWS (por exemplo, S3, Redshift, Glue, Lambda, Kinesis, Pentaho) para projetar e implantar uma infraestrutura de dados robusta.
• Desenvolvimento e Otimização de Código: Escrever código limpo, eficiente e de fácil manutenção em Python para suportar a ingestão, transformação e orquestração de dados.
• Colaboração em Ambientes Ágeis: Trabalhar em estreita colaboração com equipes multifuncionais, incluindo cientistas de dados, analistas e engenheiros de software, seguindo metodologias ágeis para entregar soluções iterativas.
• Qualidade e Governança de Dados: Implementar melhores práticas para qualidade de dados, monitoramento e conformidade para garantir a integridade, consistência e segurança dos dados.
• Otimização de Desempenho: Otimizar pipelines de dados e consultas em ambientes em nuvem para desempenho, escalabilidade e eficiência de custos.
• Mentoria e Liderança: Fornecer orientação técnica aos membros juniores da equipe, promovendo uma cultura de aprendizado contínuo e melhoria.
• Documentação e Compartilhamento de Conhecimento: Documentar designs técnicos, processos e fluxos de trabalho para garantir a manutenção e transferência de conhecimento.

Requisitos: 

• Experiência profissional como Engenheiro de Dados ou em papel semelhante, com forte foco no desenvolvimento de pipelines de dados e soluções de dados baseadas em nuvem.
• Proficiência avançada em Python para processamento de dados, scripting e automação.
• Experiência prática com Databricks para processamento de grandes dados, incluindo Spark, Delta Lake e fluxos de trabalho do Databricks.
• Conhecimento profundo em serviços AWS para construir e gerenciar infraestrutura de dados.
• Expertise em projetar e implementar fluxos de trabalho ETL/ELT utilizando ferramentas como Apache Airflow, AWS Glue ou semelhantes.
• Experiência na construção de pipelines de dados em tempo real usando frameworks acionados por eventos.
• Forte experiência em ambientes ágeis, utilizando metodologias Scrum ou Kanban.
• Proficiência em bancos de dados relacionais e não-relacionais, com expertise em otimização SQL.
• Sólida compreensão de técnicas de modelagem de dados para análises e relatórios.
• Familiaridade com pipelines CI/CD, controle de versão e infraestrutura como código.
• Habilidades analíticas excepcionais focadas na entrega de soluções escaláveis e eficientes.
• Excelentes habilidades de comunicação verbal e escrita, com a capacidade de colaborar efetivamente com partes interessadas técnicas e não técnicas.

Qualificações Preferenciais:

• Inglês: Nível intermediário a avançado.
• Experiência com tecnologias de conteinerização (por exemplo, Docker, Kubernetes) para implantar aplicações de dados.
• Conhecimento de frameworks de governança de dados e normas de conformidade (por exemplo, GDPR, CCPA).
• Familiaridade com ferramentas de grandes dados como Apache Spark, Hadoop ou Snowflake.
• Certificações em AWS ou Databricks.