Arquiteto de Dados

O Arquiteto de Dados será responsável por arquitetar e desenvolver soluções escaláveis baseadas em dados, contribuindo para a criação do roadmap técnico de dados no contexto de uma tribo. Identificar oportunidades para produtos de dados, liderar entregas complexas e guiar tecnicamente a equipe para implementar soluções simples e eficazes, garantindo alta qualidade e redução do esforço técnico.

Responsabilidades:

• Desenvolvimento e Evolução de Plataformas: Projetar, desenvolver e evoluir plataformas de dados robustas e escaláveis;

• Ideação e Implementação de Arquiteturas: Liderar a ideação e implementação de novas arquiteturas de dados;

• Automação e Escalabilidade: Desenvolver pipelines de dados automatizados e escaláveis;

• Documentação e Conhecimento: Documentar processos e sistemas de forma detalhada;

•  Relatórios e Comunicação: Criar relatórios técnicos detalhados e apresentar para stakeholders;

• Colaboração Interdisciplinar: Trabalhar com equipes de ciência de dados e engenharia de dados para entender requisitos;

• Avaliar e incorporar novas tecnologias em conjunto com Arquitetura;

• Mentorear engenheiros de dados juniores e plenos;

• Propor melhorias contínuas nos processos e ferramentas;

• Auxiliar a definir e implementar arquiteturas de dados (Data Lake, Lake House, Data Mesh, etc.);

• Interagir com as partes interessadas de negócios e tecnologia para criar uma visão convincente de uma empresa orientada por dados em seu ambiente. Criar novos artefatos que promovam a reutilização de código;

• Trabalhará em estreita colaboração com os clientes para projetar, implementar e gerenciar soluções que atendam aos seus requisitos técnicos e objetivos de negócios;

• Fornecerá conhecimento técnico e melhores práticas durante todo o ciclo de vida dos projetos e no dia a dia;

• Com profundo conhecimento dos produtos e serviços Cloud (AWS, Azure e S3);

• Proficiente na arquitetura de soluções complexas, escaláveis e seguras, adaptadas às necessidades específicas de cada área e projeto;

• Deverá coletar requisitos, avaliar a infraestrutura atual e propor estratégias Clould, de melhoria e de governança;

• Gerenciamento de Usuários;

• Criar, modificar e excluir usuários, bem como gerenciar suas credenciais de acesso e funções;

• Controle de Acesso;

• Conceder e revogar privilégios em objetos Snowflake, como tabelas, esquemas e warehouses;

• Configuração de Segurança;

• Implementar políticas de segurança, como MFA (Autenticação Multifator) e auditoria de acesso;

• Monitoramento e Gerenciamento de Recursos;

•  Acompanhar o uso da conta, como armazenamento e consumo de computação, para garantir eficiência e custo-benefício;

• Gerenciamento de Dados.

Requisitos:

• AWS, como Athena, Glue, Lambda, S3, DynamoDB, Azure, Databricks, Redshift;

• Conhecimento avançado em Desenvolvimento de Software em Python;

• Conhecimento avançado em Pyspark;

• Conhecimento em Arquiteto de Dados;

• Ferramentas de IaC como Terraform, Plumini e CloudFormation;

• Conhecimento e uso de ferramentas de CDC;

• Armazenamento e Arquitetura de Dados: Implementação de datake e estruturas Medallion;

• Modelos de Machine Learning em produção: Experiência no deploy e monitoramento de modelos;

• Ferramentas de ETL e Orquestração: Experiência com Apache Airflow, dbt e outras ferramentas.