Engenheiro de Dados Azure Pleno

Responsabilidades:

• Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
• Construir pipeline de dados utilizando Azure Data Factory.
• Construir notebooks em Python e SQL utilizando Databricks.
• Construir Modern Data Warehouse com Synapse Analytics.
• Trabalhar com ingestões de dados em Datalakehouse.
• Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
• Usar junções de vários tipos, como junções internas, externas e naturais.
• Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.
• Usar funções agregadas de vários tipos.
• Usar SQL com grandes conjuntos de dados.
• Usar PySpark para realizar análise exploratória de dados (EDA) de forma eficiente e escalável.
• Usar PySpark para gerar modelos de aprendizado de máquina.

Requisitos:

• Identificar os principais requisitos de negócios para um modelo de dados complexo.
• Projetar um modelo de dados complexo que atenda a esses requisitos.
• Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.
• Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
• Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
• Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.

Diferenciais:

• Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.
• Experiência em projetos complexos de BI.
• Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.
• Experiência em projetos complexos de DB, DW, lake e lakehouse.
• Experiência em projetos complexos de ETL.
• Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.
• Experiência em implementação de pipelines complexos em cenários desafiadores.
• Expertise em conceitos avançados de DevOps.
• Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.