Engenheiro de Dados Pl - Stefanini - Remoto

[Mayara Marques]

Engenheiro de Dados Pl - Stefanini - Remoto

Responsabilidades e atribuições

O que esperamos que você realize:

• Projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks.
• Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas
• Desenvolver queries e análises complexas com Amazon Athena, Trino e Databricks.
• Implementar processos de ETL/ELT para integração de múltiplas fontes de dados.
• Otimizar a performance de queries e o processamento de dados em larga escala.
• Participar de code reviews e fornecer mentoria técnica à equipe.
• Colaborar com stakeholders de negócios para traduzir requisitos em soluções técnicas.
• Implementar rotinas de monitoramento e observabilidade dos pipelines de dados
• Agendar a execução de rotinas de ETL usando Apache Airflow.

Requisitos e qualificações

Requisitos essenciais:

• Experiência relevante com Python e SQL.
• Sólidos conhecimentos em serviços AWS, incluindo:
• Amazon S3 para armazenamento de dados.
• Amazon Athena para consultas serverless.
• Experiência com Trino (anteriormente PrestoSQL) para queries distribuídas.
• Domínio do Databricks e Delta Lake para processamento de dados.
• Experiência com PySpark para processamento de dados em larga escala.
• Conhecimento em modelagem de dados e data warehousing.
• Experiência com particionamento e otimização de performance em data lakes.
• Domínio de versionamento Git e metodologias ágeis usando Azure DevOps.
• Experiência com formatos de dados modernos (Parquet, Delta, Iceberg).

Diferenciais:

• Certificações AWS (Data Analytics, Solutions Architect ou Data Engineer).
• Experiência com Apache Airflow para orquestração.
• Experiência com streaming de dados (Kinesis, Kafka).
• Conhecimento em dbt (Data Build Tool) para transformações.
• Experiência com Great Expectations para qualidade de dados.
• Familiaridade com ferramentas de CDC (Change Data Capture).
• Conhecimento em observabilidade e monitoramento (Elastic Search com Kibana).
• Experiência com APIs RESTful.
• Conhecimento em containerização (Docker, Kubernetes).
• Experiência com Terraform ou CloudFormation para IaC.

 

Regime de trabalho: Remoto 
Horário de trabalho: Seg a Sex - 09h as 18h 
 
Link para candidatura: Página da Vaga | Engenheiro de Dados Pl