Data Engineer Pleno

Sobre a vaga

O time de engenharia de dados da EvcomX desenvolve e mantém a infraestrutura que permite transformar dados brutos em valor de negócio. Atuamos com arquitetura medallion em Databricks, processando grandes volumes de dados industriais e garantindo alta disponibilidade das pipelines de produção.

Principais responsabilidades

• Desenvolver e manter pipelines de dados escaláveis usando Spark e Delta Lake.
• Garantir qualidade e disponibilidade dos dados para ciência de dados e aplicações.
• Construir e operar pipelines de produção para inferência de modelos de machine learning.
• Implementar estratégias de data quality e testes em pipelines.
• Colaborar na evolução da arquitetura de dados seguindo padrões de medalhão.
• Otimizar a performance das pipelines.
• Projetar arquiteturas de dados em larga escala para a indústria.
• Aplicar boas práticas de governança de dados.

Perfil desejado

• Experiência de 2 a 4 anos em engenharia de dados.
• Experiência sólida com Apache Spark, preferencialmente PySpark.
• Familiaridade com arquiteturas Data Lakehouse e formatos colunares como Delta e Parquet.
• Uso de controle de versão com Git e boas práticas de código limpo.
• Capacidade de comunicar soluções técnicas a diferentes perfis.

Competências requeridas

• Apache Spark
• PySpark
• Delta Lake
• Delta
• Parquet
• Git
• Databricks