Description
O DataLab é a unidade de pesquisa e inovação do grupo Experian na América Latina junto com a Serasa Experian no Brasil. Temos o objetivo de ser propositivo, antecipando o futuro, e consultivo, identificando oportunidades de evolução no mercado, por meio de técnicas de Inteligência Artificial e Machine Learning combinada com uso de novas fontes de dados.
Criamos soluções inovadoras avançadas, que ajudam clientes e mercado a se prepararem hoje para o amanhã de decisões mais assertivas. Além de termos um olhar 360º para trocar com o que há de melhor no âmbito global, considerando o todo e produzindo soluções capazes de alcançar grande escalabilidade.
Estamos em busca de uma mente analítica e experiente para liderar a evolução da nossa infraestrutura de dados. Você será a peça-chave na construção de arquiteturas escaláveis, garantindo que nossos dados não sejam apenas armazenados, mas transformados em vantagem competitiva.
Principais Responsabilidades
- Arquitetura de Data Lake: Desenhar, implementar e sustentar arquiteturas modernas de Data Lake e Lakehouse, garantindo escalabilidade, resiliência e custo-benefício.
- Pipeline de Dados (ETL/ELT): Construir e otimizar fluxos de ingestão de dados em tempo real (streaming) e em batch, assegurando a integridade e a baixa latência das informações.
- Governança e Qualidade: Estabelecer padrões de Data Quality, linhagem de dados e políticas de segurança/privacidade (LGPD) em todo o ecossistema.
- Mentoria Técnica: Atuar como referência para o time, disseminando boas práticas de desenvolvimento (Clean Code, CI/CD) e auxiliando na resolução de problemas complexos.
- Otimização de Performance: Identificar gargalos em processamentos de grandes volumes de dados e propor melhorias estruturais para ganho de performance em queries e jobs.
Requisitos e Qualificações
- Experiência Comprovada: Mínimo de 7 anos de experiência atuando diretamente em Engenharia de Dados, com histórico em ambientes de alta complexidade e larga escala em ambientes de nuvem (preferencialmente na AWS).
- Domínio de Ferramentas: Experiência avançada com Apache Spark (PySpark/Scala) e orquestradores de fluxo (como Airflow, Prefect ou Dagster).
- Linguagens de Programação: Fluência em Python ou Scala, além de domínio de SQL para manipulação e análise de dados.
- Modelagem de Dados: Conhecimento em técnicas de modelagem dimensional.
- Infraestrutura como Código (IaC): Conhecimento em Terraform ou ferramentas similares para provisionamento de recursos de dados.
- Mindset Ágil: Familiaridade com metodologias ágeis e cultura DevOps aplicada a dados (DataOps).
