Engenheiro de Dados Sênior

Descrição O Engenheiro de Dados Sênior será responsável por projetar, desenvolver e manter pipelines de dados escaláveis, garantindo a qualidade, segurança e governança das informações utilizadas em análises de negócio e sistemas críticos. Responsabilidades · Projetar, desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados em larga escala. · Garantir a governança, qualidade e integridade dos dados em todo o ciclo de vida. · Trabalhar com arquiteturas de data lake, data warehouse e streaming de dados. · Implementar boas práticas de versionamento, monitoramento e observabilidade dos fluxos de dados. · Integrar diferentes fontes de dados (APIs, bancos relacionais, NoSQL, streams, arquivos, etc.). · Avaliar trade-offs entre diferentes abordagens técnicas (custo, performance, complexidade) e comunicar recomendações para stakeholders não técnicos · Monitorar e otimizar custos de processamento e armazenamento em cloud Requisitos Técnicos · Formação: Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas. · Experiência: 5+ anos em engenharia de dados ou desenvolvimento de software ou funções relacionadas. · Linguagens: Python, NodeJS e SQL; · Bancos de Dados: MySQL, PostgreSQL, SQL Server, MongoDB, Redis, ElasticSearch · Big Data: Apache Spark (PySpark, Spark SQL), Databricks (Delta Lake, clusters, otimização de custos), processamento de tabelas com 56B+ linhas · Cloud: AWS (S3, EC2, Glue, Lambda, IAM) + GCP (BigQuery, Cloud Storage, Pub/Sub) — visão multi-cloud ou ao menos deep em uma · Ferramentas de ETL/Orquestração: Airflow (ou Prefect) + dbt + CI/CD de pipelines (GitHub Actions/GitLab CI) · Formatos: Parquet, Delta Lake, Avro — estratégias de particionamento, compactação e otimização de leitura/escrita · Streaming: Kafka, RabbitMQ, Pub/Sub. · DevOps e Infraestrutura: Docker, Git, Linux. · Segurança e Governança: boas práticas de criptografia, controle de acesso (IAM), Lineage de dados, catalogação, políticas de acesso (RBAC/ABAC), retenção e conformidade (LGPD). Competências Comportamentais · Capacidade de lidar com grandes volumes de dados e ambientes de alta complexidade. · Perfil analítico e orientado a resultados. · Boa comunicação e habilidade para trabalhar em times multidisciplinares. · Capacidade de mentorar juniores e plenos. · Visão de arquitetura e escalabilidade. Diferenciais · Vivência com arquiteturas orientadas a eventos e micro serviços. · Conhecimento em observabilidade (Grafana, Prometheus, Loki, ELK). · Ter trabalhado com NFe, CTe e MDFe · BI e Visualização: Power BI, Superset. Local e Modelo de Trabalho · Presencial · Tipo de contrato: PJ