Principal Engineer - Databricks

Resumo: Estamos buscando um(a) Principal Engineer para ser a autoridade técnica da plataforma Databricks corporativa de um cliente Ideen: uma companhia de grande porte e operação internacional, cuja área de Enterprise Intelligence constrói sobre essa plataforma os produtos de dados, as soluções analíticas e a próxima geração de aplicações inteligentes do negócio.

Não é uma cadeira de desenvolvimento nem de administração isolada. A posição é dona dos padrões técnicos de toda a plataforma: arquitetura de workspaces, segurança, governança, deployment e orquestração de cargas, além das capacidades de IA que consomem o dado corporativo. À medida que a área amadurece, o escopo se estende para analytics conversacional e agentes de IA sobre Databricks AI/BI Genie, Mosaic AI e LLMs.

É liderança técnica hands-on: a pessoa constrói a solução e, ao mesmo tempo, estabelece os padrões, as arquiteturas de referência e os frameworks que permitem o restante da organização escalar. A divisão aproximada do tempo é 35% plataforma e arquitetura, 25% orquestração e engenharia de produção, 25% Genie e agentes de IA, e 15% liderança técnica e capacitação do time. A influência se dá por arquitetura, mentoria e código, não por gestão direta de pessoas.

Responsabilidades

Plataforma e arquitetura Databricks

• Atuar como autoridade técnica principal da plataforma Databricks dentro da área de Enterprise Intelligence.
• Projetar e evoluir a arquitetura do ambiente Databricks nas trilhas de desenvolvimento, teste e produção.
• Estabelecer padrões escaláveis de configuração de workspace, compute, SQL warehouses, jobs, workflows, segurança, rede e integrações.
• Desenhar e implementar padrões de governança e controle de acesso com Unity Catalog, incluindo identidade, permissões, service principals, segredos e acesso seguro ao dado corporativo.
• Criar padrões repetíveis de deploy e configuração com infraestrutura como código e práticas de CI/CD.
• Monitorar e otimizar performance, utilização de compute, confiabilidade e custo da plataforma.
• Avaliar novas capacidades do Databricks e definir como se encaixam na arquitetura da área.

Orquestração e engenharia de produção

• Arquitetar padrões reutilizáveis de orquestração para pipelines de dados, cargas analíticas, aplicações inteligentes e processos automatizados.
• Construir e manter Databricks Jobs e Workflows para cargas produtivas.
• Desenvolver bibliotecas, frameworks, templates e automações reutilizáveis que aumentem a velocidade de engenharia da organização.
• Estabelecer com os engenheiros de dados os padrões de ingestão, transformação, teste, deploy, monitoramento e recuperação.
• Integrar as cargas do Databricks a serviços de nuvem, aplicações corporativas, APIs e outras plataformas de dados.
• Definir os padrões de observabilidade e operação que permitem ao time identificar e resolver incidentes rapidamente.

Governança de dados

• Implementar padrões escaláveis de governança com Unity Catalog e capacidades relacionadas.
• Estabelecer padrões de acesso, linhagem, metadados, qualidade de dado, segurança e separação de ambientes.
• Desenhar guardrails que permitam aos times andar rápido mantendo controle e governança.
• Traduzir requisitos corporativos de governança em padrões práticos de engenharia, junto a produto de dados, segurança, arquitetura e áreas de negócio.

Genie e aplicações inteligentes

• Projetar e desenvolver experiências de Databricks AI/BI Genie ancoradas em dado corporativo governado.
• Estabelecer padrões de produto de dados e de contexto semântico que permitam ao Genie e a outras experiências de IA interpretar corretamente o dado da companhia.
• Construir e integrar agentes de IA que interajam de forma segura com dados governados, regras de negócio, APIs e sistemas corporativos.
• Desenvolver padrões de retrieval e grounding para aplicações que exigem contexto corporativo.
• Estabelecer práticas de avaliação, monitoramento, tracing, segurança e governança para aplicações de