Engenheiro de Databricks

Olá Mundo!

Nós somos The Codest - Empresa internacional de software tecnológico com centros tecnológicos na Polónia que fornece soluções e projectos globais de TI. Os nossos valores fundamentais assentam na abordagem "Os clientes e as pessoas em primeiro lugar", que dá prioridade às necessidades dos nossos clientes e a um ambiente de colaboração para os nossos funcionários, permitindo-nos fornecer produtos e serviços excepcionais.

As nossas competências centram-se em desenvolvimento web, engenharia de nuvem, DevOps e qualidade.  Depois de muitos anos a desenvolver o nosso próprio produto - Yieldbird, que foi distinguido como laureado nos prestigiados prémios Top25 da Deloitte, chegámos à nossa missão: ajudar as empresas tecnológicas a criar produtos com impacto e a escalar as suas equipas de TI através da melhoria do desempenho da entrega de TI. Através da nossa vasta experiência em desafios de desenvolvimento de produtos, tornámo-nos especialistas na construção de produtos digitais e no escalonamento de equipas de TI. 

Mas a nossa viagem não termina aqui - queremos continuar o nosso crescimento. Se é motivado por objectivos e procura novas oportunidades, junte-se à nossa equipa! O que o espera é um ambiente enriquecedor e colaborativo que promove o seu crescimento a cada passo.

Estamos atualmente à procura de

ENGENHEIRO DE DADOS DA DATABRICKS

📈 As suas responsabilidades:

Terá a oportunidade de contribuir para uma aplicação bancária de um dos principais grupos financeiros do Japão. A plataforma está equipada com módulos bancários e funcionalidades de gestão de dados e também está virada para o cliente. Estamos à procura de um engenheiro experiente em Databricks para conceber, construir e gerir soluções de dados escaláveis e pipelines utilizando Databricks. Trabalhará em estreita colaboração com equipas multifuncionais para garantir que os dados são fiáveis, acessíveis e eficientes para alimentar as iniciativas de análise e de business intelligence.

• Experiência com Medalhão de Arquitetura (Bronze, Prata, Ouro) para casas de lago utilizando padrões de desempenho optimizados
• Construir forte quadros de qualidade dos dados com testes e monitorização automatizados
• Implementar Caraterísticas do Lago Delta tais como viagens no tempo, operações no vácuo e ordenação Z
• Desenvolver e manter sistemas complexos Pipelines ETL/ELT processamento diário de conjuntos de dados em grande escala
• Conceber e implementar Fluxos de trabalho CI/CD para pipelines de dados utilizando Databricks Asset Bundles ou ferramentas equivalentes
• Criar soluções de processamento de dados em tempo real e em lote com Streaming Estruturado e Tabelas Delta Live
• Otimizar Empregos no Spark para eficiência de custos e desempenho, tirando partido do escalonamento automático de clusters e da gestão de recursos
• Desenvolver integrações personalizadas com APIs da Databricks e sistemas externos
• Conceção escalável arquitecturas de dados utilizando o Unity Catalog, Delta Lake e Apache Spark
• Estabelecer arquitecturas de malha de dados com governação e acompanhamento da linhagem

Requisitos essenciais:

• Mais de 6 anos de experiência em engenharia de dados, com um sólido historial de conceção e implementação de condutas de dados de nível de produção e fluxos de trabalho ETL/ELT
• Proficiência em Python, PySpark e SQL
• Vasta experiência prática com Serviços AWS como Glue, Lambda, Redshift e S3
• Sólida experiência em ferramentas de gestão e governação de dadosincluindo plataformas como o Unity Catalog e o AWS Sagemaker Unified Studio
• Experiência comprovada em iniciativas de migração de dados e modernização de sistemas antigos
• Conhecimentos comunicativos da língua inglesa (o projeto faz parte de uma equipa internacional)

É bom ter: 

• Engenheiro de dados profissional certificado da Databricks (ou certificação equivalente)
• Excelentes capacidades de comunicação e de trabalho em equipa
• Forte pensamento analítico e capacidade de resolução de problemas
• A experiência com ferramentas de contentorização e orquestração (por exemplo, Docker, Kubernetes) é considerada uma vantagem

📜 A nossa promessa (o que pode esperar de nós):

• 27000-34000 PLN no contrato B2B
• 100% trabalho à distância (mas temos escritórios em Cracóvia e Varsóvia e temos todo o gosto em encontrarmo-nos lá de vez em quando 😉)
• 300 PLN para utilizar na nossa plataforma de benefícios, Worksmile - cartões de oferta, serviços médicos, desporto, etc.
• O nosso contrato B2B contém disposições que lhe permitem obter apoio da IP BOX
• Eventos de integração, oportunidades de formação e muito mais...
• Uma oportunidade única para levar a sua carreira para o próximo nível - estamos à procura de pessoas que queiram criar um impacto. Se tem ideias, nós queremos ouvi-las!

Processo de recrutamento:

• Chamada de seleção de 30 minutos em linha com o nosso recrutador
• Chamada técnica de 45min-1h com um dos nossos engenheiros
• 1h de conversa com o chefe de equipa
• Oferta

Perguntas, ideias? Não hesite em contactar a nossa equipa de recrutamento:

[email protected]