DATA ENGINEER (REMOTE)
Portuguese company hires for remote work
FLUENT PORTUGUESE AND ENGLISH (C1)
SEND CV IN ENGLISH
Description
Data Engineer
PURPOSE OF THE JOB
You will work on one of the world's largest platforms which deals with a few petabytes of data coming to the system daily. You will contribute as part of R&D self-organized team working in a challenging, innovative environment for our client.
Investigate, create, and implement the solutions for many technical challenges using cutting edge technologies, including building/enhancing data processing platform enabling work of software used by hundreds of millions of users.
RESPONSIBILITIES
• Obtains tasks from the project lead or Team Lead (TL), prepares functional and design specifications, approves them with all stakeholders.
• Ensures that assigned area/areas are delivered within set deadlines and required quality objectives.
• Provides estimations, agrees task duration with the manager and contributes to project plan of assigned area.
• Evaluating existing data systems.
• Developing best practices for data coding to ensure consistency within the system.
• Updating and optimizing local and metadata models.
• Evaluating implemented data systems for variances, discrepancies, and efficiency.
• Troubleshooting and optimizing data systems.
• Understand the business drivers and analytical use-cases and translate these to data products.
• Design, implement and maintain pipelines that produce business critical data reliably and efficiently using cloud technology.
• Addresses area-level risks, provides, and implements mitigation plan.
• Reports about area readiness/quality, and raise red flags in crisis situations which are beyond his/her AOR.
• Responsible for resolving crisis situations within his/her AOR.
• Initiates and conducts code reviews, creates code standards, conventions, and guidelines.
• Suggests technical and functional improvements to add value to the product.
• Constantly improves his/her professional level.
• Collaborates with other teams.
- MUST HAVE -
Having a solid understanding of data engineering principles and proficiency in designing, building, and optimizing data pipelines.
Having knowledge of ETL tools and frameworks and an understanding of native capabilities for data ingestion, transformation, and orchestration, such AIRFLOW
Strong SQL skills
Proficiency in Python
Minimum 4 years experience in the technologies above
PLUS -
In-depth knowledge of both Snowflake and Databricks platforms is required. Proficiency in data modeling and designing efficient data structures/ETL processes and optimizing data storage.
AWS cloud experience (EC2/S3).
Awareness of data governance principles and best practices for ensuring data security, and compliance.
Tableau, Python/Scala, PySpark, SparkSQL, Airflow, Kafka, Flink, Trino, Snowflake, Deltalake, Databricks, AWS (EC2/S3).
- Office hours -
Eastern Daylight Time
- 14:30 PM - 22:30 PM ( Lisbon Time) -
- 09:30 AM- 17.30 PM ( Client Time)
- Pacific Daylight Time -
- 17:00 PM - 01:00 AM ( Client Time) - preferred time -
- 09:30AM - 16:00 PM ( Client Time)
Full remote
______________________________________________________________________________
ENGENHEIRO DE DADOS (REMOTO)
Empresa portuguesa contrata para trabalho remoto
PORTUGUÊS E INGLÊS FLUENTES (C1)
ENVIAR CV EM INGLÊS
Descrição
Engenheiro de Dados
OBJETIVO DO TRABALHO
Você trabalhará em uma das maiores plataformas do mundo, que lida com alguns
petabytes de dados que chegam ao sistema diariamente. Você contribuirá como parte do
Equipe auto-organizada de pesquisa e desenvolvimento trabalhando em um ambiente desafiador e inovador para o nosso cliente.
Investigue, crie e implemente as soluções para muitos técnicos
desafios usando tecnologias de ponta, incluindo a construção/aprimoramento de dados
plataforma de processamento que permite o trabalho de software usado por centenas de milhões de
Usuários.
RESPONSABILIDADES
• Obtém tarefas do líder do projeto ou Líder de Equipe (TL), prepara especificações funcionais e de design, aprova-as com todas as partes interessadas.
• Garante que a área/áreas atribuídas sejam entregues dentro dos prazos definidos e dos objetivos de qualidade exigidos.
• Fornece estimativas, concorda a duração da tarefa com o gerente e contribui para o plano de projeto da área designada.
• Avaliação de sistemas de dados existentes.
• Desenvolvimento de melhores práticas de codificação de dados para garantir a consistência dentro do sistema.
• Atualização e otimização de modelos locais e de metadados.
• Avaliação de sistemas de dados implementados quanto a variâncias, discrepâncias e eficiência.
• Solução de problemas e otimização de sistemas de dados.
• Entender os drivers de negócios e casos de uso analíticos e traduzi-los para produtos de dados.
• Projetar, implementar e manter pipelines que produzem dados críticos de negócios de forma confiável e eficiente usando a tecnologia de nuvem.
• Aborda riscos em nível de área, fornece e implementa plano de mitigação.
• Relatórios sobre prontidão/qualidade da área, e levantar bandeiras vermelhas em situações de crise que estão além de sua AOR.
• Responsável pela resolução de situações de crise dentro do seu AOR.
• Inicia e conduz revisões de código, cria padrões de código, convenções e diretrizes.
• Sugere melhorias técnicas e funcionais para agregar valor ao produto.
• Melhora constantemente seu nível profissional.
• Colabora com outras equipes.
- DEVE TER -
Ter uma sólida compreensão dos princípios de engenharia de dados e proficiência em projetar, construir e otimizar pipelines de dados.
Ter conhecimento de ferramentas e frameworks de ETL e uma compreensão de recursos nativos para ingestão, transformação e orquestração de dados, como AIRFLOW
Fortes habilidades em SQL
Proficiência em Python
Experiência mínima de 4 anos nas tecnologias acima
-MAIS-
É necessário um conhecimento profundo das plataformas Snowflake e Databricks.
Proficiência em modelagem de dados e projeto de estruturas de dados/processos de ETL eficientes e otimização do armazenamento de dados.
Experiência na nuvem da AWS (EC2/S3).
Conscientização sobre os princípios de governança de dados e as melhores práticas para garantir a segurança e a conformidade dos dados.
Tableau, Python/Scala, PySpark, SparkSQL, Airflow, Kafka, Flink, Trino, Snowflake, Deltalake, Databricks, AWS (EC2/S3).
-Horário de funcionamento
- Horário de verão oriental
-- 14:30 - 22:30 (Hora de Lisboa)
-- 09:30 - 17:30 (Horário do Cliente)
- Horário de verão do Pacífico
-- 17:00 PM - 01:00 AM ( Hora do Cliente) - horário preferido
-- 09:30 - 16:00 (Horário do Cliente)
100% REMOTO
#00256384
