Информационные технологии

Ведущий специалист Devops

Санкт-Петербург 19.08.2019

Обязанности:

• Разработка процессов загрузки данных из систем источников, процессов архивной и инкрементальной загрузок, процессов трансформации данных;
• Анализ и консультации по возможностям реализации требований по созданию эффективных ETL-процессов;
• Разработка пилотных решений по интеграции источников с Платформой данных
• Участие в создании моделей данных для реплики данных
• Разработка и настройка витрин данных;
• Написание оптимальных запросов;

Требования:

 

• Умение разрабатывать и оптимизировать ETL - процессы для  загрузки очистки и унификации данных в хранилище данных (DWH) и слабоструктурированных данных в  Data lake.
• Опыт разработки ETL-процессов от 1-го года и более
• Уменее работать с одним из известных ETL-инструментов (Informatica, Oracle Data Integrator, Oracle GoldenGate, Talend, MS SSIS и т.п.).
• Знание SQL и умение оптимизировать SQL-запросы
• Знания в области оптимизации SQL-запросов и ETL-процедур;
• Анализ источников данных.
• Проведение системного анализа.
• Экспертиза в способах репликации данных между системами и компонентами хранилища.
• Знание и умение построения слоев ODS, DDS 
• Умение выстраивать витрины данных для бизнес-подразделений по требованию.
• Поиск и устранение причин проблем систем-потребителей при работе с хранилищем данных.
Желательно:
• Умение проектировать физической модели данных.
• Хорошее знание SQL, знание принципов построения DWH и Big Data lake, знакомство с *nix окружением
• Опыт работы c СУБД PostgreSQL, GreenPlum.
• Опыт работы с Apache NiFi, Kafka, Hive, Spark Streaming, Spark ML, HBase, Open TSDB .
• Опыт написания MapReduce процедур — отдельный плюс.
• Английский язык на уровне чтения технической документации.
• Целеустремлённость и способность работать в команде.

Условия:

Условия:

  • Работа в стабильной, динамично развивающейся компании
  • Перспектива профессионального роста, возможность обучения
  • ДМС, страхование жизни
  • Годовой бонус по результатам деятельности
  • Уровень заработной платы обсуждается по итогам собеседования

Будем рады, если вы проголосуете за нас в рейтинге лучших работодателей России по ссылке в разделе «Энергетика, добыча и переработка сырья».

Тип занятости:

Постоянный трудовой договор

Требуемый опыт:

От 1 года до 3 лет

  • Поделиться:



Откликнуться на вакансию