Cadre du projet

Pour un client grand compte en finance, nous recherchons un Ingénieur d’études et Développement JAVA / BIG DATA / HADOOP /SQL

La phase 1 du projet consiste à mettre à disposition dans un cluster Hadoop (distrib Horton) mutualisé entre les différents métiers de notre client, les données des applications de collecte, analyse, validation, diffusion du P&L économique, pour l’ensemble des activités de marché de la banque, des autres applications du Service des Résultats : descriptifs d’opérations et Market Datas

Le 1er niveau de mise à disposition sera à travers des tables ou vues HIVE (les accès à l’existant se font en SQL).
Cela implique de gérer
– le cycle de vie des données (recopie, versionning, purge)
– les vues de mise à disposition
– la transformation et/ou dénormalisation des données selon les besoins d’usages

Un 2eme niveau d’accès plus convivial et plus guidé est envisagé, à travers une technologie de type cubes OLAP. La technologie (Indeximma, MS-SSAS + Plybase, Active Pivot, Kylin, …) reste à choisir.

Les principales tâches à réaliser sont les suivantes :

Implémentation des lots de fonctionnalités du projet
Usage principalement de Hive/Tez, format ORC, SQL, SQOOP.

Usage potentiel (non planifié) d’autres composants Hadoop (SPARK, Indeximma, …)

La mission nécessite une maîtrise des environnements suivants :

Niveau confirmé en SQL

Niveau confirmé en Java

Niveau confirmé en hadoop

Compétences fonctionnelles requises :

Notions en Finance de marché