Dernière mise à jour le 16/07/2024

Hadoop, développer des applications pour le Big Data

Informations générales

Type de formation : Formation continue
Domaine : IA, Big Data et Bases de données
Filière : Big Data
Rubrique : NoSQL et Hadoop
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

 
    • Construire un programme à base de Map Reduce
    • Intégrer Hadoop HBase dans un workflow d'entreprise
    • Travailler avec Apache Hive et Pig depuis HDFS
    • Utiliser un graphe de tâches avec Hadoop
 

Public visé

Concepteurs, développeurs.

Pré-requis

    • Bonne expérience en développement Java.
    • Des connaissances en architecture
    • Web constitue un plus.
 

Programme

Le Big Data
Définition du périmètre du Big Data.
Le rôle du projet Hadoop.
Les concepts de base des projets Big Data.
 
Présentation du Cloud Computing.
Différence entre Cloud Computing privé et public.
Les architectures Big Data à base du projet Hadoop.
Démonstration Usage d'Hadoop et de GoogleApp.  
Collecte de données et application de Map Reduce
Analyse des flux de données dans l'entreprise.
Données structurées et non-structurées.
Les principes de l'analyse sémantique des données d'entreprise.
Graphe des tâches à base de MapReduce.
La granularité de cohérence des données.
Transfert de données depuis un système de persistance dans Hadoop.
Transfert de données d'un Cloud dans Hadoop.
 
Travaux pratiques
Gérer la collecte d'informations clientèles par Map Reduce.
Configuration de l'implémentation YARN.
Développement d'une tâche basée sur Map Reduce.  
Le stockage des données avec HBase
Plusieurs types de base de données XML.
Patterns d'usages et application au Cloud.
Application de Hadoop database au sein d'un workflow.
Utilisation des projets Hive/Pig.
Utilisation du projet HCatalog.
L'API Java HBase.
 
Travaux pratiques
Gérer les modifications d'un catalogue de données fournisseur.  
Le stockage des données sur HDFS Patterns d'usages et application au Cloud.
Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
Opérations, commandes et gestion des commandes.
L'API HDFS Java.
Analyse de données avec Apache Pig.
Le langage Pig Latin.
Utiliser Apache Pig avec Java.
Requêtage avec Apache Hive.
Réplication de données.
Partage de données sur une architecture HDFS.
 
Travaux pratiques
Administrer un référentiel client partagé sur Hadoop.
Utilisation de la console de visualisation.  
Spring Data Hadoop
Introduction à Spring et Spring Data.
Le namespace Hadoop pour Spring.
Utiliser Spring pour simplifier la configuration Hadoop.
Configuration du cache distribué.
Définition des Jobs et dépendance entre Jobs.
Intégration des outils (Pig, Hive…).
 

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Code de formation : DB014

Tarifs

Prix public : 2710
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Campus : Ensemble des sites

Durée : 28 heures
Délai d'accès :
Jusqu’à 8 jours avant le début de la formation

Distanciel possible : Oui

Prochaines sessions

Cliquez sur la date choisie pour vous inscrire :

  • Inscription au 12 / 11 / 2024
    : Ensemble des sites
    : Distanciel possible
    : 28 heures
    : 4 jours
Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BD006

Big Data – Mise en oeuvre pratique d’une solution complète d’analyse des données

        • Disposer des compétences techniques nécessaires à la mise en œuvre d'analyses Big Data
        • Comprendre le cadre juridique du stockage et de l'analyse de données
        • Savoir utiliser des outils de collecte opensource
        • Être en mesure de choisir la bonne solution de stockage de données au regard des spécificités d'un projet (OLAP, NoSQL, graph)
Explorer la boite à outils technologique que constitue Hadoop et son écosystème et savoir comment utiliser chaque brique (MapReduce, HIVE, SPARK,…)  

28 heures de formations sur 4 Jours
En savoir plus

Formation continue

Big Data

BD046

BigData supervision: Grafana Kibana Graphite Prometheus

Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BD007

Big Data – Les fondamentaux de l’analyse des données

    • Comprendre le rôle stratégique de la gestion des données pour l'entreprise
    • Identifier ce qu'est la donnée, et en quoi consiste le fait d'assurer la qualité de données
    • Synthétiser le cycle de vie de la donnée
    • Assurer l'alignement des usages métiers avec le cycle de vie de la donnée
    • Découvrir les bonnes pratiques en matière de contrôle de qualité des données
    • Assurer la mise en œuvre de la gouvernance de la donnée
 

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BD060

Python avancé pour data-scientists

Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python, savoir extraire des données d'un fichier et les manipuler, mettre en place un modèle d'apprentissage simple. Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python Savoir appliquer les pratiques optimales en matière de nettoyage et de préparation des données avant l'analyse Être capable d'extraire des données d'un fichier Comprendre les mécanismes d'interconnexion aux bases de données Comprendre les principaux outils de traitement et d'analyse de données pour Python

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BD0103

Les fondamentaux de l’analyse statistique avec R

Savoir installer R Comprendre comment manipuler des données avec R Savoir importer et exporter des données Être en mesure de réaliser des analyses statistiques basiques avec R Savoir restituer des résultats à l'aide de graphiques

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BDP05

Visualisation avancée de données avec Python

Savoir traiter les données scientifiques brutes pour leur visualisation Savoir utiliser les librairies graphiques de python pour visualiser des données Graphiques spécifiques : graphes dynamiques, cartographie

14 heures de formations sur 2 Jours
En savoir plus