Dernière mise à jour le 04/10/2024

Big Data – Mise en oeuvre pratique d’une solution complète d’analyse des données

Informations générales

Type de formation : Formation continue
Domaine : IA, Big Data et Bases de données
Filière : Big Data
Rubrique : Fondamenteaux
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

        • Disposer des compétences techniques nécessaires à la mise en œuvre d'analyses Big Data
        • Comprendre le cadre juridique du stockage et de l'analyse de données
        • Savoir utiliser des outils de collecte opensource
        • Être en mesure de choisir la bonne solution de stockage de données au regard des spécificités d'un projet (OLAP, NoSQL, graph)
Explorer la boite à outils technologique que constitue Hadoop et son écosystème et savoir comment utiliser chaque brique (MapReduce, HIVE, SPARK,…)
 

Public visé

Chefs de projet Data Scientists, Data Analysts Développeurs Analystes et statisticien Toute personne en charge de la mise en oeuvre opérationnelle d'un projet Big Data en environnement Hadoop

Pré-requis

Il est recommandé d'avoir suivi le module «Big Data - Les fondamentaux de l'analyse des données» (BD007) pour suivre cette formation dans des conditions optimales Être familier des environnement techniques décisionnels traditionnels et connaître les principes de base d'algorithme est vivement recommandé Disposer d'une première approche pratique d'Hadoop est un plus pour suivre cette formation

Programme

LA COLLECTE DE DONNÉES
Où et comment collecter des données ?
Les sources de données, les API, les fournisseurs, les agrégateurs...
Les principaux outils de collecte et de traitement de l'information (ETL)
Prise en main de Talend ETL et de Talend Data
Préparation (outils libres)
Les particularités de la collecte des données semi-structurées et non-structurées  
 
LE STOCKAGE LES DONNÉES
Les différentes formes de stockage des données : rappel de l'architecture relationnelle de stockage des données transactionnelles (SGBD/R) et multidimensionnelles (OLAP)
Les nouvelles formes de stockage des données
- compréhension, positionnement et comparaison : Bases orientées clé-valeur, documents, colonnes, graphes Panorama des bases de données NoSQL
Prise en main d'une base de données orientée colonne (Hbase)
Particularités liées au stockage des données non-structurées
Comment transformer des données non structurées en données structurées  
 
L'ÉCOSYSTÈME HADOOP
Présentation des principaux modules de la distribution
Apache Hadoop Présentation et comparaison des principales distributions commerciales (Cloudera, Hortonworks...) L'infrastructure matérielle et logicielle nécessaire au fonctionnement d'une distribution Hadoop en local ou dans le Cloud
Les concepts de base de l’architecture Hadoop : Data Node, Name Node, Job Tracker, Task Tracker Présentation de HDFS (Système de gestion des fichiers de Hadoop)
Prise en main et exercices pratiques dans HDFS
Présentation de MapReduce (Outil de traitement de Hadoop)
Les commandes exécutées au travers de PIG Utilisation de HIVE pour transformer du SQL en MapReduce  
 
L'ANALYSE DE DONNÉES
Requêter les données
Analyser et comprendre la signification des données extraites
Particularités liées à l'analyse des données non structurées
Analyse statistique : notions de base
Analyse prédictive : comment transformer des données du passé en prévisions pour le futur
Calculer des tendances
Développer des programmes simples d'automatisation des analyses (en Python)
Machine Learning : les bases de l'apprentissage machine avec Spark Deep
Learning : notions de base de l'analyse future automatisée de données non structurées  
 
MISE EN OEUVRE DE PROJETS BIG DATA
Automatisation de tâches avec Oozie
Mise en production de programmes de Machine Learning
L'utilisation des notebooks comme délivrables
Traitement du temps réel
Gouvernance de données Big Data
 

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Code de formation : BD006

Tarifs

Prix public : 2690
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Campus : Ensemble des sites

Durée : 28 heures
Délai d'accès :
Jusqu’à 8 jours avant le début de la formation

Distanciel possible : Oui

Prochaines sessions

Cliquez sur la date choisie pour vous inscrire :

  • Inscription au 28 / 10 / 2024
    : Ensemble des sites
    : Distanciel possible
    : 28 heures
    : 4 jours
Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BD060

Python avancé pour data-scientists

Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python, savoir extraire des données d'un fichier et les manipuler, mettre en place un modèle d'apprentissage simple. Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python Savoir appliquer les pratiques optimales en matière de nettoyage et de préparation des données avant l'analyse Être capable d'extraire des données d'un fichier Comprendre les mécanismes d'interconnexion aux bases de données Comprendre les principaux outils de traitement et d'analyse de données pour Python

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BD0103

Les fondamentaux de l’analyse statistique avec R

Savoir installer R Comprendre comment manipuler des données avec R Savoir importer et exporter des données Être en mesure de réaliser des analyses statistiques basiques avec R Savoir restituer des résultats à l'aide de graphiques

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BDP05

Visualisation avancée de données avec Python

Savoir traiter les données scientifiques brutes pour leur visualisation Savoir utiliser les librairies graphiques de python pour visualiser des données Graphiques spécifiques : graphes dynamiques, cartographie

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD016

Hadoop Hortonworks : administration avec Ambari

Connaître les principes du framework Hadoop et savoir l'installer, le configurer et l'administrer avec Ambari (tableaux de bord, supervision, gestion des services, etc ...)

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

DB014

Hadoop, développer des applications pour le Big Data

 

    • Construire un programme à base de Map Reduce
    • Intégrer Hadoop HBase dans un workflow d'entreprise
    • Travailler avec Apache Hive et Pig depuis HDFS
    • Utiliser un graphe de tâches avec Hadoop
 

28 heures de formations sur 4 Jours
En savoir plus

Formation continue

Big Data

BD018

Hadoop : l’écosystème

Chefs de projets, développeurs, et toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant.

7 heures de formations sur 1 Jours
En savoir plus