Dernière mise à jour le 12/07/2024

Big Data – Spark pour les développeurs

Informations générales

Type de formation : Formation continue
Domaine : IA, Big Data et Bases de données
Filière : Big Data
Rubrique : Hive - Spark
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Découvrir les concepts clés du Big Data
Comprendre l'écosystème technologique d'un projet Big Data
Evaluer les techniques de gestion des flux de données massives
Implémenter des modèles d'analyses statistiques pour répondre aux besoins métiers
Découvrir les outils de Data Visualisation

Public visé

Architectes
Développeurs
Analystes Informatique

Pré-requis

Connaissances de l’informatique et des principes d’architectures classiques
Connaissances de base des modèles relationnels
Connaissances de base du développement informatique

Programme

Découverte de Scala et Introduction à Spark
Introduction à Scala
 
Travailler avec :
Les variables
Les types de données
Les contrôles de flux
L’interpréteur Scala
Les collections et les méthodes standards (map(), etc.)
 
Travailler avec :
Les fonctions
Les méthodes
Les fonctions littérales
Définition et description des notions de :
Classe
Objet
Case Class
Introduction et origine de Spark
L’écosystème de Spark
Spark vs Hadoop
Télécharger et installer Spark
Le Shell Spark et le SparkContext.
 
Travaux pratiques :
Mise en place de l’environnement
Démarrage de l’interpréteur Scala
Découverte de Spark
Découverte de Spark Shell
 
RDDs et l’architecture de Spark, Spark SQL, les DataFrames et DataSets
Le concept de RDD, leur cycle de vie, l’évaluation « Lazy »
Le partitionnement et les transformations des RDD
Travailler avec les RDD
Créer et transformer (map, filter, etc.)
Vue d’ensemble des RDDs
SparkSession, charger et sauvegarder des données, les formats de données (JSON,
CSV, Parquet, text, ...)
Introduction aux DataFrames et DataSets
Travailler avec les DataFrames, la DSL de requêtage :
Column
Filtrering
Grouping
Aggregation
Lancement de requêtes SQL sur les RDDs
Travailler avec l’API des DataSets
Transformer et partitionner (flatMap(), explode() et split())
Synthèse Datasets vs DataFrames vs RDDsLa virtualisation du poste de travail
 
Shuffling, Transformations et performances, Amélioration des performances
 
Travailler avec :
Grouping
Reducing
Joining
Shuffling, Les dépendances Narrow vs Wide, et les impacts de performances
Découverte de l’optimiseur de requêtes Catalyst (explain(), Query Plans, Problèmes
des lambda)
L’optimiseur Tungsten (Format Binaire, la Cache Awareness, ...)
Présentation du Caching :
Concept
Type de stockage
Préconisations
Minimisation du Shuffling pour l’amélioration des performances
Utiliser les « Accumulators » et les « Broadcast Variables »
Recommandations générales de performance :
Utilisation du Spark UI
Transformations efficaces
Stockage de données
Monitoring
 
Travaux Pratiques
Le Groupe Shuffling
Découverte de Catalyst
Découverte de Tungsten
Caching, Joins, Shuffles, Broadcasts, Accumulators
Recommandations générales sur les Broadcasts
 
Créer des applications standalone et Spark Streaming
La Core API, Le builder SparkSession
Configurer et créer une SparkSession
Construire et Lancer des application (sbt.build.sbt et spark-submit)
Le cycle de vie des applications (Driver, Executors, et Tasks)
Les gestionnaires de cluster (Standalone, YARN, Mesos)
Gestions des Logs et Debug
Introduction aux Bases de Spark Streaming
Spark Streaming (1.0+)
DStreams, Receivers, Batching
Transformations Stateless
Transformations Windowed
Transformations Stateful
Structured Streaming (2+)
Applications continues
Le concept de Table, Result Table
Étapes de Structured Streaming
Les Sources et Sinks
Consommation de données en provenance de Kafka
Présentation de Kafka
Le format « Kafka » de Structured Streaming
Travailler sur le Stream
 
Travaux Pratiques
La soumission de travaux Spark
Fonctionnalités additionnelles de Spark
Spark Streaming
Spark Structured Streaming
Spark Structured Streaming avec Kafka
Optionnel : La « Sessionization » des Structured Streaming
Optionnel : L’analyse de séries temporelles avec PySpark
 

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels
 

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Code de formation : NE080

Tarifs

Prix public : 2100
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Durée : 28 heures
Délai d'accès :
Jusqu’à 8 jours avant le début de la formation
informations :
NULL

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BD021

Spark, développer des applications pour le Big Data

A l’issue de la formation, le stagiaire sera capable de maîtriser le framework Spark pour traiter des données hétérogènes et optimiser les calculs.   Maîtriser les concepts fondamentaux de Spark Savoir intégrer Spark dans un environnement Hadoop Développer des applications d’analyse en temps réel avec Spark Streaming Faire de la programmation parallèle avec Spark sur un cluster Manipuler des données avec Spark SQL Avoir une première approche du Machine Learning

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BDRN102

Hadoop Cloudera : administration

Connaître les principes du framework Hadoop et savoir l'installer et le configurer. Maitriser la configuration et la gestion des services avec Cloudera Manager   

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BD003

Big Data – L’essentiel

      • Comprendre le concept du Big Data Être capable d'identifier l’écosystème et comprendre les technologies associées
      • Savoir anticiper son intégration dans les activités informatiques de l'entreprise
      • Être en mesure de l'exploiter dans le respect des règles de sécurité et de confidentialité
 

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD022

Elastic Stack pour administrateurs

Comprendre le fonctionnement d'Elasticsearch, savoir l'installer et le configurer, gérer la sécurité avec X-Pack, et installer / configurer kibana pour le mapping sur les données Elasticsearch.

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BDRN103

Hadoop : Hbase mise en œuvre et administration

A l’issue de la formation, le stagiaire sera capable d’installer et de mettre en œuvre une configuration distribuée de données sous la solution HBase. Comprendre le fonctionnement de HBase, savoir mettre en place une configuration distribuée  

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD004

Big Data – Enjeux et perspectives

        • Disposer d'une vision claire du Big Data et de ses enjeux
        • Connaître les concepts sous-jacents
        • Comprendre comment les entreprises les plus avancées, dans tous les secteurs économiques, ont mis en place et tiré profit de projets Big Data
        • Connaitre les informations essentielles pour lancer une initiative Big Data
        • Connaitre l'écosystème, et les principales technologies et solutions associées au Big Data
        • Savoir mesurer les impacts de tels projets sur l'entreprise et son organisation
 

14 heures de formations sur 2 Jours
En savoir plus