Accueil » Catalogue des formations » Systèmes et Réseaux » AWS : BigData avec Hadoop EMR

Dernière mise à jour le 22/11/2024

Retourner au catalogueRetour

AWS : BigData avec Hadoop EMR

Informations générales

Type de formation : Formation continue

Domaine : Systèmes et Réseaux

Filière : Cloud computing

Rubrique : AWS

Formation éligible au CPF : Non

Formation Action collective : Non

Objectifs & compétences

Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR

Public visé

Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS

Pré-requis

Connaissance des fondamentaux du cloud

Programme

Présentation AWS Hadoop EMR

Rappels des services de base : EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service)

Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)

La distribution Hadoop EMR

Historique du projet hadoop

Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...

Exemples de cas d'utilisation sur des grands projets.

Les principaux composants :HDFS pour le stockage et YARN pour les calculs.

Les distributions et leurs caractéristiques.

Composants de la distribution Hadoop EMR

Mise en œuvre

Démonstrations sur une architecture Hadoop multi-noeuds.

TP : mise en place d'une configuration de base avec HBase.

Cycle de fonctionnement.

Transferts par s3.

Envoi des travaux.

Visualisation des résultats.

Suivi des travaux avec Hue.

Interactivité avec les Notebooks : jupyter.

Configuration des composants de la distribution.

Exploitation

Gestion des évènements avec Events.

Contrôle du réseau et des VPC.

Automatisation de l'exécution sur AWS depuis un poste local.

Suivi distant des travaux.

Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale.

Sécurité : mise en place d'une configuration de sécurité.

Liens avec IAM.

Optimisation

Analyse des performances.

Déploiement d'une configuration avec Spark.

Evaluation des performances par rapport à une ferme locale.

Comparaison des coûts.

Mise en place d'automates d'optimisation.

Modalités

Jusqu'a 8 jours avant le début de la formation, sous condition d'un dossier d'insciption complet

Méthode

Fin de formation : entretien individuel.

Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation.

Assiduité : certificat de réalisation.

Validations des acquis : grille d'evalution des acquis établie par le formateur en fin de formation.

Objectifs & compétences

Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR

Public visé

Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS

Pré-requis

Connaissance des fondamentaux du cloud

Programme

Présentation AWS Hadoop EMR

Rappels des services de base : EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service)

Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)

La distribution Hadoop EMR

Historique du projet hadoop

Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...

Exemples de cas d'utilisation sur des grands projets.

Les principaux composants :HDFS pour le stockage et YARN pour les calculs.

Les distributions et leurs caractéristiques.

Composants de la distribution Hadoop EMR

Mise en œuvre

Démonstrations sur une architecture Hadoop multi-noeuds.

TP : mise en place d'une configuration de base avec HBase.

Cycle de fonctionnement.

Transferts par s3.

Envoi des travaux.

Visualisation des résultats.

Suivi des travaux avec Hue.

Interactivité avec les Notebooks : jupyter.

Configuration des composants de la distribution.

Exploitation

Gestion des évènements avec Events.

Contrôle du réseau et des VPC.

Automatisation de l'exécution sur AWS depuis un poste local.

Suivi distant des travaux.

Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale.

Sécurité : mise en place d'une configuration de sécurité.

Liens avec IAM.

Optimisation

Analyse des performances.

Déploiement d'une configuration avec Spark.

Evaluation des performances par rapport à une ferme locale.

Comparaison des coûts.

Mise en place d'automates d'optimisation.

Modalités

Jusqu'a 8 jours avant le début de la formation, sous condition d'un dossier d'insciption complet

Méthodes

Fin de formation : entretien individuel.

Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation.

Assiduité : certificat de réalisation.

Validations des acquis : grille d'evalution des acquis établie par le formateur en fin de formation.

Code de formation : VC203

Tarifs

Prix public : 1900 €

Tarif & financement :

Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :

Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.

Le dispositif FNE-Formation.

L’OPCO (opérateurs de compétences) de votre entreprise.

France Travail: sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.

CPF -MonCompteFormation

Contactez nous pour plus d’information : contact@aston-institut.com

Lieux & Horaires

Durée : 21 heures

Délai d'accès :

Jusqu’à 8 jours avant le début de la formation

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...