Dernière mise à jour le 07/10/2024

BigData supervision: Grafana Kibana Graphite Prometheus

Informations générales

Type de formation : Formation continue
Domaine : IA, Big Data et Bases de données
Filière : Big Data
Rubrique : ElastickSearch,…
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.

Public visé

Exploitants, architectes BigData, chefs de projet et toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData.

Pré-requis

Connaissance générale des systèmes d'informations et des bases de données.

Programme

Supervision : définitions
Les objectifs de la supervision, les techniques disponibles. La supervision d'une ferme BigData.
Objets supervisés. Les services et ressources. Protocoles d'accès. Exporteurs distribués de données.
Définition des ressources à surveiller. Journaux et métriques.
Application aux fermes BigData : Hadoop, Cassandra, Hbase, MongoDB
 
Mise en oeuvre
Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
Produits : Prometheus, Graphite, Influxdb, ElasticSearch.
Présentation, architectures.
Les sur-couches : Kibana, Grafana.
 
Graphite
Composants, architecture
Modèle de données et mesures
Format des données stockées, notion de timestamp
Calculs de l'espace disque nécessaire
Architecture de production.
 
InfluxDB
Présentation, structure, évolution, installation
Bucket, token, organisation
Plugin Telegraph, architecture
Interface graphique, alertes, langage flux
Démonstration avec Jolokia2 et Cassandra.
 
JMX
Principe des accès JMX. MBeans. Visualisation avec jconsole et jmxterm.
Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, …
 
Prometheus
Installation et configuration de base
Définition des ressources supervisées, des intervalles de collecte
Types de mesures : compteurs, jauges, histogrammes, résumés.
Notions d'instances, de jobs.
Démarrage du serveur Prometheus
Premiers pas dans la console web, et l'interface graphique.
Le langage PromQL
Node Exporter. JMX Exporteur. Mongodb Exporteur.
Démonstration avec Cassandra
Configuration des agents sur les noeuds de calculs. Agrégation des données JMX. Expressions régulières.
Requêtage. Visualisation des données
Comparaison avec Graphite et InfluxDB.
 
Exploration et visualisation des données
Mise en oeuvre de Grafana. Installation, configuration.
Pose de filtres sur Prometheus et remontée des données.
Etude des différents types de graphiques disponibles,
Agrégation de données. Appairage des données entre Prométheus et Grafana.
Visualisation et sauvegarde de graphiques,
création de tableaux de bord à partir des graphiques.
 
Kibana, installation et configuration
Architectures, paramétrages
Installation, configuration du mapping avec Elasticsearch.
Mapping automatique ou manuel
Démonstration avec Cassandra
Injection des données avec Logstash, Filebeat et Metricbeat.
Configuration des indexes
Exploration des données,création de graphiques, de tableaux de bord

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
 
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
 
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Code de formation : BD046

Tarifs

Prix public : 2090
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise (rapprochez-vous de votre service RH).
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation.
Contactez nous pour plus d’informations.

Lieux & Horaires

Durée : 21 heures
Délai d'accès :
Jusqu'à 8 jours avant le début de la formation.

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BD007

Big Data – Les fondamentaux de l’analyse des données

    • Comprendre le rôle stratégique de la gestion des données pour l'entreprise
    • Identifier ce qu'est la donnée, et en quoi consiste le fait d'assurer la qualité de données
    • Synthétiser le cycle de vie de la donnée
    • Assurer l'alignement des usages métiers avec le cycle de vie de la donnée
    • Découvrir les bonnes pratiques en matière de contrôle de qualité des données
    • Assurer la mise en œuvre de la gouvernance de la donnée
 

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BDP05

Visualisation avancée de données avec Python

Savoir traiter les données scientifiques brutes pour leur visualisation Savoir utiliser les librairies graphiques de python pour visualiser des données Graphiques spécifiques : graphes dynamiques, cartographie

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD0103

Les fondamentaux de l’analyse statistique avec R

Savoir installer R Comprendre comment manipuler des données avec R Savoir importer et exporter des données Être en mesure de réaliser des analyses statistiques basiques avec R Savoir restituer des résultats à l'aide de graphiques

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

DB014

Hadoop, développer des applications pour le Big Data

 

    • Construire un programme à base de Map Reduce
    • Intégrer Hadoop HBase dans un workflow d'entreprise
    • Travailler avec Apache Hive et Pig depuis HDFS
    • Utiliser un graphe de tâches avec Hadoop
 

28 heures de formations sur 4 Jours
En savoir plus

Formation continue

Big Data

BD016

Hadoop Hortonworks : administration avec Ambari

Connaître les principes du framework Hadoop et savoir l'installer, le configurer et l'administrer avec Ambari (tableaux de bord, supervision, gestion des services, etc ...)

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

DB034

Dataiku DSS

Savoir installer, configurer, Dataiku DSS, l'utiliser depuis l'interface web ou des API. Présentation, concepts DSS Connexion aux données Préparation des données Graphiques et statistiques Machine learning Flow/Recipes Interfaces de programmation

14 heures de formations sur 2 Jours
En savoir plus