Dernière mise à jour le 10/11/2024

Talend Open Studio Data Integration : Initiation + Approfondissement

Informations générales

Type de formation : Formation continue
Domaine : Décisionnel, collaboratif
Filière : Stratégie décisionnelle
Rubrique : Modèlisation & conception
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

A l’issue de la formation, le stagiaire sera capable :
        • Comprendre le processus d'intégration de données
        • Maîtriser l'outil Talend Open Studio et la bibliothèque de composants
 

Public visé

Administrateurs systèmes/BDD, Chefs de projets, Développeurs
 

Pré-requis

Connaissance de Java

Programme

Introduction
Problématique d'intégration de données
Intégration Opérationnelle et Décisionnelle
Outils ETL (Extract Transform Load) disponibles
Talend Open Studio : présentation, licences, lien avec Eclipse
Support disponible : documentation, communauté, …
Atelier : Installation et présentation de l'environnement Talend Open Studio
 
Découvrir l'interface
Les perspectives et les vues Talend
Utilisation du Business Modeler
Les jobs : grille, palette de composants
Les flux principaux (main)
La notion de schéma : types des colonnes
Premiers composants : entrée, sortie, génération de flux
Atelier pratique : création et exécution d'un job simple, génération de     contenu dans un fichier
 
Les principaux composants de Talend
Composants d'entrée (tFileInput, tMysqlInput, …)
Génération de contenu (tRowGenerator, tFixedFlowInput, ...)
Sorties et affichage (tLogRow, tFileOutput, tMysqlOutput, …)
Logique et chaînage des composants
Suivi pas à pas des traces de l'exécution du job
Gestion des rejets
Transformations simples (filtre, tri, remplacement, jointure)
Atelier pratique : génération de contenu dans une base de données, extraction et traitement des données pour affichage en console
 
Garantir la pérennité des jobs
Versions et statuts des jobs
Les métadonnées : propriétés et schémas.
La découverte de schéma pour les fichiers CSV
Récupération des schémas de bases de données
Mises à jour des jobs depuis les métadonnées
Atelier pratique : insérer les sources et cibles de données dans les métadonnées du référentiel
 
Variables et contextes
Utiliser des variables dans un job (tSetGlobalVar)
Mise en place d'un contexte local au job
Groupes de contexte dans le référentiel
Les métadonnées comme contextes
Atelier pratique : utiliser une variable dans un job, contextualiser les paramètres d’une métadonnée, créer un contexte de test, et de production
 
Le mappage de données : tMap
Le composant ETL par excellence
Gérer les entrées : flux principal, secondaires, nommage des flux
Gérer les sorties : l'éditeur intégré de la tMap
Filtrer les données : en entrée, sortie
Sorties conjointes, capture des rejets de sortie, de jointure interne
L'éditeur d'expression
Les performances
Atelier pratique : extraction multi-sources, multi-destinations avec une tMap, sur un exemple complet
 
Orchestration des jobs, gestion d'erreurs
Exécutions parallèles de sous-jobs
Déclencheurs Talend (triggers)
Enchaînement de sous-jobs et de composants (OnSubjobOK, OnComponentOK)
Gestion des erreurs de composants, sous-job (OnComponentError, OnSubjobError)
Composant de départ, et de fin (tPreJob, tPostJob)
Attraper et lever des erreurs : tWarn, tDie, tLogCatcher
Atelier pratique : assembler plusieurs jobs en un seul, factoriser la gestion d'erreurs pourgénérer un fichier de compte-rendu
 
Les flux de programmation : liens iterate
Différencier les flux principaux des flux iterate
Boucles et programmation via tLoop, tForeach
Passer d'un flux principal à un flux iterate, et l'inverse (tFlowToIterate, tIterateToFlow)
Synchronisation de jobs avec les tWaitForFile, tWaitForSocket, tWaitForSQ
Atelier pratique : paralléliser des sous-jobs, synchroniser les jobs avec un événement externe
 
Utilisation avancée
Utilisation de composants évolués : Java ou expressions régulières
La spécificité des flux XML dans Talend
Réutilisation du code : les routines
Atelier : Utilisation des composants tJavaRow, tJavaFlex, utilisation de l'éditeur Java embarqué, déploiement d'une routine personnalisée
 
Déboguage dans Talend
Rappels sur le débogage de traces
Utilisation du mode Debug Java : perspective Debug, mode pas à pas
Visualisation et modification à chaud des variables
Atelier : Debuggage basique/avancé de tâches
 
Déploiement et industrialisation
Rappel sur les contextes
Export des jobs pour exécution sur un serveur
Passage de contexte entre jobs, à l'exécution
Utilisation d'un fichier pour charger le contexte (tContextLoad)
Atelier : Déploiement de tâches et chargement dynamique du contexte
 
Utilisation avancée
Utilisation de composants évolués : Java ou expressions régulières
Création de logs spécifiques
Gestion des flux XML
Réutilisation du code
Atelier : Utilisation des composants tJavaRow, tJavaFlex - création de logs avec tCatch, tDie ... - utilisation de l'éditeur Java embarqué
 
Les composants Talend
Concepts essentiels pour étendre Talend Open Studio
Création de la maquette du composant avec tJavaFlex / interface graphique
Découvrir la forge Talend et ses composants communautaires
Intégration dans Talend Open Studio des plugins créés ou téléchargés
Atelier : Création d'un composant simple via tJavaFlex, intégration de composants de la forge Talend
 

Modalités

Jusqu'a 8 jours avant le début de la formation, sous condition d'un dossier d'insciption complet

Méthodes

Fin de formation : entretien individuel.
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation.
Assiduité : certificat de réalisation.
Validations des acquis : grille d'evalution  des acquis établie par le formateur en fin de formation.
Code de formation : RDBN409

Tarifs

Prix public : 2995
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
Le dispositif FNE-Formation.
L’OPCO (opérateurs de compétences) de votre entreprise.
France Travail: sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
CPF -MonCompteFormation
Contactez nous pour plus d’information : contact@aston-institut.com

Lieux & Horaires

Durée : 35 heures
Délai d'accès :
8 jours avant le début de la formation
 

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Stratégie décisionnelle

D-AMT

Modélisation en étoile, conception et mise en œuvre

Conduire des interviews pour recueillir les besoins d'analyse auprès des métiers Définir les critères de qualité d'un Data Warehouse A partir d'un cahier des charges d'analyse, identifier les dimensions et les faits à placer dans le modèle Concevoir et décrire un macro-modèle en étoile Optimiser le modèle en étoile en vue de la prise en compte de la volumétrie et des problématiques de reporting Décrire une architecture de chargement des données dans le modèle en étoile décrit

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Stratégie décisionnelle

D-EDM

Systèmes d’information décisionnels – Concepts et architectures

Décisionnel, Data Warehouse, DW, DWH, Système d'Information Décisionnel, SID, Modèle en étoile, Data Marts, ETL, Reporting, Pilotage, Performance, Processus

Mesurer les enjeux et impacts d'un projet décisionnel Savoir concevoir et modéliser un entrepôt de données Découvrir le rôle des différents outils de l'informatique décisionnelle Connaître les pièges à éviter lors de la mise en oeuvre

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Stratégie décisionnelle

D-ETL

ETL : réussir son projet d’intégration

Mesurer les enjeux de l'intégration des données Identifier les fonctionnalités d'alimentation nécessaires à l'intégration des données Évaluer la capacité des outils ETL à répondre aux besoins d'intégration S'approprier la démarche de spécification d'un flux d'intégration des données  

7 heures de formations sur 1 Jours
En savoir plus

Formation continue

Stratégie décisionnelle

D-MET

Modéliser un système d’information décisionnel

Modèle en étoile, Modélisation en étoile, Décisionnel, Data Warehouse, DW, DWH, Système d'Information Décisionnel, SID, Data Marts, ETL, Reporting, Pilotage, Performance, Processus

Savoir créer une architecture de données adaptée aux besoins décisionnels et Business Intelligence des utilisateurs Être en mesure de choisir et d'harmoniser des étoiles relationnelles et cubes OLAP

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Stratégie décisionnelle

RDBN410

Big Data – Concevoir et piloter un projet

A l’issue de la formation, le stagiaire sera capable : Identifier les avantages et contraintes technologiques, réglementaires, et organisationnelles d'un projet Big Data Rédiger la charte d'un projet Big Data Planifier un projet Big Data et choisir une méthodologie (Agile / traditionnelle / hybride) Identifier les ressources du projet, et choisir une plateforme (On-Premise, Cloud, ou hybride, SaaS vs PaaS vs FaaS) Exécuter un projet Big Data du développement au déploiement / monitoring Adopter une démarche d'amélioration continue.  

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Stratégie décisionnelle

RMCN304

Les architectures et infrastructures pour le Bigdata

A l’issue de la formation, le stagiaire sera capable d’initier la conception d’une architecture et d’une infrastructure Big Data, en disposant d’une vue d’ensemble des différentes solutions dédiées au traitement des données de masse

14 heures de formations sur 2 Jours
En savoir plus