Python avancé pour data-scientists

Informations générales

Type de formation : Formation continue

Domaine : IA, Big Data et Bases de données

Filière : Big Data

Rubrique : Fondamenteaux

Formation éligible au CPF : Non

Formation Action collective : Non

Objectifs & compétences

Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python, savoir extraire des données d'un fichier et les manipuler, mettre en place un modèle d'apprentissage simple.

Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python

Savoir appliquer les pratiques optimales en matière de nettoyage et de préparation des données avant l'analyse

Être capable d'extraire des données d'un fichier

Comprendre les mécanismes d'interconnexion aux bases de données

Comprendre les principaux outils de traitement et d'analyse de données pour Python

Public visé

Développeurs en Python, Développeurs de logiciels, programmeurs, Data analysts, Data scientists.

Pré-requis

Maîtrise de la programmation Python.

Programme

Positionnement Python dans l'analyse de données

Besoins des data-scientists : calculs, analyse d'images, machine learning, interface avec les bases de données

Apports de python : grande variété d'outils, expertise dans le domaine du calcul scientifique

Tour d'horizon des outils:

pandas, pyarrow, agate, bokeh, scikit-learn, pybrain, tensorflow, keras, mxnet, caffe

Calculs et graphiques

NumPy : Base du calcul sur des tableaux

SciPy : Scientific Tools for Python, couche scientifique

Manipulation de tableaux, fonctions mathématiques.

Représentation graphique avec basemap et matplotlib.

Atelier : Mise en oeuvre de SciPy/NumPy : manipulation d'images, détection de contours

Être capable d'extraire des données d'un fichier

Pandas : manipulation de tables de données. Notion de dataframe.

Manipulation de données relationnelles

Tableaux avec Pandas: indexation, opérations, algèbre relationnelle

Stockage dans des fichiers: CSV, JSon

Comparaison et performances Pandas / pyarrow / NumPy

Atelier : construction d'ETL de base entre json et csv

Comprendre les mécanismesd'interconnexion aux bases de données

Définitions : pilotes, connexions, curseurs, CRUD, transactions

Les pilotes : postgresql, mysql, mariadb, ... Présentation de sql-alchemy

Opérations : gestion du curseur, chargement de données, insertion et modification d'enregistrements

Atelier : mise en oeuvre avec postgresql. Construction d'ETL SQL/json

Comprendre les principaux outils de traitement et d'analyse de données pour Python

Présentation des outils d'apprentissage Python : scikit-learn, pybrain, TensorFlow/keras, mxnet, caffe

Atelier : mise en oeuvre de scikit-learn et génération de jeux de données.

Créer des sélections et des classements dans de grands volumes de données pour dégager des tendances

Présentation de pyspark

Machine learning et deep learning

TensorFlow : principe de fonctionnement, plateformes supportées, distribution,

Modalités

Jusqu'a 8 jours avant le début de la formation, sous condition d'un dossier d'insciption complet

Méthode

Fin de formation : entretien individuel.

Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation.

Assiduité : certificat de réalisation.

Validations des acquis : grille d'evalution des acquis établie par le formateur en fin de formation.