Alternance Data Engineer

Programmation Python (optionnel)

Fondamentaux de Python :
• Découvrir les différentes variables, listes et tuples pour structurer les données.
• S’initier aux boucles, conditions et types d’opérateurs.
• Introduire les fonctions et apprendre à lire la documentation.
• Instancier des classes simples et utiliser les modules standards.

NumPy :
• Créer et manipuler un tableau multidimensionnel avec NumPy Array.
• Présenter et appliquer des opérations matricielles pour le calcul scientifique.
• Créer des indicateurs statistiques à partir de données dans un tableau NumPy.

Python avancé :
• Maîtriser les variables, types, opérateurs et structures avancées.
• Introduire les concepts de fonctions anonymes, décorateurs et générateurs.
• Préparer au traitement parallèle avec le multi-threading et le multiprocessing.
• Manipuler les fonctions asynchrones, les annotations et la bibliothèque MyPy.

Programmation orientée objet (optionnel) :
• Définir des classes en Python et appliquer les principes d’héritage.
• Utiliser les méthodes prédéfinies pour structurer des objets réutilisables.

ETL dans un projet data (optionnel)

Manipulation des données SQL :
• Introduire les bases des bases de données relationnelles et leur structure.
• S’initier aux fondamentaux du langage SQL pour interroger et manipuler les données.
• Approfondir les requêtes SQL pour des cas d’usage concrets et avancés.

ETL avec PySpark :
• Introduire les pipelines ETL pour automatiser l’extraction, la transformation et le chargement de données.
• Extraire des données depuis des fichiers locaux ou une base de données connectée.
• Transformer les données et appliquer du feature engineering avec PySpark.

Data Science

Statistiques :
• Explorer les variables numériques pour analyser leur répartition.
• Explorer les variables catégorielles pour comprendre la structure des données.
• Étudier les relations entre les variables pour détecter des corrélations ou tendances

Data Visualisation :
• Présenter différents types de graphiques avec Matplotlib (barres, nuages de points, histogrammes, boîtes à moustaches, camemberts).
• Créer des visualisations interactives avec Dash pour faciliter l’analyse de données.

Machine Learning :
• Prétraiter les données pour les rendre exploitables par un modèle.
• Sélectionner et optimiser un algorithme de Machine Learning.
• Définir et appliquer des modèles de régression, classification et clustering.
• Développer des algorithmes supervisés et non supervisés selon les cas d’usage.

Acculturation et Data Gouvernance

Acculturation Data :
• Découvrir les métiers de la Data et leurs rôles dans une organisation.
• Comprendre comment structurer et gérer une équipe Data.
• Définir les termes et concepts fondamentaux utilisés dans l’univers Data.

Différentes sources et types de données :
• Présenter les différentes sources de données et bases de données.
• Comprendre les enjeux liés au stockage et à la gouvernance des données.
• Optimiser l’exploitation d’une base relationnelle dans un cadre métier.

RGPD et éthique :
• Comprendre les implications du RGPD et de l’éthique dans le domaine de la Data.
• Mettre en œuvre les techniques d’anonymisation et de pseudonymisation des données.

Business Intelligence

Power BI :
• Se connecter à différentes sources de données avec Power BI.
• Visualiser les données en utilisant Power Query pour les transformer.
• Modéliser les données et établir des relations entre les tables.
• Introduire le langage DAX pour enrichir les analyses.
• Créer un tableau de bord complet avec étude de cas.

Tableau (optionnel) :
• Se connecter aux sources de données à partir de Tableau.
• Mettre en forme et transformer les données pour les visualiser.
• Créer des visualisations interactives adaptées aux besoins métiers.

Chefferie de projet

Gestion de projet :
• Identifier les enjeux spécifiques d’un projet Data.
• Comprendre les principaux modèles de gestion de projet.
• Conduire le changement et accompagner les équipes dans les phases de transition.

Méthode agile :
• Introduire la méthode agile et ses principes fondamentaux.
• Utiliser les outils et méthodologies agiles (Scrum, Kanban, etc.).
• Appliquer l’agilité dans un contexte Data.
• Mesurer l’impact de l’agilité sur la collaboration et la performance en entreprise.

Programmation et outils avancés

Git :
• Introduire le système de gestion de version Git.
• Initialiser un dépôt Git et manipuler les commandes de base.
• Approfondir les concepts clés : branches, tags, merges, etc.

GitHub :
• Découvrir la plateforme GitHub pour le travail collaboratif autour du code.
• Présenter les fonctionnalités majeures : Fork, Pull Request, Issues.
• Partager ses modifications avec pull et push.
• Utiliser GitHub Actions à travers des cas pratiques.

Test unitaires :
• Mettre en place des tests unitaires avec Pytest.
• Introduire les tests d’intégration et les fonctions associées.
• Présenter les bénéfices des tests : gain de temps, meilleure lisibilité, amélioration de la qualité du code.

Systèmes Linux et Script Bash :
• Présenter les fondamentaux des systèmes Linux.
• Prendre en main l’utilisation d’un terminal pour interagir avec le système.
• Écrire des scripts Bash pour automatiser les tâches courantes.

Bases de données

MongoDB :
• Présenter les caractéristiques de MongoDB comme base NoSQL orientée documents.
• Se familiariser avec la syntaxe des requêtes MongoDB pour interroger et manipuler les données.

Elasticsearch :
• Décrire le fonctionnement d’un moteur de recherche orienté documents.
• Comprendre la structure d’un index et son mode d’emploi.
• Mettre en place un Mapping et prétraiter les données avec Ingest Node.
• Extraire les informations avec des outils comme le Text Analyzer.

Manipulation BDD SQL :
• Découvrir les frameworks de gestion de bases de données relationnelles.
• Comparer les outils disponibles et identifier leurs différences d’usage.

Data Warehousing

Snowflake :
• Connaître l’interface et le fonctionnement des principaux Cloud Data Warehouses.
• Traiter des données semi•structurées (comme le JSON) dans un environnement Snowflake.
• Créer un schéma en étoile pour structurer les données de manière analytique.
• Mettre en place un Data Warehouse opérationnel dans Snowflake.

dbt :
• Se concentrer sur la transformation des données via le processus ELT.
• Apprendre à utiliser la librairie dbt et ses fonctions statistiques intégrées.
• Identifier, relier et transformer les données stockées dans Snowflake.

Big Data Volume

PySpark :
• Introduire le calcul distribué avec PySpark dans un contexte Big Data.
• Présenter les APIs RDD et DataFrame pour manipuler les données à grande échelle.
• Construire un pipeline de traitement de données distribuées.
• Appliquer des algorithmes de Machine Learning avec Spark MLlib.

Scala Spark :
• Créer des RDD Spark en Scala pour des traitements performants.
• Manipuler les structures Dataset, DataFrame et SparkSQL.
• Appliquer les bonnes pratiques Spark pour écrire du code maintenable.

Scala :
• Découvrir la syntaxe du langage Scala.
• Programmer avec la POO (programmation orientée objet) en Scala.
• Utiliser la programmation fonctionnelle dans le traitement des données.

Hadoop et Hive (optionnel) :
• Comprendre le fonctionnement de Hadoop et sa configuration.
• Traiter et stocker des données via HDFS.
• Présenter MapReduce et exécuter des fichiers avec Hadoop Streaming.
• Mettre en place des répertoires de données et découvrir Hive.

Big Data – Vitesse

Kafka :
• Présenter la plateforme Kafka et son architecture distribuée.
• Expliquer les avantages de Kafka dans la gestion des flux de données.
• Gérer les paramètres des producteurs, notamment la clé de partitionnement.
• Maîtriser la configuration des consommateurs et des groupes de consommateurs.

Steaming avec Spark :
• Prendre en main Spark Streaming pour traiter des données en temps réel.
• Comprendre le fonctionnement du mini•batch streaming.
• Maîtriser les bases nécessaires à l’exécution de Spark Streaming en production.

Flink :
• Comprendre les fondamentaux et les opérateurs de l’API Flink.
• Utiliser les Stateful Streams pour suivre l’état des données en continu.
• Découvrir PyFlink et ses usages dans le traitement en streaming.
• Combiner Flink avec d’autres outils comme SQL ou Kafka.

Clustering

Méthode de clustering :
• Appliquer des modèles de classification non supervisée (K-Means, CAH, Mean Shift, etc.).
• Évaluer la qualité des clusters à l’aide de métriques dédiées.

Méthode de régression :
• Mettre en œuvre la régression linéaire simple et multiple pour modéliser des relations entre variables.
• Utiliser la régression linéaire régularisée pour éviter le surapprentissage et améliorer la robustesse des modèles.

Cloud AWS

AWS Cloud Practitioner :
• Présenter le cloud AWS et son infrastructure globale de base.
• Découvrir les services clés de la plateforme et leurs principales fonctionnalités.
• Identifier les cas d’usage courants d’AWS selon les besoins métier.

AWS Solutions Architect :
• Comprendre les fondamentaux et les bonnes pratiques architecturales sur le cloud.
• Concevoir des architectures hautement disponibles et résilientes sur AWS.
• Automatiser le déploiement et améliorer en continu les solutions cloud.

Deep Learning

Framework Keras :
• Découvrir les concepts fondamentaux du Deep Learning à l’aide du framework Keras.
• Comprendre les réseaux de neurones denses (Dense Neural Networks) pour les données structurées.
• Explorer les réseaux de neurones convolutifs (Convolutional Neural Networks) pour le traitement d’images.
• Mettre en œuvre le Transfer Learning pour optimiser les performances à partir de modèles préentraînés.

DataOps – API

API :
• Introduire les APIs et les architectures micro•services.
• Présenter les méthodes HTTP et leurs fonctions principales.
• Développer des APIs avec les librairies FastAPI et Flask.
• Documenter une API avec OpenAPI et gérer les erreurs/performance.
• Mettre en place la sécurité des APIs avec Flask et FastAPI.

Sécurisation des API :
• Introduire les clés API (API Keys) et les principes de sécurisation des endpoints.
• Maîtriser l’authentification HTTP basique dans un contexte applicatif.
• Utiliser les JSON Web Tokens (JWT) et sécuriser les communications via HTTPS.

DataOps – Isolation

Docker :
• Présenter la conteneurisation et ses avantages par rapport à la virtualisation.
• Comprendre le fonctionnement de Docker et manipuler images et conteneurs.
• Communiquer avec les conteneurs et gérer la persistance des données via les volumes.
• Créer une image personnalisée avec un Dockerfile et la publier sur Docker Hub.
• Utiliser Docker Compose pour orchestrer des environnements multi-conteneurs.

Kubernetes :
• Déployer et gérer des conteneurs à grande échelle avec Kubernetes.
• Orchestrer plusieurs services et assurer la montée en charge d’une application.

CI/CD

GitLab :
• Installer et initialiser un dépôt GitLab pour la gestion de version.
• Ajouter, supprimer des fichiers et effectuer un commit.
• Suivre le statut du dépôt, consulter les logs et comparer les commits.
• Gérer les branches, les fusions, les tags, les retours en arrière et les conflits.
• Utiliser Git Blame pour identifier les auteurs des modifications.

Jenkins :
• Introduire et installer Jenkins pour l’automatisation des déploiements.
• Réaliser un premier cas d’intégration avec GitHub.
• Mettre en œuvre l’objet Pipeline et l’interface Blue Ocean.
• Gérer les utilisateurs, configurer les notifications et ajouter des compléments utiles.

ModelOps

MLflow :
• Suivre le cycle de vie complet d’un projet de Machine Learning (préparation, entraînement, déploiement).
• Servir un modèle ML en production avec les outils MLflow.
• Découvrir l’architecture MLflow : Tracking, Projects, Models et Registry.
• Gérer les versions, les métriques et les artefacts des modèles de manière structurée.

Airflow :
• Découvrir les concepts clés d’Airflow et les principes d’orchestration de workflows.
• Comprendre la structure des DAGs (graphes orientés acycliques) et leur rôle.
• Gérer les tâches via des opérateurs dédiés et automatiser les pipelines.
• Superviser les DAGs grâce à l’interface graphique d’Airflow.

Automatisation

Terraform :
• Déclarer une infrastructure via un langage de configuration (HCL, YAML, JSON).
• Déployer une architecture locale, notamment avec des clusters Kubernetes.
• Mettre en place une infrastructure sur AWS de façon automatisée.
• Déployer une architecture avec CDK (Python) pour coder l’infrastructure en tant que code.

Ansible :
• Déployer une application et ses configurations grâce aux playbooks Ansible.
• Organiser les composants à déployer via une gestion fine des rôles.
• Créer et gérer des tests de configuration avec Molecule.
• Sécuriser les données sensibles (mots de passe, clés d’API) avec un coffre-fort intégré.

Monitoring

Prométhéus :
• Définir les métriques à collecter pour surveiller l’état du système.
• Récupérer et analyser les logs applicatifs pour détecter les anomalies.
• Collecter automatiquement les métriques prédéfinies.

Grafana :
• Créer des seuils d’alerte pour suivre le bon fonctionnement des services.
• Configurer l’envoi de notifications en cas d’incident détecté.
• Concevoir des dashboards dynamiques pour visualiser l’état de l’application.

Pré-rentrée : 1 mois intensif

Méthodes de clustering :
• Modèles de classification non supervisée (K-Means, CAH, Mean Shift…)
• Métriques d’évaluation pour le clustering

Méthodes de régression :
• Régression linéaire simple et multiple
• Régression linéaire régularisée

Méthodes de réduction de dimension :
• Analyse en composantes principales (ACP)
• t-SNE (t-Distributed Stochastic Neighbor Embedding)
• UMAP (Uniform Manifold Approximation and Projection)

MongoDB (NoSQL) :
• Présentation de MongoDB
• Familiarisation avec la syntaxe des requêtes MongoDB

Gestion et manipulation des BDD SQL :
• Découverte des frameworks de gestion de bases de données
• Différences entre les différents outils

Cloud

AWS Cloud Practitioner :
• Présentation du cloud AWS et l’infrastructure globale de base
• Les services clés de la plate-forme AWS et leurs cas d’utilisation courants

AWS Solutions Architect :
• Fondamentaux et bonnes pratiques architecturale sur le Cloud
• Conception d’architectures hautement disponibles et résilientes sur AWS
• Amélioration continue et automatisation du déploiement d’architecture

Deep Learning

Réseaux de neurones avec Keras :
• Dense neural networks
• Convolutional neural networks
• Transfer Learning

DataOps – API

FastAPI :
• Introduction aux APIs et découverte des architectures micro-services
• Présentation des différentes méthodes HTTP et de leurs fonctions
• Utilisation des librairies FastAPI et Flask pour développer des API
• Documentation d’une API avec la spécification OpenAPI
• Gestion des erreurs et des performances d’une API
• Mettre en place la sécurité dans les API avec Flask et FastAPI

Sécurisation des APIs :
• Introduction à la sécurité des APIs et des clés API (API Keys)
• Maîtrise de l’authentification HTTP Basique
• Introduction aux JSON Web Token et HTTPS

DataOps – Isolation

Docker :
• Présentation de la conteneurisation et de son utilité par rapport à la virtualisation
• Initiation au fonctionnement de Docker
• Manipulation des images et des conteneurs
• Communication avec les conteneurs
• Persistance des données grâce aux volumes
• Création d’une image Docker via Dockerfile
• Partage des images sur le Dockerhub
• Utilisation de Docker-compose

Kubernetes :
• Déployer et gérer des conteneurs
• Orchestrer plusieurs services et gérer les montées en charge

CI / CD

Gitlab :
• Installation, Initialisation
• Ajout, suppression de documents
• Faire un commit
• Connaître le statut de son dépôt local
• Configuration, Log
• Différence entre deux commit
• Git Blame
• Retour en arrière
• Branche, création, changement, fusion
• Gestion des conflits
• Tag

Jenkins :
• Introduction et installation
• Premier cas pratique avec GitHub
• L’objet Pipeline
• Blue Ocean
• Gérer les utilisateurs
• Notifications
• Compléments

ModelOps

MLflow :
• Cycle de vie d’un projet de Machine Learning
• Data Preparation
• Model training
• Model deploying
• Model serving
• Présentation de l’architecture MLFlow
• MLflow Tracking
• MLflow Projects
• MLflow Models
• MLflow Registry

Airflow :
• Découverte des concepts d’Airflow
• Présentation des principes de l’orchestration et leur utilité
• Graphe orienté acycliques ou DAG (Directed Acyclic Graphs)
• Opérateurs
• Gestion des tâches par le biais d’Operators spécifiques
• Monitoring des DAGs via l’interface graphique d’Airflow

Automatisation

Ansible :
• Déploiement d’une application et de ses configurations via des playbooks
• Gestion des rôles afin d’organiser le déploiement des composants de l’application
• Création et gestion des tests via Molecule
• Création d’un coffre fort sécurisant les données sensibles (mots de passe, clés d’API,…)

Terraform :
• Déclaration et déploiement d’une infrastructure via un langage de programmation ou un fichier de configuration (HCL, YAML, Json)
• Déploiement d’une architecture locale (cluster Kubernetes)
• Déploiement d’une architecture sur le cloud AWS
• Déploiement d’une architecture via CDK (Python)

Web Design et réglementation

Prometheus :
• Définition des métriques à collecter sur le système
• Collecte des métriques définies
• Récupération des logs de l’application

Grafana :
• Création des seuils
• Envoi de notifications en cas d’alerte
• Création de dashboards en lien avec l’application