From Michel Dubois

Teaching: Approfondissement en Big Data

Former les étudiants à l'utilisation de HDFS ou à un de ses dérivés pour le nuage (S3, Azure Blob).

Public :

• BUT 3ième année Science des Données (parcours VCOD)

Compétences

• Développer

Objectifs :

L'objectif de cette ressource est d'approfondir les connaissances des étudiants sur le Big Data, en abordant par exemple les problématiques liées aux flux de donnés, aux objets connectés (IoT), aux graphes et réseaux...

Description

Prolongeant les apports de la formation autour du Big Data, cette ressource vise à donner aux étudiants les clés méthodologiques et techniques pour travailler avec la richesse des données accessibles aujourd'hui, résultant des évolutions des solutions d'acquisition ou encore des formats de stockage en lien avec le cloud.

Apprentissages critiques

• AC34.01VCOD : Prendre conscience de la nécessité d’utiliser des moyens spécifiques pour exploiter les Big Data ou les flux de données
• AC34.02VCOD : Défendre ses choix de solution par un argumentaire éclairé

SAÉs associées

• SAÉ 6.VCOD.01 : Développement et test d'un outil décisionnel

Contenus pour répondre à ces objectifs :

• Application : Flux, Réseaux, IoT, ...
• Formats des données
• Contraintes temps réel
• Solutions dédiées
  • ETL avec Apache Hadoop, Apache Hive, Apache Drill, Apache Pig et Luigi
  • Apache Spark GraphX et Neo4j
  • Apache Spark et MongoDB
  • Apache Spark et Apache Cassandra
  • Le module Apache Spark Streaming et Apache Kafka pour le temps réel

Mots-clés

Flux de données, internet des objets, graphes et réseaux, temps réel

Ce cours a été mis en ligne en 2023-2024.

Accéder au cours en ligne : NetUBS

Se connecter "en tant qu'invité" : Aide à la connexion