Big Data, Azure, Machine Learning, Python#

Links: notebook, html, PDF, python, slides, GitHub

Présentation à Centrale Paris - Juin 2016.

Xavier Dupré

xavier.dupre AT gmail.com

Senior Engineer at Microsoft France on Azure ML, Teacher in Computer Science at the ENSAE

Azure ML ENSAE

from jyquickhelper import add_notebook_menu
add_notebook_menu()

Introduction#

Expérience

  • Microsoft, Bing, Azure

  • Enseignements, ENSAE, Formation professionnelle (Institut des actuaires) (+ 200 élèves, + 60h de cours)

Expertise

  • Machine Learning (PhD)

  • Python

  • Map Reduce

  • Azure

Microsoft in universities

Microsoft - ENSAE - Hackathon

Que feriez-vous si ?#

  • Statistiques descriptives sur un fichier de 1GO, 10Go, 100Go ?

  • Apprendre une régression logisitique sur … ?

  • Apprendre une forêt d’arbre sur … ?

  • Et si vous ceviez le faire toutes les semaines ?

  • Comment représenter 10M de points sur une carte ?

Retour des étudiants à propos du hackathon :

C’était bien de se confronter à des données pas très propres.

Démarrage d’un cluster Hadoop sur Azure#

Cas concret 1 : système de recommandation, moteur de recherches#

  • Système de recommandation, application chez Bing aux recherches associées

  • Quelques approches théoriques

  • La mise en pratique avec aux gros volumes de données

  • Optimisation sur Internet, apprentissage par renforcement

Outils Big Data chez Microsoft / Azure#

  • Cluster Map/Reduce, Azure ML, Machine Virtuelle, Power BI

  • Trois exemples d’utilisation (Machine Virtual, Azure ML, Cluster Hadoop) sur des jeux de données académiques

  • Quelques exercices

Cas concret 2 : suggestions sur Internet#

  • Réflexions autour de l’impact d’un système de suggestions

    • Sur les utilisateurs

    • Sur les logs

  • Métriques : comment mesurer l’impact ?

suggestion

suggestion#