page de blog - 1/2 ==> Blog pandas (4)

page de blog - 1/2¶

Hackathon - Institut des Actuaires¶

2017-09-11

Crésus accompagne les personnes en situation de surendettement. Les personnes en situation financière difficile commencent par envoyer un dossier qui précisent les éléments principaux de leur situation. C’est ce que contiennent les bases dossier, budget. Un ou plusieurs rendez-vous téléphonique suit pour renseigné les tables agenda et crédit. Deux colonnes sont utilisées pour qualifier la nature de la situation (diagnostic) et l’orientation donnée au dossier. Il faudra prédire l’orientation et ne pas tenir compte de la nature. Pour ce faire, les tables sont été divisés en apprentissage et test selon deux ensembles disjoints dans le temps de dossiers. La base de dossier ne contient pas d’historique. C’est une vue de la situation au moment où le dossier est orienté.

…

article

Machine Learning - session 6¶

2017-06-25

Exercices

Sélection de features
- Comparaison des tests de coefficients pour un modèle linéaire OLS, et des features importance
- Résultat au niveau d’une observation treeinterpreter
- Données : Housing, Forest Fire
Prédiction et séries temporelles
- Comparaison d’un modèle ARIMA et d’une random forest avec les séries décalées lagmat, pandas.shift
- Données : DowJones, Google Trends
- Notebooks : Timeseries et machine learning
Text
- Comparer une LDA avec word2vec + kmeans
- Données :
  
  tweets
- Notebooks :
  
  Texte et machine learning

Plan

Modules
- Classique
  
  pandas, numpy, scipy
  
  scikit-learn, xgboost
  
  statsmodels,
  
  prince, fbpca
  
  nltk, gensim
- Extension
  
  Extension de scikit-learn (category_encoders, …)
  
  imbalanced-learn
  
  polylearn, lightfm
  
  edward
  
  pyflux
  
  interprétation d’une prédiction treeinterpreter
  
  pyfolio, zipline
  
  lda2vec, spacy
- Auto learning
  
  auto-sklearn
  
  TPOT
- Graphes
  
  Graphes (ROC, plus de maths, sklearn.metrics.roc_curve)
  
  matplotlib, seaborn, bokeh
- Cartes
  
  basemap,
  
  shapely, pyproj
- Données cryptées
  
  cyphermed
Revue des différents problèmes de machine learning
- Python pour un datascientist
Texte
- Aperçu de traitement du langage Texte et machine learning

article

Cheat Sheets¶

2017-06-24

Quand quelqu’un s’amuse à regrouper plusieurs cheat sheets au même endroit, il faut absolument garder le lien quelque part, Essential Cheat Sheets for Machine Learning and Deep Learning Engineers, et son répertoire GitHub. C’est une façon très simple d’attirer pas mal de monde au même endroit car cela nous évite pas mal d’aller retour vers un moteur de recherche.

article

Préparation pour la séance 5, données out of memory¶

2017-05-23

Certains jeux disponibles sur data.gouv.fr sont très volumineux. C’est l’occasion de voir comment se débrouiller quand les données ne tiennent pas en mémoire. Pour la prochaine, nous utiliserons un des fichiers disponibles sur cette page : DAMIR, de préférence un des plus récents. Il faudra le télécharger avant la séance. Nous verrons différentes options pour le manipuler.

…

article

Références et plan pour la séance 4¶

2017-04-18

Plan suivi pour cette séance :

…

article

Mettre à jour un module sous Windows¶

2016-11-15

Comme il n’existe pas de compilateur par défaut sous Windows, l’installation ou la mise à jour des modules requiert de passer toujours par les mêmes étapes. Si la distribution Anaconda est installée et que le module est maintenu, il faut toujours exécuter :

…

article

Télécharger en Python via un proxy¶

2016-10-10

Il n’est pas facile de télécharger des données via un proxy. Je retranscris différents essais reçu par mail. La fonction urllib.request.urlopen ne fonctionne pas pour ce genre d’usage. Il faut utiliser le module python-requests. Ce qui ne marche pas avec un proxy :

…

article

Eviter les mots de passe dans les notebooks¶

2016-09-24

Il arrive fréquemment qu’on ait besoin d’une ressource protégée par un mot de passe, service web, API, login et le plus simple est toujours d’écire ce mot de passe en clair dans le notebook. On se dit qu’il faudra penser à l’enlever avant de partager le notebook et on oublie toujours de l’enlever. C’est mon cas en tout cas. J’ai dû plusieurs fois changer de mot de passe car le précédent est parti sur GitHub par inadvertance (programmée).

…

article

Références, séance du 14 juin 2016¶

2016-06-14

Trucs et astuces sur Internet

Chercher sur un moteur de recherche <module> cheatsheet pour retrouver les usages les plus fréquents avec un module

Autres trucs et astuces

Contre les suppressions involontairs : Git, Tortoise Git
Installation de xgboost pour Windows : pip install pymyinstall et pymy_install xgboost, see also Build xgboost 0.4a30 for Python 3.4 and 3.5