.. blogpost::
    :title: Préparation pour la séance 5, données out of memory
    :keywords: big data,
    :date: 2017-05-23
    :categories: big data

    Certains jeux disponibles sur
    `data.gouv.fr <https://www.data.gouv.fr/fr/>`_
    sont très volumineux. C'est l'occasion de voir comment se
    débrouiller quand les données ne tiennent pas en mémoire.
    Pour la prochaine, nous utiliserons un des fichiers disponibles sur cette page :
    `DAMIR <https://www.data.gouv.fr/fr/datasets/open-damir-base-complete-sur-les-depenses-dassurance-maladie-inter-regimes/>`_,
    de préférence un des plus récents.
    Il faudra le télécharger avant la séance. Nous verrons différentes options
    pour le manipuler.

    * `pandas et les itérateurs <http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html>`_
    * `sqlite3 <https://docs.python.org/3/library/sqlite3.html>`_
    * `dask <http://dask.pydata.org/en/latest/>`_
    * `zarr <https://github.com/alimanfoo/zarr>`_
    * `format de données compressés <https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.sparse.csr_matrix.html>`_

    Correction de l'exercice proposé dans le blog précédent :
    :ref:`pyramidebigarreerst`.