Traitement du langage

Cette partie regroupe principalement des techniques relevant du word embedding qui consiste à convertir des données textuelles en données numériques directement exploitable par les algorithmes d’apprentissage.

Notebooks

• Traitement du langage naturel
  • 2A.ml - Texte et machine learning
  • 2A.eco - Traitement automatique de la langue en Python
  • 2A.eco - Traitement automatique de la langue en Python - correction

Lectures - articles

• Système de complétion : la complétion est utilisée par tous les sites Internet pour aider les utilisateurs à saisir leur recherche. N’importe quel site commercial l’utiliser pour guider les utilisateurs plus rapidement vers le produit qu’ils recherchent.

• Text Understanding from Scratch, Xiang Zhang, Yann LeCun

• Text Generation With LSTM Recurrent Neural Networks in Python with Keras

• Supervised Word Mover’s Distance

• Probabilistic Context-Free Grammars (PCFGs)

• A Roundup of Recent Text Analytics and Vis Work

• A Joint Model for Entity Analysis: Coreference, Typing, and Linking

• Disfluency Detection with a Semi-Markov Model and Prosodic Features

• Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks

• Neural CRF Parsing

• Less Grammar More Features

• Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints

• Multimodal Word Distributions

Lectures - cours

• Deep Learning for Natural Language Processing

Lectures - revue

• October Edition: Text Understanding - 9 Must-Read Articles

Lectures - Classification

• Bag of Tricks for Efficient Text Classification

Lectures - word2vec

• The amazing power of word vectors

• Towards a continuous modeling of natural language domains

• Efficient Estimation of Word Representations in Vector Space, Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, Distributed Representations of Words and Phrases and their Compositionality, Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, Jeff Dean, word2vec Parameter Learning Explained, Xin Rong, Tutorial on Auto-Encoders, Piotr Mirowski

• Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec

Lectures - glove

• GloVe: Global Vectors for Word Representation (pdf), GloVe: Global Vectors for Word Representation (article de blog)

• glove (Glove avec R, Glove avec python)

Lectures - vidéo

• Cours de deep learning appliqués au NLP

Word embedding

• On word embeddings - Part 1

• On word embeddings - Part 2: Approximating the Softmax

• On word embeddings - Part 3: The secret ingredients of word2vec

• From Word Embeddings To Document Distances

Interprétation

• Learning to Parse and Translate Improves Neural Machine Translation

• Skip-Gram – Zipf + Uniform = Vector Additivity

Résumé

• Beyond SumBasic: Task-Focused Summarization with Sentence Simplification and Lexical Expansion

• ROUGE: A Package for Automatic Evaluation of Summaries

Vidéos

• Modern NLP in Python

Modules ML

• nltk

• gensim

• fasttext (Facebook)

• spacy (ressources spacy)

• thinc

• Stanford CoreNLP, corenlpy

• lda2vec

• glove-python

• tethne

• torchtext

• pycantonese (texte cantonnais),

  snownlp (texte Chinois), jieba (tokenizer pour le chinois)

• polyglot : fonctionne pour beaucoup de langues

• pattern : possède une bonne base d’exemples, notemmant pour récupérer des données depuis internet 01-web

• stanza

Modules de recherche

• BERT

Modules moins ML

• python-rake : petit module pour extraire des mot-clés

• sumy : construction automatique d’un résumé d’un texte

• pyrouge : calcule de la métrique ROUGE