Automatic Differenciation

Les algorithmes de descente de gradient sont très utilisés en machine learning. La plupart des librairies de calcul implémente le calcul du gradient pour une certaine famille de modèle. L’idée à terme est de pousser le plus de concepts possibles dans le langage de programmation, voire le compilateur, pour accélérer l’exécution et faciliter l’écriture de modèles le plus souvent de deep learning.

Lectures

• Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator

• Automatic Differentiation in Machine Learning: a Survey

• Operational Calculus on Programming Spaces