module faq.faq_hadoop#

Short summary#

module ensae_teaching_cs.faq.faq_hadoop

Quelques questions autour de Hadoop

source on GitHub

Functions#

function

truncated documentation

putty_different_python

Documentation#

Quelques questions autour de Hadoop

source on GitHub

ensae_teaching_cs.faq.faq_hadoop.putty_different_python()#

La version de Python est différente dans putty

Lorsqu’on ouvre une fenêtre putty, on crée une passerelle vers une autre machine, le plus souvent linux. Ce qu’on voit à l’intérieur de la fenêtre est la ligne de commande de cette machine. Ce n’est pas vraiment la ligne de commande mais plutôt une représentation. Les commandes sont envoyés à la machine distance via le protocole SSH. Je renvoie au TD Map/Reduce avec PIG qui montre comment se server de putty pour envoyer des commandes vers le cluster. Il est aussi possible de créer sa propre fenêtre putty à l’intérieur d’un notebook (voir Communication with a remote Linux machine through SSH).

Mais comment fait-on pour exécuter un script python sur la machine distance ?

Deux options. On l’écrit sur sa machine locale avec l’éditeur dont on a l’habitude puis on transfère le fichier sur la machine distante pour l’exécuter avec la commande

python <fichier.py>

La seconde option consiste à ouvrir un édieur de texte à l’intérieur de la fenêtre putty. Tout se fait avec des raccourcis puisque la souris est inutilisable. On peut utiliser les éditeurs vi ou nano.

Une astuce : pour éviter de sortir de l’éditeur nano ou vi à chaque fois qu’on souhaite exécuter le script, il suffit d’ouvrir une seconde fenêtre putty. La première sert à éditer, la seconde à exécuter le script.

source on GitHub