XD blog

2014-01

2014-01-30 Equation différentielle stochastique sous Excel avec VBA

C'est un TD que je donnais à l'ENSAE il y a quelques années. Mais le VBA n'a pas trop changé depuis cette époque, tout du moins comparé à d'autres langages. L'équation différentielle stochastique de Black et Scholes apparaît souvent lorsqu'on parle de finance :

$\frac{dY_t}{Y_t} = r dt + \sigma dW_t$

Avec :

: est le prix à l'instant t d'une action
: est le taux d'intérêt sans risque
$\sigma$ : est la volatilité du prix de l'action
t : représente le temps
: un petit intervalle de temps
: est un mouvement brownien
: est une variable aléatoire normale de moyenne nulle et de variance dt

On cherche à résoudre numériquement cette équation avec Excel. C'est un peu le début de l'implémentation d'un pricer sous Excel.

more...

2014-01-29 Convert an equation into a PNG image

I recently faced an issue while converting an equation into an image using the method I developped in this post. I do not know why but the following expression \frac{X_t}{Y_t} did not work. So I had to use miktex and more specifically htlatex through the following command line:

htlatex eq.tex html "" "" "--interaction=nonstopmode"

The last parameter avoids the programm to check the input stream if an error was detected. I wrapped this into a quick and dirty python program you can find below. It will also describe what eq.tex should contain.

more...

2014-01-28 Comment extraire les paramètres d'un url en javascript

Plutôt que de créer des interfaces graphiques, j'utilise de préférence une page HTML avec du javascript que j'exécute avec un navigateur. Ca prend moins de temps et on trouve facilement sur internet une solution à son problème, voire trop de solutions pour extraire les paramètres d'un url en javascript : http://....?par1=value1&par2=value2. Voici un code qui fonctionne :

more...

2014-01-27 Créer une page de raccourcis en HTML/javascript

Quand Google Reader a disparu, je me suis demandé s'il était compliqué d'implémenter rapidement une sorte de page HTML en local depuis laquelle je pourrais consulter les blogs. Même si j'ai finalement implémenté quelque chose d'un peu plus complexe (pymmails), il est resté quelques essais et bouts de codes. Le code suivant permet de diviser la page en deux, d'avoir d'un côté une liste d'urls, de l'autre, une fenêtre dans laquelle s'affiche le site cliqué. Je m'en sers parfois pour faire des listes de raccourcis sur des outils internes plus facile à transférer d'un ordinateur à un autre que les raccourcis d'un navigateur. Un exemple de ce que cela donne est plus bas.

more...

2014-01-26 Inégalités

Le dernier forum de Davos a souligné l'accroissement des inégalités (Les dangers de la montée des inégalités au menu du Forum de Davos). La tranche des plus 1% les plus riches auraient capté l'essentiel des richesses créées depuis 20 ans et la statibilité et la durabilité de la croissance mondiale pourraient en être affectée. Ce n'est sans doute pas la dernière crise financière qui aura inspiré cette réflexion - à moins que sept années n'eussent été nécessaire pour formuler cette assertion - ou peut-être est-ce le mouvement We are the 99% qui a manifesté plusieurs mois en 2011. Plus récemment, les habitants de San Francisco se rebellent contre la Silicon Valley. La hausse des prix des logements altère la mixité sociale dans la plupart des grandes villes. Le fait de posséder un iPhone est aussi révélateur du niveau de revenu de son propriétaire. Qui sait si les ingénieurs d'Apple ne seront pas bientôt les seuls à pouvoir s'offrir un iPhone (Une tirelire à 150 milliards de dollars pour Apple).

more...

2014-01-24 On y va ! Oui mais comment ?

Le mot réforme est dans l'air du temps depuis la dernière allocation du président. Il faut réformer, simplifier l'enchêtrement que le temps a laissé faire. Mais comment fait-on ? Il est souvent plus simple d'apprendre à manoeuvrer un gouvernail tordu que de le réparer tout entier. Et comment le changer en pleine mer ? Définir l'objectif puis chercher à l'atteindre. On procède souvent comme ça. J'écoutais l'émission Peut-on changer l'école ?. L'interlocateur souligne que nous faisons la plupart du temps une assez bonne analyse des problèmes mais nous passons peu de temps à réflechir sur le cheminement à suivre pour mettre en place une réforme. Bref, la transition, le petit paragraphe qu'on écrit vite entre la thèse et l'anti-thèse, entre la synthèse et la conclusion, entre... Et si on n'arrivait jamais à l'écrire, arriverait-on jamais à la conclusion ? Dans la vrai vie, on zappe tout sauf la conclusion. Ca nous laisse des pages de transitions à remplir.

Pour finir, une citation autour de réforme, elle est extraite de La crise de l'intelligence de Michel Crozier qui commente le refus de Jacques Delors de se présenter à l'élection présidentielle : Il a renoncé parce qu'il pensait ne pas avoir tous les éléments nécessaires à la mise en oeuvre des réformes qu'il estimait indispensables. Il s'est donc posé en planificateur qui n'avait pas les moyens de ses objectifs plutôt qu'en stratège qui accepte d'analyser les probabilités de transformations réelles à l'intérieur du système. De ce point vue "adémocratique", effectivement, aucune réforme n'est jamais possible.

2014-01-22 Automatically saving emails on a local folder

When my student have their exams, I receive many emails with their solution attached to them. I avoid downloading them all because it is manual. However, a couple of days ago, I thought it might be useful if I write the tool which does it for me (I'm still refusing to do it manually). I ended up writing a Python module called pymmails. To get the email from my students, I just had to execute the following script:

from pyquickhelper import fLOG
from pymmails import MailBoxImap
fLOG(OutputPrint=True)
user = "your.email"
pwd = "password"
server = "imap.your_provider.ext"
box = MailBoxImap(user, pwd, server)
box.login()
box.dump_html(folder="students_exam", pattern='FROM "ensae" SINCE 1-Dec-2013')
box.logout()

All the attachments were in a single folder. I hope I'll remember my own trick next year or maybe I'll use jinja2 or even pelican to make it better.

more...

2014-01-21 What editor with Python

I usually use SciTE when programming Python. It is simple and fast. Plus, I usually do not use a debugger. I sometimes use Notepad++ but the shortcuts are different and I never really tried to change them. I once tried PyScripter but the project seems to be intermittently maintained.

I recently tried the free version of PyCharm and it is very to use. Create a project is not difficult, adding existing files too. And it was possible to change the shorcuts as I wanted. One feature I liked was the easy installation of setuptools and pip. The professional version offers support for django.

I tried The Eric Python IDE a long time ago but it seemed too complex for my needs. Python Tools for Visual Studio is a also nice integration, interesting for big projects. I'm surprised to see features such as creating a file setup.py, creating a sphinx project, using cx_Freeze. I'm wondering if I'm not going to switch from an editor to another one depending on what features I will need for the current project. To conclude, if you want to use a tablet, you can use Python Anywhere. You can check other alternative on Wikipedia. Don't forget to check the date of the latest release first. Older than a year is not a good sign.

If you do machine learning a lot, it might be interested to use an environment designed for that purpose such as WinPython. It includes Spyder which has been updated to Python 3.3 last year. It also includes IPython with the notebook which makes it easier to test some of the steps I went through in this previous blog More about interactive graphs using Python, IPython, ...

2014-01-18 Framework for Mobile Application

What framework to choose if you want to build a mobile application which will save you some time while deploying on multiple phones? (Android, Black Berry, iPhone, Windows Phone). I'm not sure there is a perfect answer and it will probably change in a couple of months. However, this what I found. I was looking for answers. Which phones does it support today? Where can you develop your application? Which language? How to build? How to deploy? Cost? I limited my study to the following frameworks (according to a friend, the others are not as mature):

Apache Cordova (or PhoneGaps): This framework provides a common API in javascript/HTML to access the API of each phone. The goal is to build application for many phone based on the same code. It produces a web application.
Sencha Touch: It contains more template javascript/HTML templates than Cordova. The free framework does not seem to do more than building a web application with javascript and HTML. However, you can use both Cordova and Sencha Touch (see below).
Titanium Mobile: It is also a framework using javascript/HTML. The framework can access the native API of each phone (as opposed to Cordova). You might end up with a different version on each phone. The framework should give more freedom than the first one.
Xamarin (+ MvvmCross): It proposes a way to build phone application written in C# on every phone (using Mono for iOS and Android). It gives an access the native API. The framework also includes the possibility to design hosted on a remote machine which can communicate with the phone application.
kivy A framework in Python (2.7, migration to Python 3 should happen some day). It was not meant to develop phone application but it now proposes a way to make it work on Android, with pyjnius, and iOS, with pyobjus and kivy-ios. This two libraries connect Python to java which accesses the phone functionalities. There is no support for Windows Phone. A last module plyer gives access to some extra functionalities (GPS, text to speech).

more...

2014-01-16 La nuit des temps n'est pas si loin

Je l'ai lu il y a quelque temps mais j'ai dévoré La nuit des temps de Barjavel. Au dela de l'histoire, c'est aussi cet ordinateur capable de traduire toute langue en une autre qui m'a fasciné. Je ne sais pas ce que Barjavel aurait dit si on lui avait demandé quand ce serait effectivement possible. On n'en est probablement pas très loin... mais parlons d'abord de ce qui est accessible facilement aujourd'hui.

J'écoutais France Inter il y a deux jours Xavier Bertrand. A vrai dire, j'ai oublié ce qu'il a dit, j'ai juste retenu qu'il raisonnait non pas par rapport au contenu d'un propos mais par rapport à celui qui le prononçait. Peu importe, je voulais voir s'il était possible de décrypter des vieux podcasts du même bonhomme pour voir ce qu'il disait du président... Je n'en ai pas trouvé, probablement trop vieux et effacés. Je n'ai trouvé que Jean-François Coppé. Sur la page de France Inter, on peut lire deux extraits dont on ne sait pas quand dans l'émission ils ont été extraits. Qu'à cela ne tienne, Barjavel n'est pas si loin...

more...

2014-01-15 Copie d'écran automatique avec Selenium ou Splinter

On a parfois besoin de faire des copies d'écran, régulièrement, et cela devient toujours la même routine : aller sur un site internet, faire une copie d'écran et la copier dans un fichier. Et si on a le courage, limiter la zone à celle désirée. Lorsqu'il s'agit de faire une copie d'écran d'un site web, il est possible d'automatiser.

Le module selenium a été développé dans le but de tester un site internet. Il permet de reproduire une séquence d'événements (clic, clavier, ...) et d'observer le résultat. Entre autre chose, il permet de faire une copie d'écran de ce site. Le module selenium a une déclinaison en Python. Et à l'aide d'un petit script, il est possible de faire une copie d'écran de n'importe quel site web :

more...

2014-01-12 R or Python

Should you use R or Python? I won't give a precise answer except a reference to this blog post: Python Displacing R As The Programming Language For Data Science. To summarize, if you are a statistician, you are already using R. However, if you are not a statistician but you need statistics, you are probably wondering if you should use R and another language or just another language. R is not very well designed as a programming language and is not very suitable to manipulate files, create a web server or games... Using Python for everything avoids switching to another language. It avoids converting the data into various formats between the two languages.

With pandas, numpy, scipy, scikit-learn, matplotlib, IPython, many common statistics routines are available in Python. In the last two years, it became a really strong alternative to R. In the next years, SAS should less and less used (see Forecast Update: Will 2014 be the Beginning of the End for SAS and SPSS?). Computers speed and memory are not an issue anymore with others alternatives. Plus, it is expensive. I would also look at Julia (+ Julia Studio) which seems to be a promising language. I discovered at MCMSki IV. But maybe the future will be dedicated languages such as BUGS for bayesian models.

Finally, some articles about R and Python:

2014/06/30: I recommend reading Numeric matrix manipulation, The cheat sheet for MATLAB, Python NumPy, R, and Julia

2014-01-01 Frameworks for games in Python

Implementing a simple game in Python is not too difficult if you consider using a module such as pygame. With the multiplicity of devices (computers, laptop, tablets, phones), we may wonder whether or not the same code will work on many of them. So far, I was able to find a couple of modules to implement a game. I mean display graphics, play music or videos, intercept events coming from the mouse or the keyboard:

pygame: very popular and bullet proof but it does not work with touchscreen (it is based on SDL). There is no dependency.
pysdl2: the development seems quite active, it is based on SDL2 which needs to be retrieved first. It can handle touchscreens.
pyglet: offers similar functionalities, however, the development does not seem to be very active.
PySide: very similar to pyqt, the licence is different and gives more freedom.

If the game requires 3D graphics, those extensions will have to associated with pyOpenGL. If my preference goes to pygame mostly because I know it, I would consider pysdl2 because SDL2 now supports Android and iOS (iPad, iPhone). GitHub and Bitbucket are now very popular. You can find examples just by searching the module you want to use: pygame on github, pygame on bitbucket.

However, there exist others solutions. They might need more effort to be used but they seem promising as they could really make deployment on many platform easy. kivy seems very promising. A game implemented with that framework can be deployed on Linux, Windows, Android, iOS. It is also available on Raspberry Pi. kivy allows the programmer to interact the same way with any device. The last one I found is pythonista. It was designed to easily implement Python programs on iOS (iPad), not necessarily games. It only works with Python 2.7 but I hope Python 3.x will be soon supported.

A last solution would be to use a HTML/Javascript solution packaged in a service but maybe, it goes beyond python and the scope of this post.

Xavier Dupré