Le notebook suivant récupère le contenu d'une page du journal Le Monde, extrait les urls d'images à l'aide d'une expression régulière puis télécharge les images pour les stocker dans un répertoire. Le notebook extrait les images d'une personnalité.
Première étape, on récupère automatiquement le contenu d'une page.
%matplotlib inline
import urllib.request as ulib
def get_html(source):
with ulib.urlopen(source) as u:
return u.read()
page = get_html("https://www.lemonde.fr")
page[:500]
b' <!DOCTYPE html> <html lang="fr" prefix="og: http://ogp.me/ns#"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no"> <link rel="manifest" href="/manifest.json"> <script>\nif(sessionStorage.fontsFirst&&sessionStorage.fontsLast&&\'fonts\'in document){document.documentElement.classList.add(\'fonts-loaded\');}\nif(typeof Promise===\'undefined\'){document.documentElement.classList.ad'
Quelques expériences avec les encoding. La norme sur internet est l'encoding utf-8. Un caractère ne peut représenter que 255 caractères distincts ce qui est insuffisant pour certaines langues. L'encoding est un ensemble de codes qui permettent de représenter des caractères complexes avec une séquence d'octets.
ch = "é"
ch
'é'
ch.encode("utf-8")
b'\xc3\xa9'
Quand on essaye d'encoder et décoder avec des encodings différents, cela a peu de chance de fonctionner.
try:
ch.encode("utf-8").decode("ascii")
except UnicodeDecodeError as e:
print(e)
'ascii' codec can't decode byte 0xc3 in position 0: ordinal not in range(128)
On revient sur la page du monde.
page2 = page.decode("utf-8")
page2[:500]
' <!DOCTYPE html> <html lang="fr" prefix="og: http://ogp.me/ns#"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no"> <link rel="manifest" href="/manifest.json"> <script>\nif(sessionStorage.fontsFirst&&sessionStorage.fontsLast&&\'fonts\'in document){document.documentElement.classList.add(\'fonts-loaded\');}\nif(typeof Promise===\'undefined\'){document.documentElement.classList.ad'
len(page)
162301
On cherche les urls d'images JPEG, quelque chose comme <img ... src="...jpg" ... />.
import re
reg = re.compile('src="(.*?[.]jpg)"')
images = reg.findall(page2)
images[:5]
['https://img.lemde.fr/2018/12/29/0/80/2533/1689/450/0/60/0/9d50bd3_TBNJ2jfeDAMcrJTRCJo_PhcJ.jpg', 'https://img.lemde.fr/2018/12/29/0/80/2533/1689/600/0/60/0/9d50bd3_TBNJ2jfeDAMcrJTRCJo_PhcJ.jpg', 'https://img.lemde.fr/2018/12/28/0/2/2995/1997/450/0/60/0/af7bb7f_0Kn4ov2yDlsRVB4pN4XY788n.jpg', 'https://img.lemde.fr/2018/12/28/0/2/2995/1997/600/0/60/0/af7bb7f_0Kn4ov2yDlsRVB4pN4XY788n.jpg', 'https://img.lemde.fr/2018/12/28/161/0/2933/1955/450/0/60/0/b24bb7e_e54b795931204bc49ec9db07b61096fc-e54b795931204bc49ec9db07b61096fc-0.jpg']
import os
if not os.path.exists("images/lemonde2"):
os.makedirs("images/lemonde2")
Et on enregistre les images.
for i, img in enumerate(images):
nom = img.split("/")[-1]
dest = os.path.join("images/lemonde2", nom)
if os.path.exists(dest):
continue
try:
contenu = get_html(img)
except Exception as e:
print(e)
continue
print(f"{i+1}/{len(images)}: {nom}")
with open(dest, "wb") as f:
f.write(contenu)
79/126: 7cda9b0_HJabMp9DiCtOQAD8os3AxvJa.jpg 81/126: 64dba25_87ec32b73a934148a1f5a5591ef926b0-87ec32b73a934148a1f5a5591ef926b0-0.jpg unknown url type: '/dist/assets/img/group/lux-residence-3.png" alt=""> </a> </div> <div class="bd__bloc bd__bloc--image " data-partner="gymglish"> <a href="https://anglais.lemonde.fr/"> <img data-src="/dist/assets/img/group/gymglish-4.png" alt=""> </a> </div> <div class="bd__bloc bd__bloc--visible-mobile" data-partner="cuponation"> <div class="bd__header"> <span>Codes promos</span> <span>avec Global Savings Group</span> </div> <div class="bd__content bd__content--classic"> <ul> <li><a href="https://codepromo.lemonde.fr/code-promo-amazon">Amazon Prime à 5,99€ par mois</a></li> <li><a href="https://codepromo.lemonde.fr/code-promo-asos">-10% pour les édutiants avec Asos</a></li> <li><a href="https://codepromo.lemonde.fr/code-promo-fnac">Fnac : envoi offert dès 25€</a></li> <li><a href="https://codepromo.lemonde.fr/code-promo-showroomprive">Showroomprivé : envois offerts pour 20€/an</a></li> <li><a href="https://codepromo.lemonde.fr/code-promo-yves-rocher">Yves Rocher : la livraison offerte dès 15€</a></li> <li><a href="https://codepromo.lemonde.fr/code-promo-volotea">Volotea : 35€ offerts pour votre anniversaire</a></li> <li><a href="https://codepromo.lemonde.fr/code-promo-europcar">Europcar : 25% de promotion</a></li> </ul> </div> <div class="bd__footer"> <a class="bd__btn" href="https://codepromo.lemonde.fr/">Toutes les offres</a> </div> </div> </div> </section> <section class="area area--section"> <a class="area__title" title="Les décodeurs" href="/les-decodeurs/"> <h4 class="logo__les-decodeurs"> <span class="sr-only">Les décodeurs</span> </h4> </a> <div class="article article--first-roll"> <a href="/les-decodeurs/article/2018/12/21/dans-la-balance-du-vivant-les-hommes-ne-pesent-pas-bien-lourd_5401032_4355770.html" class="Article"> <div class="article__media-container"> <picture class="article__media"> <source data-srcset="https://img.lemde.fr/2018/12/21/0/0/5404/3603/800/0/60/0/5d3c88f_5oxbcUuAt-sr0WrbtqunxvC7.jpg' 87/126: 5d3c88f_5oxbcUuAt-sr0WrbtqunxvC7.jpg 98/126: W101255646.jpg 99/126: E103130404.jpg 100/126: E103743566.jpg 'ascii' codec can't encode character '\xee' in position 383: ordinal not in range(128) 'ascii' codec can't encode character '\u2019' in position 337: ordinal not in range(128) 107/126: 4da5a43_TXIH-YzMrsZXK5bjmsBTX-bO.jpg unknown url type: '/dist/assets/img/group/frantastique-1.png" alt=""> </a> </div> <div class="bd__bloc " data-partner="logic-immo"> <div class="bd__header"> <span>Annonces immobilières</span> <span>avec Logic-Immo</span> </div> <div class="bd__content bd__content--extend"> <ul> <li> <a href="http://immobilier.lemonde.fr/detail-vente-c21404b9-0754-6e9a-6e7b-00dbae56b348.htm"> <img data-src="https://img.lemde.fr/ext/80x53/uri/smmf.logic-immo.com/mmf/ads/photo-prop-440x330/c21/2/2e8dbc2e-62d4-4c23-b35b-93ad4a7bbf9d.jpg' 125/126: e4d9a2da-cb2f-447d-bea7-4d50fc676d70.jpg unknown url type: '/dist/assets/img/group/barnebys-montres-3.jpg'
Affichons quelques images.
from mlinsights.plotting import plot_gallery_images
import numpy
from datetime import datetime
now = datetime.now().strftime("%d/%m/%Y")
fold = "images/lemonde2"
imgs = [os.path.join(fold, img) for img in os.listdir(fold)]
choices = numpy.random.choice(len(imgs), 12)
random_set = [imgs[i] for i in choices]
ax = plot_gallery_images(random_set)
ax[0, 1].set_title("12 images aléatoires du Monde du %s" % now);
On se concentre sur d'une personnalité en utilisant la légende de l'image. On utilise une expression régulière pour récupérer toutes les images.
import re
reg = re.compile('<img src=\\"([^>]+?[.]jpg)\\" alt=\\"([^>]*?)\\">', re.IGNORECASE)
len(page2)
160804
imgs = reg.findall(page2)
len(imgs), imgs[:3]
(65,
[('https://img.lemde.fr/2018/12/29/0/80/2533/1689/600/0/60/0/9d50bd3_TBNJ2jfeDAMcrJTRCJo_PhcJ.jpg',
''),
('https://img.lemde.fr/2018/12/28/0/2/2995/1997/600/0/60/0/af7bb7f_0Kn4ov2yDlsRVB4pN4XY788n.jpg',
''),
('https://img.lemde.fr/2018/12/28/161/0/2933/1955/600/0/60/0/b24bb7e_e54b795931204bc49ec9db07b61096fc-e54b795931204bc49ec9db07b61096fc-0.jpg',
'')])
if not os.path.exists("images/personne"):
os.makedirs("images/personne")
with open(os.path.join("images/personne", "legend.txt"), "w") as fl:
for img, alt in imgs:
if alt == "":
continue
nom = img.split("/")[-1]
dest = os.path.join("images/personne", nom)
if os.path.exists(dest):
continue
try:
contenu = get_html(img)
except Exception as e:
print(e)
continue
print(nom)
with open(dest, "wb") as f:
f.write(contenu)
fl.write("{0};{1}\n".format(nom, alt))
3d0d45c_JHknkYmikIzxujYaYUwCwObB.jpg 6a3748b_8060-1khmzd6.jpg 369c0c6_UfCKP8sGIrOaYytCKHPMiZnB.jpg 545cf15_4ukakb_S88U7e7KZ_fu6nwps.jpg 64dba25_87ec32b73a934148a1f5a5591ef926b0-87ec32b73a934148a1f5a5591ef926b0-0.jpg
now = datetime.now().strftime("%d/%m/%Y")
fold = "images/personne"
imgs = [os.path.join(fold, img) for img in os.listdir(fold) if ".jpg" in img]
ax = plot_gallery_images(imgs)
if len(ax) > 0:
# Si on a trouvé des images.
if len(ax.shape) == 2:
ax[0, 0].set_title("Image du Monde %s" % now)
else:
ax[0].set_title("Image du Monde %s" % now)
ax;
