Une partie de la plateforme matérielle d’Exalead

Exalead Exalead est un moteur de recherche généraliste sur le web mondial, conçu en France, il a été fondée en 2000. Avec plus de 8 milliard de page dans son index Exalead à mis en place une plateforme massivement distribué.

La mise en place d’un moteur de recherche doit respecter un certains nombre de contraintes comme les temps de réponses, les fréquences de mise à jour de l’index, le nombre de page, le nombre de requêtes traitables simultanément par le système.

Comme tous les moteurs Exalead éclate son index sur plusieurs fermes de serveurs. Un serveur, en fonction de sa charge (nombre de requête utilisateur) va pouvoir traiter (indexer) de 10 à 100 millions de pages. Chez Exalead c’est HP qui à été retenu (en partie, car DELL est également présent), à l’intérieur des baies ce sont des lames équipées d’Opteron dual core (des 64 bits d’AMD), gonflées de RAM (16-24Go).

HP ProLiant DL385 Packaged Cluster AMD Opteron


Pour se rendre compte des volumétries, voici quelques chiffres sur une petite partie de l’architecture :

- 32 serveurs HP ProLiant bi-processeurs AMD cadencés à 1,8 GHz avec 16 Go de mémoire ;

- HP MSA50HP MSA50 32 baies de stockage HP MSA50 intégrant la technologie SAS avec 10 disques SAS (Serial Attached SCSI) de 72 Go et un format réduit “Small Form Factor 2,5

- 15 serveurs HP ProLiant DL585 quadri-processeurs AMD Opteron (dotés chacun de 24 Go
de mémoire
)
- 8 baies de stockage HP MSA30 (Raid SCSCI).

- Plusieurs To en attachement direct, pour créer un espace massivement parallèle.

- Plus de 200 000 accès simultanés par seconde.

- Et une bonne dizaine de baies chez un hébergeur de la région parisienne.

- Mais il y a aussi d’autres datacenter, et des nouvelles architectures

architecture exalead

De quoi refroidir les ardeurs des adeptes d’un moteur web libre. Car ici contrairement à l’architecture Wikipedia, c’est le nombre de serveur qui compte. Même si les différents applicatifs (crawl, parse, extracteur, indexeur, ec…) demandent des équipes de DEV dédiés histoire de suivre le leader sur la pertinence.

D’autres informations sur le Blog Exalead : 

Sur le même thème :

  • Pas d article sur ce thème

Leave a Reply