Haute-Disponibilite

Si votre site fonctionne sur la base d’une communauté de membre et que votre service est gratuit pour vos visiteurs (ie: pub Google ou autres). Je vous invite à lire ce post de Markus Frind (CEO of Plentyoffish.com)

Il dirige un très gros site aux US, entièrement gratuit. Il a réussi en quelques années à passer les différentes barrières techniques lui permettant d’atteindre des centaines de milliers d’utilisateurs quotidien.

Mais aujourd’hui il annonce qu’il arrive au bout du modèle :

• Membres gratuits

• Génération de trafic

• Affichage de publicité => Rémunération

• Consolidation de l’architecture pour accueillir plus de membre.

• Retour à l’étape 1

En effet, actuellement le doublement de sa base multiplie ses coûts par 6.

Lire la suite »

Pas de commentaires sur les fluctuations boursières ici mais une information sur le déploiement de la dernière série d’IBM : les iDataPlex. Cette gamme est dédiée aux centres de calcul et ils sont optimisés au niveau électrique et énergétique.

C’est justement ce qui est recherché par Merrill Lynch dans cette opération, obtenir de grosses capacités de calcul pour pouvoir modéliser et analyser les risques de leurs produits financiers. L’architecture innovante de cette gamme permet en effet de concentrer dans un petit volume (à partir de deux baies) une centaine de serveurs avec une consommation électrique et un dégagement calorifique très faible. Attention sur ce dernier point, la porte avec fluide de refroidissement est une option, et votre datacenter doit être compatible (arrivée d’eau).
Lire la suite »

Avec plus de 10 000 serveurs, FaceBook continue sa progression. Aujourd’hui nous apprenons (via ce post) que le site gère plus de 10 milliards de photos ! Après le passage du cap des 100 millions d’utilisateurs actifs dans le monde (en Aout dernier) c’est un nouveau record qui vient d’être battu. Dans cette note nous apprenons également que le site gère désormais :

• Plus d’un pétaoctet de stockage pour les photos.
• La livraison de 15 milliards d’images par jour.
• Et tous les jours plus de 2.3 téraoctets de photos sont téléchargées sur le site. Lire la suite »
  

La fréquentation de ce site ne cesse de progresser mais malheureusement ses périodes d’indisponibilité aussi. Pourtant LinkedIn dispose d’une bonne architecture technique et en général son ‘uptime‘ est dans la moyenne, mais depuis début septembre les problèmes s’accumulent.

Comparativement au début de l’année ( 4H d’interruption sur les deux premiers mois de 2008) les dernières semaines sont en fort recul. En effet sur septembre le site était hors ligne pendant 9 heures, dont 5 heures pleines lors de la coupure de courant du 6 septembre. Lire la suite »

Voici un exemple concret d’utilisation du système de fichier Lustre dont je vous parlais dans ce billet. En effet pour gérer de tels volumes il n’existe pas beaucoup de solutions sur le marché. En tout cas c’est celle qui a été retenue par les équipe du CINES (Centre Informatique National de l’Enseignement Supérieur) pour l’élaboration de leur dernier cluster de calcul.

Grâce à ce cluster la recherche française remonte à la 3ieme place mondiale en terme de puissance de calcul, avec un total de 470 Téraflop.

Au niveau technique, ce supercalculateur scalaire parallèle est composé de : Lire la suite »

Un rapide post pour ceux qui s’intéressent aux infrastructures techniques des datacenters. Première vidéo avec OVH, c’est à l’opposé des centres de données ultra-disponibles TIER IV mais la gestion industrielle de ce parc est assez impressionnante. Aujourd’hui OVH dispose d’une capacité de 36 000 serveurs et poursuit sa progression avec l’installation de 2 à 3 baies par jours. Le trafic réseau est colossal et ils disposent de leur propre interconnexion Paris <-> Roubaix.

Cette liaison optique de 300 Km entre Paris et Roubaix gère actuellement 4×10 Gbps (10% de la capacité maximum de cette paire de fibres). Je vous laisse découvrir le reste du routage interne dans cette vidéo : Lire la suite »

Lors de la dernière conférence JavaOne (organisé par Sun Microsystems) un des membres de Linkedin à donné plusieurs informations à propos de l’architecture du site. Plusieurs points à retenir de cette intervention. Le Java, des statistiques sur les volumétries et la mise en mémoire du graphe.

Le premier point concerne donc les volumétries. Linkedin est un réseau social dont le but principal est la mise en relation professionnelle (en France il existe Viadeo). Actuellement le réseau Linkedin comporte plus de 25 millions de membres, cette communauté génère 40M de PV/jour, 2M de recherche par jour et plus de 50M d’email par mois.

Pour gérer ces volumes les concepteurs utilisent quasiment exclusivement Java (98% du code). Les services fonctionnent sur l’OS Solaris et sur des serveurs Sun x86 et Sparc. Les serveurs applicatifs tournent eux sous Tomcat et Jetty, enfin les bases sont gérées avec Oracle et MySql, le search fonctionne lui directement avec l’API Lucene.

Reste le coeur du système, le graphe des utilisateurs… Lire la suite »

Choisir un hébergeur n’est pas une chose simple. Le nombre de paramètre à prendre en compte est important et la durée de l’engagement l’est aussi. En effet choisir un hébergeur pour les 6/12 premiers mois d’activité ne se fait pas de la même manière pour le choix d’un partenaire qui accompagnera sa croissance sur plusieurs années. Il est assez rare que le même prestataire soit idéal sur ces deux phases d’ailleurs.

L’exemple de YouTube est assez intéressant de ce point de vue. A l’époque du lancement il n’existait pas de service de type Amazon ou Google Apps les fondateurs de YouTube ont donc opté pour la location de serveurs managés par un prestataire (le coût et la rapidité de mise en place étaient prioritaires).

Bonne idée car ils n’étaient pas expert dans ce domaine et souhaitaient se concentrer sur le cÅ“ur du système : l’application Python permettant l’upload et le stockage sur Clusters des vidéos. Avec la croissance exponentielle du trafic la location de serveurs n’était plus économiquement viable. De plus l’hébergeur en question avait une architecture réseau qui ne correspondait plus vraiment aux flux qui devaient transiter entre les machines. Enfin le besoin en bande passante, problème n°1 devait se régler directement avec des opérateurs.

C’est pour cette raison qu’ils ont décidé de migrer vers la location d’un espace privé dans un Datacenter. Les principaux avantages ont été : Lire la suite »

Wikipédia fonctionne grace à un logiciel open source: MediaWiki. C’est un logiciel PHP/MySQL. L’architecture des sites Wikipédia est donc basée sur ce couple de logiciel et hébergée sur des configurations classiques de type LAMP.

Mais pour gérer des pics avec plusieurs dizaines de milliers de connections par seconde il faut booster cette architecture.

L’équipe du site a donc ajouté un certains nombre de composant pour absorber ce trafic colossal.

Dans le désordre nous retrouvons :

• une répartition de charge par DNS
• LVS pour le load balancing
• Squid pour le cache
• Memcached, Lucene, Lighttpd,
• etc…

Et comme un schéma est souvent bien plus clair qu’une longue explication voilà à quoi ressemble l’infrastructure du site :

Concernant les volumétries les 3 datacenters de Wikipédia utilise quelques 400 serveurs (du P4 au double Xeon Quad Core avec 16Gb de RAM). Le détail se trouve dans le document en bas de page mais le plus impressionnant reste Squid car il gère ici des pointes à 2500 requêtes/sec sur UN SERVEUR !!

Lire la suite »

  Contrairement aux leaders du secteur, qui sont majoritairement sous technologie Microsoft le site de ventes évènementielles et privées 24h00.fr à choisi l’architecture LAMP.

Ce type de site doit gérer des pics de trafic sur des périodes très courtes (mais prévisibles). Il s’agit d’être disponible lors du lancement des ventes. Pour faire face à ces lancements 24h00 a mis en place une architecture LAMP organisée ainsi :

- 3 frontaux Web (Apache) en load-balancing , avec un MySql local sur chaque serveur (en lecture seule)
- 1 serveur MySql (master) déporté, en synchro avec les slave hébergé sur les serveurs web

Au niveau applicaif c’est du PHP 5, comme pour MySql en version 5. Pour terminer sur cette partie citons Artful (groupe Claranet) qui gère l’infogérance de la plate-forme ainsi que l’hébergement Lire la suite »