Haute-Disponibilite

Il est assez rare d’avoir des informations détaillées de la part des sociétés européennes. C’est donc avec plaisir que j’ai consulté cet excellent post à propos des problématiques de gestion de bases de données chez Netlog. Netlog est un portail social pour les jeunes Européens, crée par la société Netlog S.A. basée à Gand, en Belgique. Cette plate forme est utilisée par plus de 41 millions de personnes à travers l’Europe.
Lire la suite »

C’est ce que vous pourrez découvrir dans le dernier entretien de Jérôme Aguesse (Directeur de production chez Skyrock) dans 01informatique. Vous pourrez notamment y apprendre que cette une plate forme LAMP (Linux, Apache, MySQL et PHP) répartis par des load balancer (ZXTM de Zeus, ServerIron de Foundry Networks) et comment les bases de données MySQL sont réparties en étoile grâce à une synchronisation Master/Slave.
Lire la suite »

Le site Digg est connu pour être un énorme fournisseur de visiteurs (surtout quand vous êtes sur la première page) mais comment gèrent-ils leur propre trafic. Pour vous donner un ordre d’idée, il y a six mois Digg drainait plus de 20 millions d’utilisateurs et 220 millions de pages vues par mois. Ce trafic représente une moyenne constante de plus de 100 requêtes par seconde… Pour gérer tout ça nous retrouvons un petit ensemble de mots magiques : Debian, MySQL, Memcached, MogileFS, Python, PHP, Apache..
Lire la suite »

Si votre site fonctionne sur la base d’une communauté de membre et que votre service est gratuit pour vos visiteurs (ie: pub Google ou autres). Je vous invite à lire ce post de Markus Frind (CEO of Plentyoffish.com)

Il dirige un très gros site aux US, entièrement gratuit. Il a réussi en quelques années à passer les différentes barrières techniques lui permettant d’atteindre des centaines de milliers d’utilisateurs quotidien.

Mais aujourd’hui il annonce qu’il arrive au bout du modèle :

• Membres gratuits

• Génération de trafic

• Affichage de publicité => Rémunération

• Consolidation de l’architecture pour accueillir plus de membre.

• Retour à l’étape 1

En effet, actuellement le doublement de sa base multiplie ses coûts par 6.

Lire la suite »

Pas de commentaires sur les fluctuations boursières ici mais une information sur le déploiement de la dernière série d’IBM : les iDataPlex. Cette gamme est dédiée aux centres de calcul et ils sont optimisés au niveau électrique et énergétique.

C’est justement ce qui est recherché par Merrill Lynch dans cette opération, obtenir de grosses capacités de calcul pour pouvoir modéliser et analyser les risques de leurs produits financiers. L’architecture innovante de cette gamme permet en effet de concentrer dans un petit volume (à partir de deux baies) une centaine de serveurs avec une consommation électrique et un dégagement calorifique très faible. Attention sur ce dernier point, la porte avec fluide de refroidissement est une option, et votre datacenter doit être compatible (arrivée d’eau).
Lire la suite »

Avec plus de 10 000 serveurs, FaceBook continue sa progression. Aujourd’hui nous apprenons (via ce post) que le site gère plus de 10 milliards de photos ! Après le passage du cap des 100 millions d’utilisateurs actifs dans le monde (en Aout dernier) c’est un nouveau record qui vient d’être battu. Dans cette note nous apprenons également que le site gère désormais :

• Plus d’un pétaoctet de stockage pour les photos.
• La livraison de 15 milliards d’images par jour.
• Et tous les jours plus de 2.3 téraoctets de photos sont téléchargées sur le site. Lire la suite »

La fréquentation de ce site ne cesse de progresser mais malheureusement ses périodes d’indisponibilité aussi. Pourtant LinkedIn dispose d’une bonne architecture technique et en général son ‘uptime‘ est dans la moyenne, mais depuis début septembre les problèmes s’accumulent.

Comparativement au début de l’année ( 4H d’interruption sur les deux premiers mois de 2008) les dernières semaines sont en fort recul. En effet sur septembre le site était hors ligne pendant 9 heures, dont 5 heures pleines lors de la coupure de courant du 6 septembre. Lire la suite »

Voici un exemple concret d’utilisation du système de fichier Lustre dont je vous parlais dans ce billet. En effet pour gérer de tels volumes il n’existe pas beaucoup de solutions sur le marché. En tout cas c’est celle qui a été retenue par les équipe du CINES (Centre Informatique National de l’Enseignement Supérieur) pour l’élaboration de leur dernier cluster de calcul.

Grâce à ce cluster la recherche française remonte à la 3ieme place mondiale en terme de puissance de calcul, avec un total de 470 Téraflop.

Au niveau technique, ce supercalculateur scalaire parallèle est composé de : Lire la suite »

Un rapide post pour ceux qui s’intéressent aux infrastructures techniques des datacenters. Première vidéo avec OVH, c’est à l’opposé des centres de données ultra-disponibles TIER IV mais la gestion industrielle de ce parc est assez impressionnante. Aujourd’hui OVH dispose d’une capacité de 36 000 serveurs et poursuit sa progression avec l’installation de 2 à 3 baies par jours. Le trafic réseau est colossal et ils disposent de leur propre interconnexion Paris <-> Roubaix.

Cette liaison optique de 300 Km entre Paris et Roubaix gère actuellement 4×10 Gbps (10% de la capacité maximum de cette paire de fibres). Je vous laisse découvrir le reste du routage interne dans cette vidéo : Lire la suite »

Lors de la dernière conférence JavaOne (organisé par Sun Microsystems) un des membres de Linkedin à donné plusieurs informations à propos de l’architecture du site. Plusieurs points à retenir de cette intervention. Le Java, des statistiques sur les volumétries et la mise en mémoire du graphe.

Le premier point concerne donc les volumétries. Linkedin est un réseau social dont le but principal est la mise en relation professionnelle (en France il existe Viadeo). Actuellement le réseau Linkedin comporte plus de 25 millions de membres, cette communauté génère 40M de PV/jour, 2M de recherche par jour et plus de 50M d’email par mois.

Pour gérer ces volumes les concepteurs utilisent quasiment exclusivement Java (98% du code). Les services fonctionnent sur l’OS Solaris et sur des serveurs Sun x86 et Sparc. Les serveurs applicatifs tournent eux sous Tomcat et Jetty, enfin les bases sont gérées avec Oracle et MySql, le search fonctionne lui directement avec l’API Lucene.

Reste le coeur du système, le graphe des utilisateurs… Lire la suite »