November 17, 2008
Si votre site fonctionne sur la base d’une communauté de membre et que votre service est gratuit pour vos visiteurs (ie: pub Google ou autres). Je vous invite à lire ce post de Markus Frind (CEO of Plentyoffish.com)
Il dirige un très gros site aux US, entièrement gratuit. Il a réussi en quelques années à passer les différentes barrières techniques lui permettant d’atteindre des centaines de milliers d’utilisateurs quotidien.
Mais aujourd’hui il annonce qu’il arrive au bout du modèle :
- Affichage de publicité => Rémunération
- Consolidation de l’architecture pour accueillir plus de membre.
En effet, actuellement le doublement de sa base multiplie ses coûts par 6.
Lire la suite »
2 Comments |
Rentabilité, Étude de cas | Tagged: Architecture, publicité, trafic |
Permalink
Posted by Marc
October 10, 2008

La fréquentation de ce site ne cesse de progresser mais malheureusement ses périodes d’indisponibilité aussi. Pourtant LinkedIn dispose d’une bonne architecture technique et en général son ‘uptime‘ est dans la moyenne, mais depuis début septembre les problèmes s’accumulent.
Comparativement au début de l’année ( 4H d’interruption sur les deux premiers mois de 2008) les dernières semaines sont en fort recul. En effet sur septembre le site était hors ligne pendant 9 heures, dont 5 heures pleines lors de la coupure de courant du 6 septembre. Lire la suite »
No Comments » |
Monitoring, indisponibilite, Étude de cas | Tagged: Equinix, indisponibilite, linkedin |
Permalink
Posted by Marc
September 30, 2008
Voici un exemple concret d’utilisation du système de fichier Lustre dont je vous parlais dans ce billet. En effet pour gérer de tels volumes il n’existe pas beaucoup de solutions sur le marché. En tout cas c’est celle qui a été retenue par les équipe du CINES (Centre Informatique National de l’Enseignement Supérieur) pour l’élaboration de leur dernier cluster de calcul.
Grâce à ce cluster la recherche française remonte à la 3ieme place mondiale en terme de puissance de calcul, avec un total de 470 Téraflop.
Au niveau technique, ce supercalculateur scalaire parallèle est composé de : Lire la suite »
No Comments » |
Architecture, Clustering, Étude de cas | Tagged: Cluster, Clustering, iDataPlex, Lustre, Serveur |
Permalink
Posted by Marc
August 27, 2008
Lors de la dernière conférence JavaOne (organisé par Sun Microsystems) un des membres de Linkedin à donné plusieurs informations à propos de l’architecture du site. Plusieurs points à retenir de cette intervention. Le Java, des statistiques sur les volumétries et la mise en mémoire du graphe.
Le premier point concerne donc les volumétries. Linkedin est un réseau social dont le but principal est la mise en relation professionnelle (en France il existe Viadeo). Actuellement le réseau Linkedin comporte plus de 25 millions de membres, cette communauté génère 40M de PV/jour, 2M de recherche par jour et plus de 50M d’email par mois.
Pour gérer ces volumes les concepteurs utilisent quasiment exclusivement Java (98% du code). Les services fonctionnent sur l’OS Solaris et sur des serveurs Sun x86 et Sparc. Les serveurs applicatifs tournent eux sous Tomcat et Jetty, enfin les bases sont gérées avec Oracle et MySql, le search fonctionne lui directement avec l’API Lucene.
Reste le coeur du système, le graphe des utilisateurs… Lire la suite »
1 Comment |
Architecture, Serveur, Étude de cas | Tagged: Equinix, linkedin, Lucene, Mysql, Oracle, sun |
Permalink
Posted by Marc
June 25, 2008
Choisir un hébergeur n’est pas une chose simple. Le nombre de paramètre à prendre en compte est important et la durée de l’engagement l’est aussi. En effet choisir un hébergeur pour les 6/12 premiers mois d’activité ne se fait pas de la même manière pour le choix d’un partenaire qui accompagnera sa croissance sur plusieurs années. Il est assez rare que le même prestataire soit idéal sur ces deux phases d’ailleurs.

L’exemple de YouTube est assez intéressant de ce point de vue. A l’époque du lancement il n’existait pas de service de type Amazon ou Google Apps les fondateurs de YouTube ont donc opté pour la location de serveurs managés par un prestataire (le coût et la rapidité de mise en place étaient prioritaires).
Bonne idée car ils n’étaient pas expert dans ce domaine et souhaitaient se concentrer sur le cÅ“ur du système : l’application Python permettant l’upload et le stockage sur Clusters des vidéos. Avec la croissance exponentielle du trafic la location de serveurs n’était plus économiquement viable. De plus l’hébergeur en question avait une architecture réseau qui ne correspondait plus vraiment aux flux qui devaient transiter entre les machines. Enfin le besoin en bande passante, problème n°1 devait se régler directement avec des opérateurs.
C’est pour cette raison qu’ils ont décidé de migrer vers la location d’un espace privé dans un Datacenter. Les principaux avantages ont été : Lire la suite »
No Comments » |
Clustering, Datacenter, Hébergement, google, Étude de cas | Tagged: GFS, memcached |
Permalink
Posted by Marc
June 24, 2008
Wikipédia fonctionne grace à un logiciel open source: MediaWiki. C’est un logiciel PHP/MySQL. L’architecture des sites Wikipédia est donc basée sur ce couple de logiciel et hébergée sur des configurations classiques de type LAMP.
Mais pour gérer des pics avec plusieurs dizaines de milliers de connections par seconde il faut booster cette architecture.
L’équipe du site a donc ajouté un certains nombre de composant pour absorber ce trafic colossal.
Dans le désordre nous retrouvons :
- une répartition de charge par DNS
- LVS pour le load balancing
- Squid pour le cache
- Memcached, Lucene, Lighttpd,
- etc…
Et comme un schéma est souvent bien plus clair qu’une longue explication voilà à quoi ressemble l’infrastructure du site :

Concernant les volumétries les 3 datacenters de Wikipédia utilise quelques 400 serveurs (du P4 au double Xeon Quad Core avec 16Gb de RAM). Le détail se trouve dans le document en bas de page mais le plus impressionnant reste Squid car il gère ici des pointes à 2500 requêtes/sec sur UN SERVEUR !!
Lire la suite »
No Comments » |
Architecture, Uncategorized, Étude de cas | Tagged: Lucene, Mysql, PHP, Squid |
Permalink
Posted by Marc
June 8, 2008
 Contrairement aux leaders du secteur, qui sont majoritairement sous technologie Microsoft le site de ventes évènementielles et privées 24h00.fr à choisi l’architecture LAMP.
Ce type de site doit gérer des pics de trafic sur des périodes très courtes (mais prévisibles). Il s’agit d’être disponible lors du lancement des ventes. Pour faire face à ces lancements 24h00 a mis en place une architecture LAMP organisée ainsi :
- 3 frontaux Web (Apache) en load-balancing , avec un MySql local sur chaque serveur (en lecture seule)
- 1 serveur MySql (master) déporté, en synchro avec les slave hébergé sur les serveurs web

Au niveau applicaif c’est du PHP 5, comme pour MySql en version 5. Pour terminer sur cette partie citons Artful (groupe Claranet) qui gère l’infogérance de la plate-forme ainsi que l’hébergement Lire la suite »
1 Comment |
Hébergement, Étude de cas | Tagged: apache, Mysql, PHP |
Permalink
Posted by Marc