Haute-Disponibilite

La vidéo à la demande nécessite des ressources importantes. Tant en terme de serveurs qu’en bande passante. L’expérience de TV5 est assez intéressante de ce point vue. Au départ quelques Mo de bande passante étaient suffisants pour délivrer les quelques millions de PV/mois.

Mais la demande en VOD se faisant de plus en plus pressante ces débits se sont vite révélés insuffisants. De plus l’architecture ne comprends qu’une petite dizaine de serveurs chez EastNet, reparti de cette manière :

 

Mais désormais avec des centaines de milliers de visiteurs regardant des vidéos (JT multi-langue en quasi temps réel) l’appel à un prestataire spécialisé est devenue incontournable. L’aspect international et les hautes volumétries ont obligé TV5 à choisir Akamai. Malgré le coût important cette solution Plug & Play a été choisi, d’autant que l’équipe et l’architecture technique n’était pas dimensionnée pour gérer de tels volumes. Lire la suite »

Pour qu’une application web fonctionne vite et bien, l’architecture et l’optimisation de la plate forme technique est important mais il faut que le code soit également optimisé (en fait les deux doivent l’être absolument, parfois même de manière dépendante).

En regardant la taille des fichiers nécessaires aux applications actuelles on comprend pourquoi elles sont parfois ‘longues au démarrage’ :

L’optimisation de ces temps de chargement a été étudié par Benjamin Livshits et Emre Kiciman du département Recherche de Microsoft. Ils viennent de publier un papier intéressant. Il s’agit de “Code Splitting for Network Bound Web 2.0 Applications“.

Comment cela fonctionne, les gains, les outils de Yahoo pour améliorer les temps en chargement… Lire la suite »

Pour gérer la haute disponibilité d’un service web il existe plusieurs techniques. Louer une prestation complète auprès d’un infogéreur, acheter et mettre en place sa propre architecture (datacenter, connectivité IP, serveur, load balancer, etc..) ou faire appel à un CDN (content delivery network ) comme Akamai.

L’avantage c’est qu’il s’agit d’une prestation clef en main, une interface web pour gérer les paramètres techniques, une autre pour voir la consommation et les statistiques en quasi temps réel, et enfin la facturation. Car cette prestation a un coût important.

Quel est le coût, est-ce rentable, les alternatives ?

Lire la suite »

  WordPress à une croissance impressionnante depuis plusieurs années. Le nombre de pages vues est en croissance constante (quasiment un doublement sur les six dernier mois). L’architecture technique et matérielle doit suivre et surtout être suivie. Pour compliquer la tache les serveurs de WordPress sont très hétérogènes et hébergés dans 5 centres de données (datacenter) différents.

Comment suivent-ils ces serveurs, avec quoi font-ils les graphs et le monitoring ? Lire la suite »

En ces temps de fluctuations boursières importantes le site Boursorama voit sa fréquentation quasiment doublée. Ce n’est pas forcément le cas des ordres de bourses, mais au niveau de la recherche d’information la sollicitation est plus importante que d’habitude.

Une fois de plus c’est le triplet Apache / MySQL / PHP qui a été retenu, en tout cas pour les premières applications. Aujourd’hui plusieurs technologies sont utilisées (PHP/Java/etc…). La gestion des publicités est faite par SMART AdServer et gérée via des serveurs Microsoft-IIS/6.0

Architecture Technique du site :

Hebergement : Verio, désormais NTT Europe Online avec une redondance de la plateforme en Angleterre (Londres)

Serveurs Web : Plusieurs dizaines de serveurs sous Debian / Apache pour les frontaux Web (anciennement sous Solaris, Debian depuis 3/4 ans)

Serveurs base de données : IBM / Red Hat

Langages : Java / J2EE pour le CRM et PHP pour le Web

A noter l’utilisation du format InnoDB sous MySQL 5 qui semble être très performant pour ce type de base de données. C’est une donnée importante car le cache, même s’il est présent a une durée de vie très limité (du fait de l’actualisation continue des cours)

Lire la suite »

L’interview de Jean-Michel Mougeolle dans le jdn nous apprend comment ce site gère ses bases et son infrastructure. On y apprend également comment le site a évolué depuis quelques années et pourquoi les bases vont être scindées en plusieurs schémas.

Pour résumer, voici un descriptif de l’infrastructure du site, seul point manquant, comment est fait le load balancing web.

Hébergement: RedBus Telecity (Courbevoie)

OS : RedHat Linux*

Base de données : Oracle

Langages : Java et PHP Lire la suite »

Update : Pour la carte des datacenter de Google vous pouvez consulter directement : Carte et localisation des datacenter de Google

---

Composant important d’une infrastructure haute disponibilité le Datacenter doit être dans un lieu bien protégé mais également proche des techniciens et des réseau haut débits. Le site Data Center Map est un bon outil de ce point de vue.

Il permet de localiser la plupart des data center français grâce à Google Map.

En complément des cartes du FreeIX il est possible de déterminer quel est le meilleur site pour l’hébergement de vos serveurs, ou votre site de backup.

A noter que les cartes de www.datacentermap.com ne sont malheureusement pas exhaustives, il manque (à l’instant ou j’écris cette note), quelques datacenter, en tout cas en région parisienne. Lire la suite »

Une disponibilité de 99,999% c’est ce qui est annoncé sur le dernier né de la série ‘Fault-Tolerant Server’ de chez NEC. Avec moins de 5 minutes d’interruptions par an ce serveur s’adresse aux applications très critiques.

Tout est doublé, au minimum, avec changement à chaud, des disques (en mirroir) mais aussi des processeurs et la mémoire. En effet les BUS étant doublés il est possible de changer n’importe quel composant sans interruption.

Comptez environ 20 000 Euros pour une configuration Dual Xeon avec 1Go de RAM. Livrable sous Windows Server ou RedHat ES.

Plus d’information ici : http://www.nec.co.jp/express/products/f_tolerant/

Google utilise de nombreux outils pour calculer et mettre à jour ses index. Au delà de l’architecture matériel et de ses centaines de milliers de serveurs Google à mise au point des algorithmes permettant de faire des calcul distribués sur des quantités de données très impressionnante.

C’est justement ce que nous découvrons dans un nouvel article traitant de leur programme MapReduce. Ce document nous donne de nouvelles informations sur les volumes traités par Google.

En septembre 2007 ce n’est pas moins de 403 152 TB qui étaient traitées. Le nombre moyen de machines allouées pour une MapReduce travail était 394, et le temps de calcul moyen était de 6 minutes et demi. Le document mentionne que le système d’indexation de Google traite plus de 20 To de données brutes.

Nous apprenons également que Google utilise ce programme pour traiter, par exemple :

Lire la suite »

Update : La phase de BETA se termine en févier 2008 et le prix passe de 6 à 10 Euros HT / mois. C’est quasiment le double, il va donc falloir maintenant tester les performances de ce type de VDS pour voir si l’offre est toujours aussi intéressante par rapport à la concurrence…

Une nouvelle offre d’hébergement chez Gandi, le principal avantage est de mon point de vue de faible coût de départ. Il est en effet possible de louer son serveur virtuel pour 6 10 Euros/mois (avec 1IP, 5go de disque RAID, l’équivalent d’un Celeron, ssh, cron, etc…)

Je ne sais pas comment OVH va réagir, l’offre Kimsufi est différente et son coût (19 Euros/mois) ne pourra jamais descendre à de tel niveau

.

De plus elle est intrinsèquement plus limitée que celle de Gandi car l’évolution (uniquement à la hausse) ne peut être faite que via un changement de serveur.

Quant à AMEN, il existe bien l’offre ‘Serveur privé Linux‘ à 10 Euros / mois mais avec un engagement sur 1 an. De plus mes derniers tests de ce produit n’avait pas été réellement concluant, sans parler du support. Une autre offre était en préparation mais j’ai l’impression qu’elle est restée dans les cartons.

Lire la suite »