Haute-Disponibilite

Comme annoncé dans ce précédent billet. La société Cloud Consulting, partenaire des IT souhaitant étudier leur migration vers le Cloud Computing nous propose d’intervenir sur ce blog afin d’apporter son éclairage et son expertise sur le Cloud Computing, et vous présenter ses solutions techniques.

Dans ce premier article, Cloud Consulting vous propose d’aborder sa vision de la haute disponibilité et un comparatif des définitions qu’en font les fournisseurs de Cloud Computing. Mais commençons tout d’abord par définir ce qu’est la Haute Disponibilité… Lire la suite »

Sujet assez fréquent sur ce site mais toujours utile. Cette fois les conseils proviennent de Nick Belhomme. Qui a transcrit une excellente allocution d’Eli White à propos des application web : scalable. Eli travaillait chez Digg et lors de cette intervention il a livré ses conseils avisés sur l’architecture d’une application web évolutive:

Voici donc les quelques points importants à mettre en oeuvre pour construire une architecture capable de monter en charge et en nombre d’utilisateur sans être obligé de consommer vos ressources de manière exponentielle. Lire la suite »

Décidément ils sont très actifs chez Amazon web services, en trois ans ils auront mis en place un système de service distribués trés complet (Cloud EC2, SimpleDB, Storage S3, Queue Service SQS). Le dernier en date concerne MapReduce, j’avais d’ailleurs déjà évoqué cette possibilité il y a un peu plus d’un an à la fin de cette note. Mais au fait ça sert à quoi MapReduce…

Lire la suite »

Les équipes de Google viennent d’annoncer qu’ils avaient batu le record du benchmark Terabyte. Ce test consiste à trier un TéraOctet de données le plus rapidement possible. Cela représente le tri de mille millions de lignes, et cette performance a été réalisée en 68 secondes.

Depuis 1998 nous sommes donc passés de plus de 2 heures, à 30 minutes en 2004, 3 minutes en 2007 et enfin 68 secondes cette année. Le précédent record, obtenu par Yahoo en utilisant le couple Java/Hadoop était de 209 secondes sur ce cluster :

Lire la suite »

Pas de commentaires sur les fluctuations boursières ici mais une information sur le déploiement de la dernière série d’IBM : les iDataPlex. Cette gamme est dédiée aux centres de calcul et ils sont optimisés au niveau électrique et énergétique.

C’est justement ce qui est recherché par Merrill Lynch dans cette opération, obtenir de grosses capacités de calcul pour pouvoir modéliser et analyser les risques de leurs produits financiers. L’architecture innovante de cette gamme permet en effet de concentrer dans un petit volume (à partir de deux baies) une centaine de serveurs avec une consommation électrique et un dégagement calorifique très faible. Attention sur ce dernier point, la porte avec fluide de refroidissement est une option, et votre datacenter doit être compatible (arrivée d’eau).
Lire la suite »

Voici un exemple concret d’utilisation du système de fichier Lustre dont je vous parlais dans ce billet. En effet pour gérer de tels volumes il n’existe pas beaucoup de solutions sur le marché. En tout cas c’est celle qui a été retenue par les équipe du CINES (Centre Informatique National de l’Enseignement Supérieur) pour l’élaboration de leur dernier cluster de calcul.

Grâce à ce cluster la recherche française remonte à la 3ieme place mondiale en terme de puissance de calcul, avec un total de 470 Téraflop.

Au niveau technique, ce supercalculateur scalaire parallèle est composé de : Lire la suite »

Lors de la dernière conférence LinuxWorld, John Engales le CTO de Rackspace a présenté les différentes étapes de la vie d’un site web. Et même si chaque site possède sa problématique il est toujours intéressant de voir qu’il existe un schéma général.

En quelques lignes voici donc les différentes versions d’une infrastructure web typique, j’ai simplement changé deux points (en gras et/ou barré) qui sont plus proches de la réalité des cas que je rencontre de ce coté de l’atlantique :

• Etape 1 : Architecture simple, pas de redondance, pas de complexité. Un firewall, un serveur Web et une base de données avec stockage local (load balancer web, rare à ce niveau).

• Etape 2 : La même chose mais avec un load balancer sur deux serveurs web et une base de données un peu plus puissante

• Etape 3 : Mise en place d’un reverse proxy, d’un cache statique et de load balancers sur les bases de données (avec synchro master/slave par exemple). Il faudra prévoir quelques recodage à cette étape.

• Etape 4 : La complexité commence : Ajouter du memcached (ou autre), les réplications entre les bases de données deviennent trop gourmandes en ressources et il va falloir commencer le split horizontal (partitionnement des données, nécessitant un re-design des BDD). A ce niveau la mise en place de serveurs dédiés en fonction du contenu a du sens.

A partir d’ici les choses commencent vraiment à devenir sérieuses, bonne nouvelle pour le trafic du site ou du service mais il va désormais falloir assurer une disponibilité sans faille. Lire la suite »

Le dernier rapport de ViriSign nous apprend que la charge globale de leur infrastructure a de nouveau dépassé un record avec un pic journalier de 48 milliards de requêtes. Cela représentre plus de 500 000 requêtes DNS par seconde sur les TLD (Top Level Domain) .com et .net. Ce chiffre représente un doublement du trafic par rapport à l’année dernière.

C’est pour cette raison que VeriSign investit massivement dans l’amélioration de son infrastructure. Cet investissement de plus de 100 millions de dollars doit permettre le traitement de 4 trillions de requêtes par jours à horizon 2010 (soit quatre milles milliards de requêtes en échelle courte). Lire la suite »

Le choix d’une base de données pour gérer les services vitaux d’une société n’est jamais trivial. Dans le monde de la finance ou des telecom Oracle remporte souvent la mise grâce à ses capacités de clusterisation sur plusieurs serveurs (Oracle RAC).

Cette version offre en effet des mécanismes de répartition de charge et de reprise sur erreur automatique extrêmement robustes. Malheureusement l’addition des coûts nécessaires à la mise en place d’une telle architecture n’est pas toujours compatible avec les budgets des applications et services Web.

Pour répondre à cette problématique il existe une version modifiée de MySql, la version Cluster. Cette version est optimisée pour être extrêmement disponible. Lire la suite »

Quelle est la différence entre le Grid et le Cloud Computing ? C’est la question que j’ai reçu il y a quelques jours. En fait même si certains concepts sont proches (grand nombre de serveurs, communication réseau très importante, stockage généralement distribué, etc…) ces deux techniques sont assez différentes.

En fait elles différent surtout par le mode d’utilisation de ces clusters de serveurs.

Dans le cas du Grid Computing il s’agit surtout de mettre à disposition de quelques équipes des ressources informatiques très puissantes pour des périodes de temps donnés (et généralement planifiés). En France il existe par exemple le projet Grid5000 (INRIA, CNRS, Universités, … ). Ce cluster est en général utilisé pour faire des calculs parallèles sur de très gros volumes de données.

Alors que dans le cas du Cloud Computing on note souvent une notion d’instantanéité, d’élasticité de la ressource, de disponibilité et de virtualisation.

Lire la suite »