1 milliard de pages vues par jour pour YouTube

October 14, 2009

fibrePour les adeptes de performances ce chiffre signifie quand même une moyenne de 11 574 pages par seconde. Sans compter que les pages YouTube contiennent des vidéos !!! Je vous laisse imaginer les besoins en bande passante.

Lire la suite »


Apple va construire son iDatacenter et Google recrute

June 4, 2009

appleC’est officiel Apple se lance dans la construction de son propre Datacenter. D’après ces informations, il s’agit essentiellement de mettre en place un système permettant de livrer les musiques d’iTunes et les logiciels pour iPhone. Actuellement Apple fait appel à plusieurs CDN, dont Akamai. Mais il faut croire que les volumes de données commencent à devenir colossaux (un milliard d’applications téléchargés, sans compter les musiques ou les clips). Et il semble que les factures ou les possibilités offertes par les CDN ne conviennent plus à la marque à la pomme.

Lire la suite »


L’avenir de l’hébergement et l’infogérance des serveurs dédiés

April 14, 2009

serveursLes dernières vidéos de Google sur ces datacenter (en bas de cette page ou ici) sont très impressionnantes. Aujourd’hui mettre en place un centre de données optimisé demande des investissement colossaux. Ce n’est plus simplement la gestion de la climatisation ou de l’électricité, c’est du traitement de l’eau, de la mécanique des fluides, de la transformation électrique basse tension et j’en passe.

Les grands acteurs du Cloud Computing comme Google et Amazon investissent des moyens techniques et financiers énormes dans ces optimisations, en créant dans le même temps une véritable barrière à l’entrée pour les acteurs actuels de l’hébergement.
Lire la suite »


Le Java et le CRON sont disponibles sur les Google App Engine

April 8, 2009

google-camp-fireBon, encore un billet pour les developpeurs mais cette fois l’impact pourrait être beaucoup plus important. En effet il s’agit de l’annonce du support de Java sur les ‘machines virtuelles de Google’. Avec cette annonce Google ouvre une porte énorme dans le Cloud Computing, notamment pour les applications d’entreprise. En effet à ce jour le déploiement de composant Java ne peut ce faire que sur des serveurs dédiés, dont il faut gérer, ou faire gérer la maintenance, la sécurité, la bande passante, etc…
Lire la suite »


A l’intérieur d’un Datacenter Google (bonus: Les serveurs Web Google)

April 2, 2009

googleBeaucoup d’informations sur le géant de Mountain View ces derniers jours. En effet lors du “ Google Data Center Energy Summit” Google a mis en ligne plusieurs vidéos décrivant l’architecture  de ces datacenters et de ses serveurs web. Point intéressant, on découvre que Google utilise des conteneurs. IBM, Sun et les autres sont sur segment depuis quelques années également mais il semble que Google ait compris l’intérêt de cette structure depuis déjà bien longtemps.

Lire la suite »


Ouverture de Google App Engine & Update chez Gandi

February 24, 2009

google-appAprès un lancement un peu chaotique et quelques incidents, l’infrastructure Google passe à la vitesse supérieure. Ils viennent en effet d‘annoncer officiellement la vente de prestations supplémentaires permettant de débloquer les quotas sur les applications hébergés sur les serveurs Google.

Pour rappel ce service permet d’héberger des applications (python) gratuitement, tout en bénéficiant la puissance de la plate forme Google (ce qui peut être très utile!). Jusqu’à présent cette utilisation était limitée et en phase de béta.  Mais avec cette annonce les choses changent, et Google se positionne clairement en face des services d’Amazon dans la guerre à l’hébergement, avec des tarifs assez agressifs : Lire la suite »


Trier un tableau d’un Téra en 68 secondes (record battu)

November 22, 2008

Les équipes de Google viennent d’annoncer qu’ils avaient batu le record du benchmark Terabyte. Ce test consiste à trier un TéraOctet de données le plus rapidement possible. Cela représente le tri de mille millions de lignes, et cette performance a été réalisée en 68 secondes.

Depuis 1998 nous sommes donc passés de plus de 2 heures, à 30 minutes en 2004, 3 minutes en 2007 et enfin 68 secondes cette année. Le précédent record, obtenu par Yahoo en utilisant le couple Java/Hadoop était de 209 secondes sur ce cluster :

Lire la suite »


Trafic x50 en moins d’une heure…Merci Google App Engine

July 23, 2008
gestion pic de charge

Une de mes application fonctionne sur les serveurs Google et je pense qu’aujourd’hui ils m’ont rendu un grand service ! Suite à un article sur un gros site US la consultation du site a littéralement explosé. Trafic multiplié par 50 en quelques minutes.

Je ne connais pas d’infrastructure (économique) qui permet d’absorber un tel changement en quelques minutes sans être perturbée.

Les problèmes de fiabilité existent sur les systèmes de Cloud. Notamment chez Amazon avec de nouveau un gros incident sur les serveurs de stockage cette semaine. Mais ce type d’architecture reste, de mon point de vue d’une souplesse extraordinaire.

Lire la suite »


Choisir son hébergement : L’exemple de YouTube

June 25, 2008

photo baies de serveursChoisir un hébergeur n’est pas une chose simple. Le nombre de paramètre à prendre en compte est important et la durée de l’engagement l’est aussi. En effet choisir un hébergeur pour les 6/12 premiers mois d’activité ne se fait pas de la même manière pour le choix d’un partenaire qui accompagnera sa croissance sur plusieurs années. Il est assez rare que le même prestataire soit idéal sur ces deux phases d’ailleurs.

L’exemple de YouTube est assez intéressant de ce point de vue. A l’époque du lancement il n’existait pas de service de type Amazon ou Google Apps les fondateurs de YouTube ont donc opté pour la location de serveurs managés par un prestataire (le coût et la rapidité de mise en place étaient prioritaires).

Bonne idée car ils n’étaient pas expert dans ce domaine et souhaitaient se concentrer sur le cœur du système : l’application Python permettant l’upload et le stockage sur Clusters des vidéos. Avec la croissance exponentielle du trafic la location de serveurs n’était plus économiquement viable. De plus l’hébergeur en question avait une architecture réseau qui ne correspondait plus vraiment aux flux qui devaient transiter entre les machines. Enfin le besoin en bande passante, problème n°1 devait se régler directement avec des opérateurs.

C’est pour cette raison qu’ils ont décidé de migrer vers la location d’un espace privé dans un Datacenter. Les principaux avantages ont été : Lire la suite »


Indisponibilité de Google App Engine

June 18, 2008

google app downQuelques semaines après l’ouverture de Google App ce service vient de connaitre son premier problème de disponibilité. Plusieurs applications étaient donc ‘off line’ pendant plusieurs heures. C’est assez surprenant de la part de Google qui nous a plutôt habitué à des taux de disponibilité très proches des 100%.

Amazon à également connu des problèmes de disponibilité, et de la même manière l’ensemble des clients/utilisateurs se sont retrouvés sans hébergement pendant plusieurs heures.

Il est assez dommage que ce type de service hautement distribués soient impactés aussi longtemps par ce type d’incident. Concernant Amazon c’est compréhensible car chaque instance est autonome, mais pour Google le CPU comme les disques sont hautement distribués. C’est assez curieux et j’espère que nous aurons des explications sur cet incident de plusieurs heures. Lire la suite »