Problème technique et rollback des serveurs de jeu le 2 juillet 2009 Suite à une coupure de courant chez notre hébergeur vers 11h ce jeudi 2 juillet 2009, l’ensemble des serveurs de jeu et des sites Ankama, ainsi que plusieurs autres sites Internet majeurs, se sont arrêtés brutalement.

Une réouverture des serveurs de jeu et des sites est prévue pour cet après-midi vers 14h30.

La sauvegarde automatique des serveurs de jeu de 11h était en cours lorsque le problème est survenu, et n’a malheureusement pas pu être terminée.

Nous avons donc été contraints d’effectuer un retour en arrière des données des serveurs à la sauvegarde de 6h ce matin, à l’exception du serveur Oto Mustam, dont les données ont été sauvegardées à 9h ce matin.

Les serveurs de jeu sont à nouveau opérationnels mais nous devons encore effectuer des opérations de maintenance sur notre architecture avant de les rouvrir aux joueurs.

Tous les cadeaux de loterie ou d’abonnement attribués aux comptes au cours de la période impactée par le retour en arrière seront automatiquement rendus.

Tous les comptes qui se sont connectés ce matin entre 6h et 11h sur les serveurs classiques et entre 9h et 11h sur le serveur Oto Mustam recevront une « Pousse de Tanfouguite » en compensation pour la perte de temps occasionnée.

La Pousse de Tanfouguite est un objet que vous pouvez aller échanger auprès du PNJ Doro le Black dans le temple Xélor (3,1) contre :

• 1 bonbon +100 en sagesse pour 30 combats
• ou 1 bonbon + 100 en prospection pour 30 combats
• ou 20 poudres d'Eniripsa
• ou la résurrection d'un familier

Les cadeaux de loterie, les cadeaux d'abonnement et les compensations seront attribués aux comptes dans le courant de l'après-midi.

Veuillez nous excuser pour la gêne occasionnée.

La distribution des Pousses de Tanfouguite se fait tout au long de l'après-midi.

Certains comptes les ont déjà reçu, d'autres ne les recevront que ce soir.

La procédure de rendu est longue lorsque nous l'appliquons à un serveur ouvert, mais nous avons préféré rouvrir les serveurs au plus tôt pour ne pas vous empêcher de jouer plus longtemps.

Il est donc inutile de poster sur le forum pour dire que vous n'avez pas reçu votre Pousse. Tous ceux qui doivent l'avoir l'auront d'ici ce soir.

Voici un résumé succin de cette 'journée noire' :

11h16 : Coupure généralisée chez notre hébergeur, Télia/Equinix. A priori les rumeurs indiquent une erreur humaine, mais aucune confirmation ni communication à ce sujet.

Une grosse partie des sites hébergés par ce qu'on peut appeler comme 'le plus gros hébergeur de France' est coupée.

Nous récupérons une partie des accès aux serveurs dans la demi-heure qui suit, mais certains serveurs requièrent une intervention console pour redémarrer. Notre prestataire sur place s'y attelle.

12h environ : on commence à déployer les sauvegardes pour les rollbacks des serveurs (alors que certains serveurs ne sont pas encore remontés, mais les bases de données étant dispo, on attaque). La sauvegarde de 11h était en cours, mais incomplète, et donc inexploitable en l'état. Nous devons donc utiliser la sauvegarde de 6h. Pour le serveur héroïque, les sauvegardes étant plus fréquentes, celle de 9h est exploitable.

13h : l'ensemble des rollbacks sont déployés, les serveurs de jeu tous opérationnels et prêts à reprendre du service. Cependant, des désynchronisations entre les bases d'identification (accès jeu, sites, forums, ...) empèchent qu'on puisse relancer dans l'immédiat.

On commence également à préparer les distributions de cadeaux de compensation (pousse de tanfougite) : extraire les comptes ayant droit (abonnés, parmis les comptes joués entre 6h et 11h)
On prépare aussi la redistribution des cadeaux d'abonnement/lotterie consommés dans l'intervale.

14h30 : l'ensemble de l'intégrité des données des bases des comptes (identifications, abonnements, ...) est restaurée. Nous relançons les serveurs en conservant les accès bloqués

14h40 : tous les serveurs sont relancés, nous réouvrons l'accès via le serveur d'identification


Pour conclure, c'est le premier 'gros' pépin depuis notre arrivée chez Télia fin aout 2008. Nous avons pu relancer l'ensemble de l'architecture en moins de 4h. Nous avons pu éprouver les points encore sensibles de notre architecture et de nos procédures, nous pourrons donc si un problème de ce genre se reproduisait, intervenir plus rapidement et diminuer le downtime.

Concernant la panne elle même, nous ne serons jamais à l'abri complet de problèmes électriques, ou réseau. Nous améliorons simplement nos procédures pour limiter l'impact sur les joueurs, que ce soit temps de relance de l'architecture, ou portée des rollbacks.