Incendie chez OVH Strasbourg Mise à jour du 13/03/2021 à 18h10

OVH incendie : mise à jour du 13/03/2021 à 18h10

 1 – Statut des Services

• Nous avons informé tous nos clients par mail du statut de leurs services.

2 – Mesures commerciales

• La facturation a été suspendue pour les clients du datacentre de Strasbourg (SBG) à la date de l’incident.
• Les mesures commerciales ont été indiquées à chaque client impacté.
• Les modalités d’application de ces mesures seront communiquées la semaine prochaine. Elles concerneront notamment les facturations au titre du mois de mars relatives aux services impactés déjà émises avant la date de l’incident.
• Nous avons mis à jour la FAQ.

Nos trois priorités sont les suivantes :

1. Rétablissement des services sur SBG1, SBG3 et SBG4.
2. Mise à disposition d’infrastructures pour nos clients impactés dans d’autres datacentres.
3. Mise en œuvre avec nos clients de tous les mécanismes de PRA (Plan de Reprise d’Activité).

Plan d’action :

Priorité 1 :

SBG-1
– Situation : 4 salles sur 12 ont été endommagées
– Redémarrage électrique : A partir de lundi 15 mars.
– Redémarrage des Serveurs : Remise en fonction progressive des serveurs non endommagés d’ici le 22 mars

SBG-2
– Situation : Bâtiment hors d’usage
– Redémarrage électrique : Audit et inventaire des lieux.
– Redémarrage des Serveurs : Remplacement des infrastructures sur d’autres datacenters

SBG-3
– Situation : Serveurs préservés
– Redémarrage électrique : Des tests pour l’alimentation de la haute tension seront effectués ce week-end. Redémarrage provisoire le 15 mars.
– Redémarrage des Serveurs : Le redémarrage progressif de tous les services est estimé à partir du lundi 22 mars.

SBG-4
– Situation : Serveurs préservés
– Redémarrage électrique : Prévu le lundi 15 mars.
– Redémarrage des Serveurs : Le redémarrage progressif de tous les services est estimé à partir du lundi 22 mars.

• Unités mobiles de réseau et d’électricité Haute Tension arrivées sur le site de Strasbourg ce jour à 12h.
• 60 experts travaillent actuellement sur place (rotation durant le week-end) avec les missions suivantes, organisées en 4 équipes :
1. L’équipe 1 « réseau » est missionnée pour la connexion de l’unité mobile réseau et les tests sur la salle réseau de SBG1
2. L’équipe 2 « électricité » pour la connexion de l’électricité Haute Tension
3. L’équipe 3 « électricité » pour la connexion de l’électricité Basse Tension
4. L’équipe 4 pour la protection et la remise en service des refroidissements

L’objectif est le raccordement pour la re-énergisation et la remise en route du réseau accès backbone lundi à partir du lundi 15 Mars (suivant l’autorisation de ESR).

Pour la ré-énergisation du site :

• 2 groupes électrogènes ont été loués depuis le 11/03 pour l’alimentation éléctrique du bureau temporaire.
• 1 groupe électrogène additionel a été loué pour recharger les batteries de nos groupes électrogènes suite à leur mise en fonctionnement pendant l’incident.

• Plusieurs prestataires travaillent actuellement sur place (30 personnes)

1. Le nettoyage de l’eau au sol du bâtiment SBG3 est terminé
2. Le séchage du bâtiment SBG3 est en cours pour être terminé avant ce dimanche soir
3. Le nettoyage des suies éventuelles présentes dans les salles serveurs du bâtiment SBG3 commencera ce lundi.

• Réparation du système de refroidissement endommagé :
Une grue est arrivée sur site.

Priorité 2 :

• Nous proposons aux clients concernés une infrastructure de remplacement (Bare Metal, Hosted
• Private Cloud et Public Cloud) dans les datacenters de Roubaix (RBX) et Gravelines (GRA).
• Nous nous engageons à produire près de 15 000 nouveaux serveurs dans les prochaines semaines.

Point sur les quantités livrées depuis le 10/03 :

Cloud Universe :

• Baremetal
• Bare Metal – DS – Quantity : 3083
• NAS-HA – TB – Quantity : 195
• Public Cloud
• VPS – VM – Quantity : 5936
• Hosted Private Cloud
• Host – DS – Quantity : 207
• Datastore
• Number of Zpool : 205
• Volume of TB : 1772

Priorité 3 :

• Les mécanismes de Backup :
Une vue d’ensemble de tous les mécanismes de backup sera mise en ligne dans la journée sur la FAQ.
Pour les clients Public Cloud et VPS, la notion de « zone » vs datacentre (SBG) sera clarifiée dans la FAQ aujourd’hui.
Un dispositif adhoc pour aider nos clients à mettre en place leur systme de PRA.

Notre mission reste de fournir à nos clients la plus haute qualité de service, pour soutenir leur activité en ligne. Et nous savons combien cela est important pour eux. Nous nous excusons sincèrement pour les problèmes provoqués par cet incident. Nous continuerons à communiquer avec la plus grande transparence sur la cause de l’incendie et ses conséquences.

Une enquête est en cours. Quelle que soit la cause de l’incident, OVHcloud évalue actuellement les mesures techniques et opérationnelles potentielles visant à apporter des solutions aux clients touchés.

Tous nos canaux de communication, à commencer par notre plateforme de suivi d’incidents, sont accessibles pour vous tenir informés en temps réel sur l’évolution de la situation.

**********

OVH incendie : mise à jour du 12/03/2021 à 15h15

Suite à l’incendie du datacenter de Strasbourg, nous avons gelé depuis le mercredi 10 mars toute opération de maintenance de nos datacenter jusqu’à nouvel ordre. Une fois la situation stabilisée, nous communiquerons sur la reprise des opérations.

Un email va être envoyé aujourd’hui à chaque client avec sa situation spécifique et les options à disposition.

Pour tout besoin en service, nous vous invitons à utiliser les ressources des datacenter de Roubaix(RBX) et Graveline(GRA).

**********

OVH incendie : mise à jour du 11/03/2021 à 16h22

Équipes :

• Nos équipes RH sont arrivées sur place aujourd’hui pour appuyer les équipes travaillant sur le site.
• Un bureau temporaire a été déployé sur-place.
• D’autres équipes industrielles et techniques OVHcloud, sont arrivées sur place en renfort et fournir une expertise spécifique.
• Nous avons renforcé le personnel sur le site de production français (Croix) par des volontaires internes, ceci, pour faire face au plan de production actuel ainsi qu’à la charge de travail supplémentaire causée par l’incident de Strasbourg.
• La production des serveurs se fera en heures de travail prolongées et pendant le week-end.

Production et Datacenters :

• Nous avons commencé à proposer à nos clients une infrastructure de remplacement (serveurs dédiés, Cloud privé et Cloud public) dans les Datacenters de Roubaix et Gravelines.
• Pour répondre à la demande, il est prévu de déployer des chaînes de montage supplémentaires au cours des 48H à venir pour multiplier par 3 notre capacité de production

Sur le site de Strasbourg :

• Diagnostic et inventaire en cours aujourd’hui
• Nettoyage et réparation des bâtiments endommagés en cours pour garantir un environnement de sécurité pour nos équipes.
• Le nettoyage de la mousse et l’aspiration de l’eau dans la rue sont faits. L’aspiration du réservoir d’eau est prévue aujourd’hui.

SBG2 doit être presque entièrement reconstruit.
SBG1 a été lourdement endommagé.

1. Salle de réseau SBG1 – Salle conservée à la suite de la vérification préliminaire ETA : début de la semaine prochaine)
2. ETA provisoire pour électrique = lundi 15 mars
3. Les jours suivants, les serveurs seront activés pièce par pièce après audit

• Pour SBG4 : les vérifications préliminaires et ne révèlent aucun problème. L’objectif est maintenant de rétablir l’électricité en semaine 12 et de rétablir progressivement tous les services.
• SBG3 non touché par l’incendie. L’objectif est de rétablir le courant et le réseau semaine 12 et de restaurer progressivement tous les services

Nos trois priorités sont les suivantes :

1/ Réserver des infrastructures sur nos autres datacentres pour les clients impactés : sur les sites de Roubaix et Gravelines, nous disposons d’un stock de nouveaux serveurs prêts à être livrés auprès d’une majorité de clients impactés. Nous allons renforcer encore la disponibilité dans ces datacentres avec la production de près de 10 000 nouveaux serveurs dans les prochaines semaines. La procédure sera communiquée aux clients concernés dès que possible.

2/ Sécuriser le site, auquel nous avons désormais accès, le nettoyer puis rétablir l’électricité et le réseau pour les trois datacentres impactés.

3/ Continuer à évaluer avec nos clients l’impact sur leurs services situés sur les datacentres concernés afin de trouver les meilleures solutions.

Actions supplémentaires entreprises par OVHcloud :

Réseau :

• Toutes les connections « fibres » entrantes dans le Datacenter sont OK.
• Toutes les commandes passées auprès de différents fournisseurs – ETA à recevoir sur place le 11 mars.

Communication :

Des courriels directs seront envoyés dès aujourd’hui à tous les clients concernés
FAQ publiée
Suivre les mises à jour de cette situation en temps réel :
Notre principal outil de communication reste « Tâche Travaux  »
Une vidéo de mise à jour sur la situation par Octave Klaba sera publiée
Compte d’Octave Klaba sur Twitter 
Une mise à jour de la situation sera publiée demain, le 12 mars.
Twitter

Notre mission est de fournir à nos clients la plus haute qualité de services pour soutenir leurs activités en ligne et nous savons combien cela est important pour eux. Nous nous excusons sincèrement pour les problèmes causés par cet incendie. Nous continuerons à communiquer avec la plus grande transparence sur la cause de l’incendie et ses conséquences.

Une enquête est en cours. Quelle que soit la cause de l’incident, OVHcloud évalue actuellement les mesures techniques et opérationnelles potentielles visant à apporter des solutions aux clients touchés.

Tous nos canaux de communication, à commencer par notre plateforme de suivi d’incidents, sont accessibles pour vous tenir informés en temps réel sur l’évolution de la situation.

**********

OVH incendie : mise à jour du 11/03/2021 à 11h52

Les équipes techniques d’OVHcloud préparent et expédient le matériel nécessaire à la mise en place d’une salle réseau temporaire.
Ces équipements vont être envoyés sur le datacentre de Strasbourg durant la nuit.
Les arrivées fibre du site ont été contrôlées et n’ont pas été touchées par l’incendie.

Le rétablissement de l’alimentation électrique des sites de SBG1 et SBG4 est estimé au lundi 15 Mars.
Le rétablissement de SBG3 est lui estimée au vendredi 19 mars.

**********

 

Le feu, qui s’est déclenché à 0h40 cette nuit, a pris sur le site d’OVH cloud, situé Rue du Bassin de l’Industrie au Port du Rhin dans un quartier de Strasbourg.L’incendie a touché un bâtiment de cinq étages d’une surface de 500m² au sol. À l’arrivée des secours, la structure était totalement embrasée, avec des flammes jaillissant à plusieurs dizaines de mètres de hauteur. Le feu s’est propagé à deux autres bâtiments de l’entreprise.Cet incendie mobilise 101 pompiers et 43 engins du Sdis 67 (Service départemental d’incendie et de secours du Bas-Rhin). De très importants moyens, notamment six lances-canons, deux échelles et le bateau-pompe ont été engagés. Vers 5h30, le feu a été circonscrit, mais les pompiers sont toujours à pied d’œuvre ce début de matinée.Dans un communiqué, la préfecture du Bas-Rhin indique des moyens opérationnels ont également été mobilisés par les autorités allemandes. Journal DNA

 

• Un incendie s’est déclaré ce mercredi 10 mars 2021 à 00h47 dans une salle d’un des
  4 datacentres d’OVHcloud situés à Strasbourg (appelé SBG2).
• L’incendie a été circonscrit en début de matinée.
• Il n’y a aucun blessé à déplorer.
• L’incendie a détruit principalement le datacentre SBG2 et a partiellement endommagé le
  datacentre SBG1 (4 salles détruites sur 12). Les deux autres datacentres OVHcloud de
  Strasbourg n’ont pas été touchés par le feu ; les serveurs SBG3 et SBG4 sont pour
  l’instant éteints mais n’ont pas été impactés.
• Le site ne fait pas l’objet d’une classification Seveso.
• L’origine de cet incendie est en cours d’étude et une procédure d’investigation
  mandatée par les autorités est lancée.

Les actions qu’OVHcloud a engagées :

• Les équipes techniques et commerciales sont mobilisées depuis ce matin pour informer
  nos clients et pallier l’indisponibilité de notre site strasbourgeois.
• Octave Klaba, fondateur de l’entreprise, est sur place depuis ce matin avec les équipes
  industrielles et techniques.
• Pour suivre en temps réel l’évolution de la situation : Twitter
• Une communication client accompagnée d’une « FAQ » sera disponible dès demain.
• Afin de faciliter la prise en charge des demandes des clients, nous leur conseillons de
  privilégier la création de tickets sur notre site ou de consulter notre centre d’aide.

Nos trois priorités sont les suivantes :

1. Réserver des infrastructures sur nos autres datacentres pour les clients impactés :
   sur les sites de Roubaix et Gravelines, nous disposons d’un stock de nouveaux serveurs
   prêts à être livrés auprès d’une majorité de clients impactés. Nous allons renforcer
   encore la disponibilité dans ces datacentres avec la production de près de
   10 000 nouveaux serveurs dans les prochaines semaines. La procédure sera
   communiquée aux clients concernés dès que possible.
2. Sécuriser le site, auquel nous avons désormais accès, le nettoyer puis rétablir l’électricité
   et le réseau pour les trois datacentres impactés.
3. Continuer à évaluer avec nos clients l’impact sur leurs services situés sur les
   datacentres concernés afin de trouver les meilleures solutions.

Nous mettons tous les moyens en œuvre pour assurer une continuité de services à nos
clients :

• Nous travaillons à un plan pour relancer les trois datacentres non touchés (SBG3 et
  SBG4) ou partiellement touchés (SBG1), ainsi que notre réseau, le plus rapidement
  possible.
• Nous invitons nos clients à rester attentifs aux e-mails reçus : en période de crise, il est
  courant que les tentatives malveillantes (phishing, spam, sollicitation, etc.) se multiplient.

Il est plus que jamais nécessaire de rester vigilants.

L’impact sur nos activités :

• Nous continuons d’évaluer l’impact de cet incident, notamment pour les clients dont les
  données étaient situées dans notre datacentre détruit par l’incendie.
• Nos services Web VOIP en France n’ont pas été impactés.
• L’ensemble de nos services dans les autres datacentres en France et dans le monde (dont
  15 DC en Europe) sont pleinement opérationnels.

Notre mission est d’offrir à nos clients une qualité de services optimale pour accompagner leurs
activités en ligne et nous savons l’importance cruciale que cela revêt pour eux. Nous leur
présentons nos plus sincères excuses pour les difficultés que cet incendie leur cause. Nous nous
engageons ainsi à communiquer régulièrement avec la plus grande transparence sur les causes
et les impacts.

Nous évaluons l’impact environnemental en collaborant avec les autorités compétentes et en
suivant une procédure afin de confirmer l’absence de pollution.
À ce stade, nous pouvons confirmer que les riverains n’encourent aucun risque.

Nous évaluons de manière continue l’impact de cet incident et communiquerons dès que
possible avec la plus grande transparence sur l’avancée de nos analyses et la mise en oeuvre de
solutions.

Tous nos canaux de communication, à commencer par notre plateforme de suivi d’incidents,
sont accessibles pour vous tenir informés en temps réel sur l’évolution de la situation.