Der Brand im Serverraum von OVH in Straßburg hat viele Unternehmen auf der ganzen Welt betroffen, darunter auch unseres, und durch uns auch Sie und Ihre Kunden. Um das Ereignis und seine Auswirkungen auf unser System besser verstehen zu können, haben wir beschlossen, im Folgenden die uns derzeit vorliegenden Informationen zusammenzustellen. Wir beschreiben den Verlauf des Ereignisses, die Krisenszenarien, die wir im Vorfeld vorbereitet haben, den Verlauf der Arbeiten während der Katastrophenbekämpfung und – was am wichtigsten ist – den Sicherheitsplan für die Zukunft. Wir werden diesen Beitrag mit dem Fortschreiten unserer Arbeit aktualisieren. Wir hoffen, dass dadurch die gesamte Situation klarer wird und unser Handeln nachvollziehbar ist.
10.03.2021 Vorfall
Eine sehr ernste brand in der Infrastruktur des Serverraums von OVH in Straßburg am 10. März nach Mitternacht. Da es sich um das größte Rechenzentrum seiner Art in Europa handelt, führte der Brand zur Abschaltung von mehr als 3,6 Millionen Websites weltweit. Viele Geschäfte, Nachrichtenseiten, Banken oder Regierungsseiten waren betroffen – in Frankreich, dem Vereinigten Königreich und Polen. Leider ist auch BaseLinker unter den Betroffenen. OVH ist ein bekannter und seriöser Serveranbieter in Europa. Wir nutzen die Dienste dieses Hosting-Anbieters schon seit vielen Jahren und haben großes Vertrauen in das Unternehmen gesetzt. Unsere Daten wurden auf einigen der teuersten verfügbaren Maschinen (aus den neuesten Hardware-Linien) gespeichert. Obwohl der Brand unsere Server nicht beeinträchtigte, war der Zugang zu ihnen vorübergehend eingeschränkt, da der gesamte Bereich abgeschaltet war. Unseres Wissens ist ein solch lang anhaltender Ausfall eines einzelnen Serverraums noch nie in der Geschichte vorgekommen. Sobaldwir von dem Brand erfuhren, leiteten wir interne Datenwiederherstellungsmaßnahmen ein und begannen sofort – ohne auf Informationen von OVH zu warten – mit der Einrichtung einer neuen Serverinfrastruktur. Für die große Mehrheit der Nutzer konnten wir wichtige Teile des Systems in weniger als 2 Tagen wieder zum Laufen bringen – der Ausfall ereignete sich am Mittwoch 10. 03 um 4 Uhr morgens, das System wurde am Donnerstag, den 11.03 um 14:30 Uhr für Panel-B wiederhergestellt und um 23:30 Uhr bei Panel-A. Die Zugehörigkeit zu einem bestimmten Panel richtet sich ausschließlich nach der Reihenfolge der Registrierung der Konten. Unseren Statistiken zufolge waren die meisten Nutzer am Freitag, den 12.03. bereits dabei, Pakete in der Standardmenge zu packen, Bestellungen wurden im laufenden Betrieb entgegengenommen. Einige kleinere Systemfunktionen wurden erst in den folgenden Tagen nach und nach wiederhergestellt. Wir wollten jedoch, dass die Hauptfunktion des Systems – der Auftragsmanager – so schnell wie möglich wieder zur Verfügung steht. Leider wurde für einige Nutzer (Panel-C) der Zugang zu den Konten vorübergehend eingeschränkt – Maßnahmen seitens des OVH-Serverraums sind notwendig. Nach den Erklärungen des Serverraums sind die Daten gesichert, aber aufgrund der Arbeiten im Bereich der Störung wird der Zugang zu den Maschinen erst zu einem späteren Zeitpunkt möglich sein (der Serverraum hat eine Frist bis zum 23.03. angegeben). Andere Blöcke werden gestartet, aber es besteht das Risiko, dass sich das von OVH angegebene Datum verschiebt). Wir ergreifen alle möglichen Maßnahmen, um das endgültige Datum so nah wie möglich an die vorherigen Erklärungen zu halten. Damit die Nutzer von Panel-C die laufenden Verkäufe abwickeln können, haben wir die Möglichkeit geschaffen, vorübergehend Konten auf Panel-D einzurichten. Die Einrichtung eines neuen Panels erfordert normalerweise wochenlange Vorbereitungen – in dieser Ausnahmesituation haben wir alles getan, um es bereits am nächsten Tag nach dem Ausfall bereitzustellen.
Sicherheitsverfahren – Datensicherung
Von dem Moment an, als die ersten Informationen über den Ausfall auftauchten, leiteten wir Sicherheitsverfahren ein, um die Wiederherstellung der vollen Funktionsfähigkeit des Systems zu beginnen. DieDatensicherheit hat für uns Priorität, daher haben wir die Lösung um ein Back-up-System herum aufgebaut . Unsere Server in Straßburg verfügten für alle Panels über so genannte Mirrors, d. h. Kopien, die sich im Falle eines Ausfalls automatisch und in Echtzeit austauschen. Die Ereignisse des 10. März zwangen uns dazu, das schwierigste Szenario zu realisieren – das System von einem Backup neu zu starten. Obwohl unser Hauptserver und der Spiegelserver bei dem Brand nicht beschädigt wurden, wurden sie von OVH als ausfallgefährdeter Bereich abgeschaltet. Da wir vorübergehend keinen Zugang zu den Daten in Straßburg hatten, griffen wir auf die in Warschau vorhandene Kopie zurück. Aufgrund der Menge der zu kopierenden Daten konnte der Prozess der Implementierung nicht sofort erfolgen. Das Team hat sich der Herausforderung gestellt. Wir taten unser Bestes, um mit Hilfe unserer eigenen und externer Spezialisten innerhalb von etwa einem Dutzend Stunden eine alternative Systeminfrastruktur auf der Grundlage des bestehenden Backups einzurichten
Die Auswirkungen des Vorfalls auf unser Geschäft
Wir sind uns bewusst, dass der Brand im OVH-Serverraum Ihre Arbeit beeinträchtigt hat. Auch wir haben schwerwiegende Folgen erlitten, sowohl in Bezug auf das Image als auch finanziell. Wir haben die neue Infrastruktur so schnell wie möglich aufgebaut. Ohne Rücksicht auf die Kosten. Wir haben um jede Stunde gekämpft, um das System wiederherzustellen und es unseren Nutzern so schnell wie möglich zur Verfügung zu stellen. Da wir dringend eine neue, leistungsfähige Infrastruktur brauchten, waren die Kosten für deren Beschaffung sehr hoch. Wir entschieden uns für AWS (Amazon Web Services), das auch als seriöser Anbieter bekannt ist und Server innerhalb von Minuten bereitstellen kann. Wir haben sofort auf die leistungsstärksten Maschinen gesetzt, die auf dem Markt verfügbar sind, damit wir eine Leistungsreserve haben, wenn das System noch nicht optimiert ist. Die ersten Tage mit der neuen Infrastruktur verursachten ähnliche Kosten wie zuvor ein ganzer Monat. Bis heute ist jeder Tag des Betriebs der neuen Infrastruktur um ein Vielfaches teurer als zuvor. Die Serverkosten werden sich wieder normalisieren, allerdings erst in den nächsten Wochen, wenn die neue Umgebung richtig optimiert ist. In dieser Zeit hat das gesamte Team sehr intensiv und mit großem Engagement gearbeitet, sogar rund um die Uhr, auch an den Wochenenden, und sich ausschließlich mit dem Problem des Ausfalls beschäftigt. Das ist unser interner Aufwand, der in dieser Situation völlig normal ist. Die tatsächlichen Kosten, die unserem Unternehmen bisher entstanden sind, belaufen sich bereits auf mehrere hunderttausend Zloty. Der Ausfall hat alle betroffen, auch BaseLinker als Unternehmen, nicht nur als System. In normalen Zeiten hätten wir uns auf die Entwicklung und neue Funktionen des Systems konzentriert, aber wegen des Ausfalls waren alle unsere Ressourcen darauf ausgerichtet, die Situation zu stabilisieren. In extrem kurzer Zeit haben unsere Spezialisten eine über Jahre aufgebaute Infrastruktur von Grund auf neu aufgebaut.
Zukünftige Systemsicherheit
Wir waren mit einer äußerst seltenen Situation konfrontiert, die in der heutigen Zeit nicht mehr vorkommen sollte – ein Teil des Serverraums von OVH, dem führenden europäischen Hosting-Anbieter, brannte ab. Obwohl der Vorfall zufällig war, haben wir beschlossen, ein noch stärkeres Sicherheitsnetz zu erstellen. Das neue Szenario wird selbst die unwahrscheinlichsten Situationen berücksichtigen. Wir werden Maßnahmen ergreifen, die weit über den Standard für diese Art von Schutz hinausgehen. Niemand kann sich so gut vorbereiten wie jemand, der die unangenehme Erfahrung gemacht hat, ein solches Ereignis zu erleben
>>> Hier klicken, um in einem neuen Fenster zu sehen <<<
Außerdem möchten wir, dass jeder BaseLinker-Benutzer – wenn er es wünscht – leicht eigene Sicherungskopien erstellen kann. Wir haben eine neue Funktion entwickelt – Google Drive Backup. Dies ist eine Integration mit Google Drive, die es Ihnen ermöglicht, Informationen über Bestellungen, Quittungen, Rechnungen, Produkte auf Lager usw. jede Nacht auf Ihr eigenes Laufwerk zu senden. Wem das noch nicht reicht, der kann noch einen Schritt weiter gehen und Google Drive so einstellen, dass es mit seinem Computer oder NAS-Laufwerk synchronisiert wird. Auf diese Weise lassen sich tägliche Kopien der Daten sogar lokalerstellen : auf dem eigenen Laufwerk, auf dem Bürocomputer Bitte werfen Sie einen Blick auf die Infografik, um mehr über die Sicherheitsstrategie zu erfahren:
Wir danken Ihnen für Ihre Unterstützung
Liebe Nutzer. Wir hoffen, dass die obigen Informationen Ihnen eine breitere Perspektive auf diese komplizierte Situation gegeben haben. Wir bedauern die Unannehmlichkeiten und Unterbrechungen, die Ihnen durch die Nichtverfügbarkeit des Systems entstanden sind, sehr. Unser Ziel ist es, die höchste Servicequalität zu bieten. Deshalb investieren wir in Tools, Sicherheit und unsere eigene Entwicklung, um Ihnen das bestmögliche Produkt und den bestmöglichen Support für Ihren E-Commerce-Service zu bieten. Als gesamtes BaseLinker-Team möchten wir uns bei Ihnen für Ihr Verständnis, Ihre Geduld, Ihre freundlichen Worte und all die Unterstützungsbekundungen bedanken, die wir seit Beginn des Vorfalls von Ihnen erhalten haben.