Het belang van hersteloefeningen
De meeste tijd zijn systemen beschikbaar. Soms helaas niet. Juist voor die zeldzame momenten zijn de hersteloefeningen, om voorbereid te zijn op een zo spoedig mogelijk herstel van de systemen van onze klanten.
Het is elke keer weer een punt van discussie - betalen voor dingen die achter de schermen gebeuren en waar de klant niet gelijk het resultaat van ziet. Het constant voorblijven van hackers bijvoorbeeld. Zeker met AI gaan de ontwikkelingen razendsnel en is het echt een kwestie van elke maand weer kleine updates uitvoeren om de "bad guys" voor te blijven. Ik heb wel eens mogen kijken hoe vaak iemand onze applicaties probeert binnen te komen - spoiler-alert - elke seconde! Ook het blijven voorbereiden op een worst-case scenario zit standaard in ons repertoire.
Het kan op verschillende manieren mis gaan met de beschikbaarheid van een systeem. Een foutje bij de DNS provider, een probleem bij de SSL certificaat-verstrekker, een onbeschikbare, maar cruciale derde partij waarop het systeem vertrouwt of simpelweg een systeemfout die de werking blokkeert.
Hoewel het onmogelijk is om te garanderen dat er in het geheel geen outage is, is het wel mogelijk om voorbereid te zijn op de situatie dat het wel gebeurt. Doel voor ons is dan om het systeem zo snel als mogelijk in correcte staat wederom beschikbaar te krijgen. Wij bereiden ons op dat scenario voor door middel van hersteloefeningen.
Jaarlijkse oefening, vastgelegd en met reflectie
Voor ieder van onze klantsystemen zorgen we dat we minimaal ieder jaar een oefening inplannen om het systeem te herstellen met alleen de backups. De oefening wordt uitgevoerd door één of meer teamleden, overzien door een notulist die het proces volgt en registreert. We houden zorgvuldig bij hoe lang het hele proces duurt en waar we problemen tegen het lijf lopen.
Het gehele proces wordt vastgelegd in een rapportage, waarbij de notulist een voorzet doet voor de te adresseren zaken. Deze zaken kunnen technisch, procedureel of administratief van aard zijn. Alles wat het herstel in de weg staat komt in aanmerking voor verbetering. Het team bespreekt de punten en voert de gewenste verbeteringen op in de backlog, of als het kleine aanpassingen zijn (bijvoorbeeld documentatie) worden ze direct doorgevoerd.
De oefening is onder druk en zeker de eerste keer is dat best spannend. Nadat je de oefening een aantal keer gedaan hebt, komen de handeling meer in je spiergeheugen en ga je er met meer zelfvertrouwen en trefzekerheid in. Inmiddels kunnen we ieder klantsysteem met grote mate van zekerheid binnen een uur weer in de lucht brengen. Dit komt in de eerste plaats omdat ons team daarop getraind is.
Terugkoppeling naar klant
Een oefening kan altijd fout gaan. In tegenstelling tot wat je misschien zou verwachten, zijn we juist blij als dat gebeurt, want dan zijn we de echte problemen namelijk voor. We brengen in dat geval onze klant op de hoogte en melden wanneer we een nieuwe hersteloefening ingepland hebben.
In onze kwartaalrapportage melden we alle recent uitgevoerde hersteloefeningen en of ze zijn gefaald of geslaagd. Onze klanten kunnen deze gegevens gebruiken voor interne verantwoording, bijvoorbeeld voor audits. De rapportage van de hersteloefening sturen we niet mee, maar is desgewenst wel opvraagbaar bij ons.
