[3 november 2016] Update e-mail storing

De afgelopen periode heeft onze e-mailomgeving te maken gehad met een langdurige storing. Veel van onze klanten hebben hier last van gehad. Ik vind dit uiteraard erg vervelend en ik wil daarom persoonlijk mijn excuses aanbieden.

 

In dit bericht wil ik graag uitleggen wat er is gebeurd en hoe we ervoor hebben gezorgd dat een dergelijke storing in de toekomst niet meer plaats gaat vinden. Ik wil 

ook graag laten zien wat er zich achter de schermen afspeelt bij ons. Daarom nodig ik je graag uit voor een rondleiding in een van onze datacenters met daarbij een inkijkje in hoe onze hosting- en e-mail infrastructuur werkt.

 

Signalering

Vanaf 1 september krijgen we geleidelijk meer vragen dan normaal over ons e-mail platform, maar nog te weinig om direct op te vallen. Na één week wordt duidelijk dat er iets structureels aan de hand is. We melden de storing aan op ons forum en we starten met een onderzoek.

 

Onderzoek & oplossing

Al snel blijkt dat door grote drukte de capaciteit van ons mailplatform niet meer afdoende is. Vooral de opslagomgeving heeft het zwaar. We besluiten meteen om servers bij te bestellen. Deze hebben een levertijd van één week.

 

Ondertussen blijven onze collega’s bezig met het verbeteren van de configuratie van de mail- en monitoringsystemen. Door de drukte en de herstelwerkzaamheden hebben de servers het extra zwaar, waardoor inloggen op de omgeving erg lastig is.

 

Nadat we de servers geleverd hebben gekregen, zijn ze diezelfde avond nog toegevoegd aan het mailplatform. Om de capaciteit van alle servers te kunnen gebruiken is er een herverdeling nodig van een aantal mailboxen van bestaande servers naar de nieuwe servers. Dit proces vraagt veel capaciteit van de servers. De herverdeling van de mailboxen en de capaciteit die nodig is om de achterstand in te lopen blijkt nog altijd te veel voor het platform. We bestellen direct weer nieuwe servers bij om nog meer opslagruimte te creëren.

 

Ondertussen voegt ons team extra tijdelijke opslag toe aan het platform. Hier worden de drukste mailboxen naartoe verhuisd.

 

Op 29 september worden de laatste servers bijgeplaatst. Dit heeft effect: de combinatie van tijdelijke opslag en de nieuwe servers zorgt ervoor dat bijna alle klanten weer normaal gebruik kunnen maken van hun e-mail.

 

Na 29 september zijn we nog één week bezig geweest om de laatste problemen op te lossen. Per 7 oktober kunnen alle klanten weer normaal gebruikmaken van de e-maildienst.

 

Voorkomen 

Om te voorkomen dat een storing als deze nog een keer kan optreden is onze automatische monitoring verbeterd. Daarnaast worden nu wekelijks de trends bekeken om zo tijdig problemen te voorkomen.

 

We waren daarnaast niet tevreden met de lange levertijd op nieuwe servers. Dit heeft ertoe geleid dat wij afspraken hebben gemaakt met nieuwe leveranciers die veel sneller leveren.

 

Uitnodiging

De problemen zijn opgelost en iedereen kan weer volledig gebruikmaken van de e-maildienst. Nu wil ik iets terugdoen om jouw geduld te belonen. Ik kan me voorstellen dat er na het lezen van dit bericht nog vragen zijn. Daarom nodig ik je graag uit op dinsdagmiddag 6 december bij een van onze datacenters voor een rondleiding en een uitleg over internet en e-mail, met afsluitend een drankje. Hiervoor zijn er maar 30 plekken beschikbaar, dus als je het interessant vindt om aan te sluiten, meld je dan snel aan. Je kunt maximaal twee tickets bestellen. Dat kun je doen via deze link: http://bit.ly/2ePGNQy


Ik hoop je zo een duidelijk beeld te hebben gegeven van wat er is gebeurd en hoe dit in de toekomst wordt voorkomen. Mocht je toch nog vragen hebben, schroom niet om te bellen naar 024-344 0155 of een ticket in te dienen.

 

Flip Keijzer

Directeur VIP Internet