Nieuw onderwerp beginnen
Opgelost

Verminderde performance mailservers

Geplaatst op 7 september 2016 om 10.00u


Sinds enkele dagen merken wij dat de performance van onze mailservers niet voldoende is. Hierdoor kan het voorkomen dat bij pieken in de belasting van de server (als meerdere gebruikers hun mail gaan ophalen/lezen) de mail niet direct kan worden verwerkt. Hierdoor ontstaat op sommige momenten een vertraging bij het ontvangen van mail. Daarnaast komt het incidenteel voor dat de mailservers onbereikbaar zijn. 


Onze systeembeheerders werken aan een oplossing voor dit probleem door, waar mogelijk, extra capaciteit aan de servers toe te kennen en eventuele overbelasting door misbruik te onderzoeken. We kijken ook naar uitbreiding van de hardware van de mailservers, maar dat is iets dat wat langer kan duren omdat deze hardware niet direct op voorraad is. 


Het is belangrijk om te vermelden dat de mail niet verloren gaat. Het komt soms wel vertraagd binnen. Het is dan niet nodig om contact met ons op te nemen, wij zijn daar dan al mee bezig. Bij problemen met de bereikbaarheid van onze mailservers, probeer dan de interval waarmee je verschillende apparaten verbinding maken, te verlengen. 


Dit probleem treft alleen klanten die gebruik maken van ons mailcluster met servernaam mail.vip.nl. Klanten met een wat oudere mail-setup ondervinden hier geen last van. Klanten die alleen gebruik maken van ons spamfilter of van Hosted Exchange hebben geen last van dit probleem. 


Updates over dit probleem volgen wanneer er nieuwe informatie is. 


Update 07-09-2016 om 14.15u: we merken dat er op dit moment veel inlogpogingen op de betreffende mailservers niet goed gaan. We zijn dit aan het onderzoeken. 


Update 07-09-2016 om 14.30u: het probleem met inloggen op de mailservers is opgelost. Vertraging en andere performance problemen blijven we onderzoeken. 


Update 07-09-2016 om 14.55u: we merken dat op sommige plekken de inlogproblemen toch weer optreden. We werken aan een oplossing hiervoor.


Update 07-09-2016 om 16.00u: de problemen met inloggen op de mailservers lijken af te nemen. Door de problemen van de afgelopen uren is de achterstand in het verwerken van mail wel opgelopen. Deze zal in de komende uren worden weggewerkt.


Update 07-09-2016 om 16.40u: we zijn bezig om extra capaciteit vrij te maken door het aanmaken van extra (virtuele) servers ergens anders in ons serverpark. Hierdoor kunnen we de afhandeling van de mail versnellen. Hiervoor zal later vanavond onderhoud plaatsvinden aan de mailservers wat korte onderbrekingen kan veroorzaken. Tot die tijd kan het voorkomen dat enkele mails flink vertraagd binnenkomen. We verwachten nog deze week extra fysieke servers te installeren om de capaciteit van het mailcluster uit te breiden. 


Update 08-09-2016 om 08:15u: het onderhoud van gisterenavond en vannacht is goed verlopen. Hierdoor zal het inloggen weer zonder problemen verlopen. We merken wel dat onze firewall een aantal inlogpogingen op de nieuwe servers heeft geblokkeerd. Hierop zijn de firewall regels aangepast vanochtend. Mail kan nog wel vertraagd binnen komen. Daar blijven we aan werken. 


Update 08-09-2016 om 13.00u: in onze logs zien wij dat de problemen met inloggen onder controle zijn. We zien nog wel een flinke vertraging in het afleveren van de mail die kan oplopen tot 60 minuten. We blijven hieraan werken om dit op te lossen. 


Update 08-09-2016 om 19.30u: de achterstand in het verwerken van mails is flink teruggelopen. Nieuwe mail komt vrijwel zonder vertraging binnen. Enkele servers hebben nog een achterstand. Ook vanavond wordt onderhoud gepleegd om de capaciteit van de mailservers te verhogen. 


Update 09-09-2016 om 12.00u: na het onderhoud van vannacht lijkt capaciteit weer voldoende. De achterstanden zijn weggewerkt en wij zien dat de inlogpogingen goed verlopen. Dat betekent dat er op dit moment geen problemen meer zijn. We zullen in de loop van volgende week nogmaals onderhoud plegen om extra hardware te gaan toevoegen aan de mailservers. 


Update 09-09-2016 om 14.45u: het kan op sommige momenten nog voorkomen dat er vertraging ontstaat bij het ontvangen van e-mail. Wij blijven dit monitoren. 


Update 12-09-2016 om 11.45u: wij verwachten dat er ook deze week op drukkere momenten (vooral tussen 11.00u en 15.00u) vertraging kan optreden. Hierbij kunnen ook kortstondig inlogproblemen ontstaan. Helaas duurt de levering van extra hardware langer dan verwacht. Wij bieden onze welgemeende excuses aan voor het ongemak. 


Update 19-09-2016 om 11:10: Er is nieuwe hardware geplaatst om de belasting over de servers beter te verdelen. Dit is een proces dat nog steeds loopt. Een aantal klanten meldt ook dat ze door hun mailprogramma gevraagd worden om inloggegevens op te geven bij het verbinden, ondanks dat deze nooit veranderd zouden zijn. 

 

Update 19-09-2016 om 13.00u: Het is een piekmoment in verkeer en we merken dat de mailservers hier nog niet goed mee overweg kunnen. Onze systeembeheerders werken hier aan, helaas hebben we geen tijdsindicatie voor een oplossing.


Update 21-09-2016 om 15.50u: We kunnen momenteel een meer uitgebreide status update geven:

- Er zijn twee extra servers ingeschakeld die login-aanvragen afhandelen. Dit moet er voor zorgen dat meldingen voor het opnieuw invoeren van je gebruikersnaam en wachtwoord niet meer terug komen (tenzij deze gegevens daadwerkelijk incorrect zijn).

- Er zijn verschillende aanpassingen gemaakt aan de configuratie van de mailservers. Deze wijzigingen moeten er voor zorgen dat de binnenkomende mails beter en sneller verdeeld worden over de servers die de mails in de mailboxen afleveren. We zien op het moment dat de wachtrijen op deze servers lager zijn dan afgelopen dagen en dat de mail dus sneller door moet lopen.

- De database structuur is aangepast waardoor ook de druk van de databases verminderd.

- Er is extra hardware ingezet en komende weken zal er nog extra hardware worden toegevoegd om het systeem beter te laten functioneren.

De storing is nog niet afgemeld, maar we merken dat het e-mail verkeer al verbeterd is ten opzichte van afgelopen weken.


Update 26-09-2016 om 8.45u

We verwachten deze week extra hardware om de opslaglaag van onze mailserver flink uit te breiden. Hoewel we op dit moment geen grote problemen meer zien kunnen er incidenteel nog problemen ontstaan:

- Bij problemen met inloggen met je e-mailprogramma of op de webmail zit er niks anders op dan even te wachten. Je krijgt dan een melding dat inloggen is mislukt, of een vraag je wachtwoord opnieuw in te voeren. 

- Sommige mail komt vertraagd binnen. Er zal echter geen mail verloren gaan.

- In enkele gevallen raakt een mailbox corrupt. Hierdoor kan de mailbox niet meer worden ingeladen. Symptomen zijn dan dat je in de webmail wel ziet dat er nieuwe mails zijn, maar dat je ze niet in de lijst ziet staan. In je mailprogramma kun je foutmeldingen krijgen zoals 'Internal Server Error'. Maak in het laatste geval een ticket aan en vermeld je mailbox in het onderwerp zodat we deze kunnen repareren. 


Update 26-09-2016 om 18.00u: komende nacht vindt extra onderhoud plaats aan onze mailservers. Hierbij zullen alle servers worden uitgeschakeld en van enkele updates worden voorzien. Hierna worden de server herstart. Tijdens dit onderhoud kun je geen mail ophalen en zullen ook geen mails doorgestuurd worden. Het is wel mogelijk om mail te verzenden. De nieuwe mail wordt bewaard en wordt na het herstarten alsnog afgeleverd. Het onderhoud vindt plaats tussen 23.00u en 6.00u. 


Update 27-09-2016 om 8.30u: het onderhoud van vanochtend heeft tot ongeveer 5.00u geduurd. Daarna zijn alle servers weer opgestart en inloggen zou nu weer moeten werken. In komt in enkele gevallen nog wel voor dat de mailbox niet goed wordt weergegeven. Je krijgt dan een Internal Server Error bij het lezen van de mail in de webmail of een dergelijke foutmelding bij het ophalen van de e-mail in je e-mailprogramma. Is dit het geval, neem dan contact met ons op via deze link en vermeld in de toelichting bij welk e-mailadres dit probleem speelt. Sinds het onderhoud van vannacht is het niet mogelijk om je mailboxen te beheren in mijn.vip.nl. We werken aan een oplossing hiervoor. 


Update 27-09-2016 om 10.15u: het beheer van de mailboxen in mijn.vip.nl is weer mogelijk. We merken dat in enkele gevallen nog wel inlogproblemen ontstaan op de mail. Dit heeft niet met veel drukte te maken maar met een probleem op een van de servers die het inloggen regelt. We werken aan een oplossing hiervoor. 


Update 27-09-2016 om 12.30u: de problemen op de server die inlogproblemen had, zijn opgelost. We zien dat over het algemeen inlogpogingen en het ophalen van mail nu beter gaat. Let erop dat de storing nog niet is verholpen en dat incidenteel nog vertraging in het afleveren van mail kan ontstaan. Daarnaast kan bij grotere drukte ook het inloggen lastig blijven. Helaas verwachten we de implementatie van extra hardware nog steeds pas aan het einde van de week. 


Update 28-09-2016 om 9.00u: er zijn vanochtend flinke problemen met de database van onze mailservers. Hierdoor is inloggen maar zeer beperkt mogelijk en worden ook de e-mailgebruikers in mijn.vip.nl niet weergegeven. Wij zijn hier op dit moment mee bezig. Over de algehele oplossing kunnen we melden dat de extra hardware geleverd is, deze wordt zo snel mogelijk geconfigureerd. We gaan er nog steeds vanuit dat we aan het einde van de week een groot deel van de problemen kunnen oplossen. 


Update 28-09-2016 om 15.00u: de problemen die vanochtend speelden zijn inmiddels al enkele uren opgelost. Hiervoor hebben we een wijziging in de configuratie doorgevoerd. Het kan echter nog steeds voorkomen dat mail vertraagd binnenkomt of dat een inlogpoging niet goed gaat. Uit onze data blijkt dat het aantal foutmeldingen flink is afgenomen zeker ten opzichte van eerder deze week. Het gaat dus de goede kant op. Ondertussen wordt hard gewerkt aan het implementeren van extra hardware. We verwachten nog steeds dat pas aan het einde van deze week de problemen volledig worden opgelost. 


Update 29-09-2016 om 12.15u: de nieuwe hardware wordt vandaag geïmplementeerd. De data van de mailservers zal daarna verder worden verspreid over verschillende opslagservers. Hier gaan we zo snel mogelijk aan beginnen. We verwachten daarom nog steeds richting dit weekend de meeste problemen op te kunnen lossen. We merken dat er nog een flinke vertraging is in het verwerken van de binnenkomende mail waardoor in sommige gevallen de vertraging bij het ontvangen kan oplopen tot enkele uren. Ook zijn er nog steeds inlogproblemen. We zijn actief bezig om ook de huidige problemen zoveel mogelijk te beperken. 


Update 30-09-2016 om 10.45u: de nieuwe hardware is actief. Nieuwe mailboxen worden hierop aangemaakt. Daarnaast gaan we mailboxen waarvan we in de logs zien dat er nog problemen zijn, of waarvan meldingen zijn binnengekomen, hierop plaatsen en daarna herstellen. Daarna zullen we grotere groepen mailboxen gaan verplaatsen om de last te verdelen. Vannacht zijn veel mailboxen hersteld waarvan mail niet goed werd weergegeven. Hierdoor kan het volgende gebeuren:

  • Oude mails worden weer als nieuwe mail opgehaald (POP3)
  • Mails die in mappen waren verdeeld staat allemaal weer in de inbox
Helaas zijn deze symptomen niet altijd te voorkomen. We kunnen dit ook niet wijzigen of alsnog voorkomen als dit gebeurt. We weten dat dit lastig kan zijn maar deze stappen zijn soms nodig om een mailbox te herstellen. Het kan nog steeds voorkomen dat inloggen via de webmail niet goed werkt (wit scherm met Internal Server Error) of dat een POP3-/IMAP-verbinding mislukt. We verwachten met de implementatie van de nieuwe hardware dit spoedig te kunnen verhelpen. 

Update 30-09-2016 om 16.30u: we hebben vandaag veel mailboxen kunnen herstellen. De vertraging op de inkomende mail is volledig opgelost en we zien geen problemen met inloggen die zijn te relateren aan problemen op de mailservers (wel foutieve wachtwoorden bijvoorbeeld). Ook is de belasting van de mailservers normaal. Het kan nog wel voorkomen dat individuele mailboxen niet goed werken. Wij kunnen een groot deel in de logs zien en blijven ze op basis daarvan herstellen (zie hierboven). Mocht je nog problemen ervaren, probeer dan het volgende
  1. Stel een nieuw wachtwoord in voor de mailbox via mijn.vip.nl (alleen hoofdletters, kleine letters en cijfers - handleiding)
  2. Probeer in te loggen via webmail.vip.nl
Je zou dan de mailbox moeten zien. Als dit werkt, werkt het ook op telefoons en e-mailprogramma's. Werkt het in de webmail niet goed, maak dan een ticket aan met een duidelijke omschrijving van het probleem (bij voorkeur een screenshot van de foutmelding) via deze pagina

Update 3-10-2016 om 9.15u: hoewel we geen problemen zien met de drukte van de mailservers of vertraging in de aflevering van berichten, krijgen we nog wel enkele meldingen van problemen met inloggen. Wij zijn aan het onderzoeken wat er mis gaat. 

Update 3-10-2016 om 15.30u: de inlogproblemen die eerder vanochtend zijn gemeld zijn kort daarna opgelost door een aanpassing in de firewall van een van de servers. Wij zien vandaag geen problemen maar blijven dit nog in de gaten houden. Zie de update van 30 september 2016 om 16.30u voor instructies bij problemen. 

Update 4-10-2016 om 17.15u: er kunnen nog zeer sporadisch inlogproblemen ontstaan. Dit zou het werken met de mailbox niet in de weg moeten staan, het kan wel lastige pop-ups veroorzaken in mailprogramma's. We werken aan een oplossing hiervoor. 

Update 7-10-2016 om 11.45u: de afgelopen week hebben we zeer weinig problemen ervaren met de inkomende mail. De nieuw toegevoegde hardware heeft het gewenste effect. We zijn nog wel bezig met de migratie van veel mailaccounts naar de nieuwe hardware om de last nog beter te verdelen. Hierdoor kan het in sommige gevallen voorkomen dat alle mail opnieuw moet worden opgehaald bij POP3 accounts. Wij adviseren om IMAP te gebruiken bij het verbinden naar onze mailservers. Naast deze migraties zijn we bezig met de vervanging van de servers die zorgen voor spamfiltering en uitgaande e-mail. Hierdoor is op sommige momenten het beheerscherm van de filter minder goed bereikbaar, kan het wijzigen van wachtwoorden moeizaam gaan en is er een korte vertraging geweest in het afhandelen van inkomende mail in het midden van de week. 


10 personen hebben dit probleem

Hallo,

Bedankt voor de updates. We zien hier dat sommige mails snel worden afgeleverd. Sommige mail met een vertraging van meer dan 90 minuten. Kan ik al een nauwkeurig indicatie worden afgegeven wanneer de uitbreiding van de capaciteit voltooid zal zijn? Ik begrijp dat dit tijd kost, maar het zou prettig zijn als ik de gebruikers meer duidelijkheid kan geven.

Vriendelijke groet,
Hans Derks

 

Hoi Hans, 


Bedankt voor je reactie. 


We kunnen helaas nog geen volledige indicatie geven van de oplossing van het probleem. We merken wel dat de inlogproblemen vrijwel niet meer voorkomen. Daarnaast loopt de achterstand in het verwerken van mails flink terug. Die verbetering zou je nu al moeten merken. 


We proberen definitieve informatie zo snel mogelijk te delen. Heb je vragen? Laat het dan vooral weten.


Met vriendelijke groet,


Frerik Meijer

VIP Internet

Is hier inmiddels al meer over bekend? Ik heb een klant die vandaag ( 12-9 ) mail binnen krijgt die op 9-9 verzonden is..... 

Hoi Luc, 


Wij verwachten ook de deze week nog incidenteel vertragingen en soms ook inlogproblemen. Hierover heb ik zojuist een update geplaatst. Wij begrijpen dat dit erg lastig is. Onze excuses voor het ongemak dat jullie hierdoor ervaren.


Met vriendelijke groet,


Frerik Meijer

VIP Internet

Hallo VIP,

kunnen jullie een nieuwe statusupdate geven? Ik ondervind erg veel last van de situatie en ik zou het daarom prettig vinden om iedere dag een signaal te krijgen wat er wordt gedaan. Op die manier kan ik er begrip voor opbrengen. Nu is het allemaal wat lastig te verkroppen.

Groetjes van Anke

Hoi Anke, 


Bedankt voor je vraag. Er is nog geen wijziging in de status van dit probleem. Zoals aangegeven in de laatste update verwachten wij dat er deze hele week nog incidenteel problemen zullen zijn. We monitoren de drukte op de servers en grijpen in waar mogelijk. De uiteindelijke oplossing zit echter in het plaatsen van extra hardware. Voor nu is de verwachting dat we dat onderhoud dit weekend kunnen doen, daar hebben we echter nog geen zekerheid over. Daarom hebben we daarover nog geen update geplaatst. 


Mocht je hierover nog vragen hebben, dan hoor ik dat graag.


Met vriendelijke groet,


Frerik Meijer

VIP Internet

Hallo Frerik,

Is er al meer bekend over wanneer de extra hardware geplaatst kan worden?

Vriendelijke groet,
Hans Derks

 

Ook ik ondervind problemen, eerst tot op zekere hoogte maar nu ervaar ik de last. Ik begrijp dat er technische problemen kunnen zijn maar de oplossing duurt wat mij betreft wat lang....

De hele middag zie ik regelmatig de popups voor inloggegevens. Erger dan vorige week. Tussendoor komt mail wel gewoon binnen, dus van foutieve inloggegevens lijkt geen sprake. Sommige mails komen met een uur vertraging binnen. Maar een collega gaf aan pas na drie uur een verwachtte mail ontvangen te hebben. Ik snap dat het lastig kan zijn een tijdsindicatie te geven, maar moeten we denken in enkele uren of worden het meerdere dagen of weken?

 

Hallo,


Het probleem wat Hans heeft, hebben wij ook.

Constante popups voor inloggegevens, de mail die helemaal vastloopt, berichten die niet gedownload en gearchiveerd  kunnen worden, mails die te laat aankomen bij klanten of van klanten bij ons.

Wij hebben klanten die constant orders naar ons sturen, die dezelfde dag nog behandelt moeten worden en wij kunnen er gewoon niet op vertrouwen dat mailberichten op tijd binnenkomen. Dit moet niet kunnen! Het is ook niet meer een tijdelijk probleem, dit loopt al bijna 2 weken!

Wij beginnen klachten te krijgen van onze klanten. Er moet heel snel een oplossing komen!


Met vriendelijke groet,

Rachel Usmany

Hallo,

Ook wij ondervinden heel veel last. Wij zijn een software bedrijf en moeten onze klanten direct kunnen ondersteunen. De mails komen de laatste weken veel te laat binnen, waardoor wij onze klanten niet goed kunnen ondersteunen. Gevolg: bozen klanten, veel telefoontjes met "Waarom hebben wij nog niks van jullie gehoord?", enz. Tevens komt dit probleem regelmatig terug, want wij ondervinden dit een aantal keren per jaar, ook in voorgaande jaren. Maar de laatste maanden is het bijna wekelijks/dagelijks. Voor ons is de mail het belangrijkste onderdeel en op deze manier is het niet werkbaar. Bij andere providers hebben wij deze problemen nog nooit meegemaakt. Er moet inderdaad heel snel een definitieve oplossing komen!!

Met vriendelijke groet,

Jeffrey Kuijt

Hallo, wij hebben ook last, ik heb bijvoorbeeld vandaag nog niet 1 mail ontvangen.! Het begint nu wel structureel te worden!


Graag een update wanneer dit voorbij is.

Met vriendelijke groeten

Jos Brouwer

Het probleem lijkt eerder erger te worden dan af te nemen. Waar eerst sommige mails met 1 tot 3 uur vertraging binnen kwamen en andere binnen enkele minuten, lijkt vandaag het meerendeel van de mails met forse vertraging binnen te komen.

Onze klanten zijn erover aan het klagen. Al mijn collega's klagen. En het enige wat ik kan zeggen is "er wordt aan gewerkt, maar ik heb geen idee wanneer de problemen voorbij zijn"

Vriendelijke groet,
Hans Derks
Ik heb zojuist 2160 eerder ontvangen emails opnieuw binnen gekregen. Geen probleem, ik zie dat er iets gebeurd :)

Vriendelijke groet,
Hans