Vanmorgen (vrijdag 11 september 2020) hadden we meer dan 2 uur uitvaltijd. Gebruikers konden de boekingspagina's en de ingelogde interface van CozyCal niet openen.
Het is nu opgelost en we bieden onze excuses aan voor de verstoring die onze klanten hebben ondervonden, met name aan diegenen in Europa die het meest getroffen werden.
Wat er is gebeurd:
- Onlangs hebben we onze servers geüpgraded naar een andere Linux-distributie. We zijn overgestapt van Ubuntu naar Debian.
- Wat we tijdens de migratie over het hoofd hebben gezien, is dat Debian Server een lage standaardlimiet voor bestandsdescriptors heeft van 1024.
- Vrijdagochtend was er een toename van het verkeer en onze Caddy-proxyserver ging offline doordat de limiet voor bestandsdescriptors werd bereikt.
- We hadden hierover eerder gewaarschuwd kunnen worden, maar onze website-monitoringdienst (Varys.io) was zonder ons medeweten gestopt 🥺.
- Opmerking: we monitoren veel zaken, zoals hoog CPU- of geheugengebruik, dagelijkse back-ups en systeemupdates. Geen daarvan werd echter geactiveerd door het niet-reageren van onze proxyserver.
Wat we hebben gedaan om het op te lossen:
- We hebben onze ulimit verhoogd van de standaard 1024 naar 16384.
- We zijn overgestapt op Uptime Robot voor onze website-monitoringdienst. Deze dienst bestaat al heel lang en we hopen dat dit zo blijft.