I morges (fredag den 11. september 2020) oplevede vi nedetid i over 2 timer. Brugere kunne ikke tilgå CozyCals bookingsider og login-grænseflade.
Det er nu rettet, og vi beklager forstyrrelsen for vores kunder, især dem i Europa, der blev påvirket mest.
Hvad skete der:
- For nylig opgraderede vi vores servere til at bruge en anden Linux-distribution. Vi skiftede fra Ubuntu til Debian.
- Én ting, vi overså under migreringen, var at Debian Server har en lav standard file descriptor-grænse på 1024.
- Fredag morgen var der en stigning i trafik, og vores Caddy-proxyserver gik ned på grund af at nå file descriptor-grænsen.
- Vi kunne have fået besked om dette tidligere, men vores webstedsovervågningstjeneste (Varys.io) var lukket ned, uden at vi var klar over det 🥺.
- Bemærk: vi overvåger mange ting, såsom højt CPU- eller hukommelsesforbrug, daglige backups og systemopdateringer. Dog blev ingen af dem udløst af, at vores proxyserver ikke svarede.
Hvad vi gjorde for at rette det:
- Vi hævede vores ulimit fra standardværdien 1024 til 16384.
- Vi skiftede til Uptime Robot til vores webstedsovervågningstjeneste. Den har eksisteret i lang tid, og forhåbentlig fortsætter den med det i lang tid endnu.