Šį rytą (penktadienį, 2020 m. rugsėjo 11 d.) patyrėme daugiau nei 2 valandas trukusią prastovą. Žmonės negalėjo pasiekti CozyCal rezervacijos puslapių ir prisijungusio naudotojo sąsajos.
Tai dabar ištaisyta ir atsiprašome už nepatogumus, ypač Europos klientų, kuriuos tai labiausiai paveikė.
Kas nutiko:
- Neseniai atnaujinome savo serverius naudoti kitą Linux distribuciją. Pakeitėme Ubuntu į Debian.
- Vienas dalykas, kurį praleidome migracijos metu, yra tai, kad Debian serveris turi žemą numatytąjį failų deskriptorių limitą – 1024.
- Penktadienio rytą padidėjo srautas ir mūsų Caddy tarpinis serveris sugedo dėl failų deskriptorių limito viršijimo.
- Galėjome būti apie tai įspėti anksčiau, tačiau mūsų svetainės stebėjimo paslauga (Varys.io) nutraukė veiklą be mūsų žinios 🥺.
- Pastaba: mes stebime daug dalykų, tokius kaip didelis procesoriaus arba atminties naudojimas, kasdienės atsarginės kopijos ir sistemos atnaujinimai. Tačiau nė vienas iš jų nebuvo suaktyvintas, kai mūsų tarpinis serveris nereagavo.
Ką padarėme, kad tai ištaisytume:
- Padidinome ulimit nuo numatytojo 1024 iki 16384.
- Perėjome prie Uptime Robot kaip mūsų svetainės stebėjimo paslaugos. Ji veikia jau ilgą laiką, tikimės, kad veiks dar ilgiau.