本日朝(2020年9月11日金曜日)、2時間以上のダウンタイムが発生しました。CozyCalの予約ページとログインインターフェースにアクセスできない状況でした。
現在は修正されており、お客様、特に最も影響を受けたヨーロッパのお客様にご迷惑をおかけして申し訳ございません。
何が起きたか:
- 最近、サーバーを別のLinuxディストリビューションにアップグレードしました。UbuntuからDebianに変更しました。
- 移行中に見落としたのは、Debian Serverのデフォルトのファイルディスクリプタ制限が1024と低いことでした。
- 金曜日の朝、トラフィックが増加し、Caddyプロキシサーバーがファイルディスクリプタ制限に達してダウンしました。
- もっと早く警告を受けられたはずですが、ウェブサイト監視サービス(Varys.io)が私たちの知らないうちに廃業していました 🥺。
- 注意:CPU使用率やメモリ使用率、日次バックアップ、システム更新など、多くの項目を監視していましたが、プロキシサーバーの無応答はトリガーされませんでした。
修正内容:
- ulimitをデフォルトの1024から16384に引き上げました。
- ウェブサイト監視サービスをUptime Robotに切り替えました。長い間運営されているサービスで、今後も長く続くことを願っています。
