サービス全体でレスポンス遅延やタイムアウトなどが発生しております

Incident Report for PAY.JP

Postmortem

本件の対応として実施している Term オブジェクトの charge_count の更新についてご連絡いたします。

3月1日から一時停止を取りやめ、Term オブジェクトの charge_count のリアルタイム更新を再実施いたします。

また、2月中はリアルタイム更新はされず、入金サイクルの締め処理時に正しい値に更新される予定ですので、2月分の値を参照したい場合は締め処理が完了した3月初旬ごろにご確認ください。

この度はご迷惑をおかけし大変申し訳ございませんでした。

Posted Feb 21, 2025 - 16:30 JST

Resolved

一定時間のレスポンス速度の安定が確認できたためモニタリングを解除し本件を解消済みといたします。
このたびはご迷惑をおかけし申し訳ございませんでした。

また本件の対応としてリアルタイムの更新を停止している Term の charge_count については、引き続きリアルタイムの更新は停止、締め処理後に正しい数値が取得できる状態とさせていただきます。
本機能の今後については後日改めてご連絡させていただきます。
Posted Feb 20, 2025 - 18:30 JST

Monitoring

2025-02-20 15:35 頃よりレスポンス遅延が解消したことを確認いたしました。引き続きモニタリングを行います。
Posted Feb 20, 2025 - 16:20 JST

Update

レスポンス遅延の原因としてはデータベースの負荷上昇が原因となっており、この事象の原因はまだ特定できておりません。
2025-02-20 10:50 頃に暫定処置としてライブモードの Term オブジェクトの charge_count を更新する処理を一時停止させました。
この影響で Term の charge_count はリアルタイムに更新されないようになり、締め処理にて正常な値に戻ります。

また、2025-02-20 10:50 頃から 11:28 頃まで管理画面にログインできない現象が発生しておりました。
この事象については原因を特定し改善しております。

ご利用の皆様にはご迷惑をおかけしますがよろしくお願いします。
Posted Feb 20, 2025 - 11:29 JST

Investigating

2025-02-20 09:00 頃からサービス全体のレスポンスが遅延する状況が発生しております。
原因は現在調査中です。詳細が分かり次第続報をお出しします。
このたびはご迷惑をおかけし申し訳ございません。
Posted Feb 20, 2025 - 10:51 JST