API接続に一部遅延・タイムアウトが発生しています

Incident Report for PAY.JP

Resolved

5:00ごろ、昨日までと同様のEvent取得リクエストがあったことを確認しましたが、性能の劣化やタイムアウト、エラーは見られませんでした。
その後の監視でも問題がみられなかったため、解消されたと判断し、監視を終了いたします。

この度はご迷惑をおかけし申し訳ありませんでした。

Posted Jun 04, 2022 - 06:05 JST

Monitoring

5/29頃より、各日の5:00-5:03前後に高負荷となりAPIリクエストがタイムアウト、もしくは失敗する事象が発生しております。
現在確認できている限りでは、Event取得APIへの特定のリクエストがデータベースの高負荷を引き起こし、他APIも含めて全体が高負荷状態になるという事象だと考えられております。

対策といたしまして、下記対応を6/3 23時ごろに適用しております。

+ 高負荷を引き起こしていたAPIのDBクエリをチューニングし、負荷を軽減。
+ 同等のリクエストでは高負荷にならくなったことを確認しております。
+ Event取得APIがアクセスするデータベースを隔離し、高負荷が発生した場合に他APIに負荷が波及しないよう修正。

本事象は全てのEvent取得APIリクエストが高負荷を引き起こすわけではなく、特定のパラメータパターンのリクエストが集中したときにのみ問題が発生するものと考えられており、上記対策によって完全に問題が完全に解消するかは不確定なものとなっております。
状況を鑑み、直近で高負荷が発生している5:00ごろまでAPI稼働状況の監視を強化してまいります。

また、6/1にご報告しましたstatusの内容につきましても実際には本事象の影響を受けていたと考えられます。
間違ったご案内となってしまい、大変申し訳ございません。

ご利用のお客様には大変ご迷惑をおかけいたしますが、問題の解消まで今暫くお待ちいただければと思います。

Posted Jun 04, 2022 - 00:24 JST