管理画面のコンテンツ、APIのコンテンツが一部表示されない

Incident Report for microCMS

Postmortem

この度は不具合によって、ご迷惑をおかけして、大変申し訳ございませんでした。

1: 発生時刻

2024/12/4(水) 20:17〜2024/12/5(水) 5:29ごろ

※ 日本時間
※ サービスごとに順次処理を進めていたため、終了時刻以前に復旧していたケースがございます。

2: 障害内容

  • 管理画面での操作が制限され、利用できない(メンテナンスモードとしたため)
  • コンテンツAPIにて一部のレスポンスに正常にコンテンツが含まれないことがあった

    • 以下のようなケースは、影響対象外となります。

      • キャッシュされた正常なレスポンスを利用していた場合
      • 一覧取得ではなく、コンテンツIDを指定したリクエストを利用していた場合
      • SSGアーキテクチャを採用し、当該時間にビルドを行っていなかった場合
  • 一部のマネジメントAPIのレスポンスに、正常にコンテンツが含まれないことがあった

3: 原因

本番環境において、データの検索や一覧表示のために用意されているインデックスが一部消去されたため

4: 原因(詳細)

a:開発作業において、プログラムによる自動テストを行なった際に、開発環境に向けて行われるはずのテストが、誤って本番環境に対して実行された。

b:テストの処理で、テスト用に作成したデータを削除する後処理があったが、テスト用のデータ以外も削除対象に含まれる指定方法だったため、本番環境向けのデータの一部についても削除された。

5: 再発防止策

原因aに対する再発防止策

  • 誤って本番環境に対してテストが実行されないように、接続先のサーバ情報を取得する際の仕組みを改善する(対応済)
  • 検索インデックスを保持しているサーバへのアクセスについて、不必要な操作が実行されないように、権限を厳格化する(対応済)

原因bに対する再発防止策

  • 検索インデックスを保持しているサーバに接続するテストについて、開発環境以外のサーバに対して実行された場合、エラーとなるように修正する(対応済)
  • テスト用データの削除処理を見直し、テスト用に作成したデータ以外に影響が及ばないように修正する(対応済)

※ 再発防止策ではありませんが、万が一データが削除された場合、より早急に復旧を行えるような手順や仕組みの整備についても、実施しています。

Posted Dec 05, 2024 - 13:14 JST

Resolved

復旧したことを確認しています。
この度はご迷惑をおかけして、申し訳ございませんでした。
原因と再発防止策について、追って記載いたします。
Posted Dec 05, 2024 - 12:03 JST

Update

静的サイト生成を行っていて、本来のコンテンツ数より少ない件数の表示しかない場合、不具合の発生中にビルドを実施した可能性があります。大変お手数ですが、再ビルドの実行をお願いいたします。
Posted Dec 05, 2024 - 05:53 JST

Monitoring

管理画面、コンテンツAPIともに復旧して、経過観察中です。
Posted Dec 05, 2024 - 05:29 JST

Update

復旧作業を進めております。
概ねのサービスは復旧しておりますが、引き続き管理画面はメンテナンス状態となっています。
現時点で6時ごろまでには復旧の予定です。
Posted Dec 05, 2024 - 04:40 JST

Update

22:30ごろから復旧のための処理を実行中です。
コンテンツAPIのレスポンスは、正常な徐々に解消されています。
管理画面は引き続きメンテナンス中としています。
ご迷惑をおかけして大変申し訳ございません。
Posted Dec 04, 2024 - 23:56 JST

Identified

直接的な原因は特定したため、復旧に向けて、作業調整中です。
根本的な発生原因は、引き続き調査中です。

またCDNにキャッシュがされていないAPIレスポンスについては、データについても、影響があることを確認しております。
影響を最小限に抑えるため、管理画面はメンテナンス中とさせていただいております。

ご迷惑をおかけして、申し訳ございません。
進捗がございましたら、再度お知らせいたします。
Posted Dec 04, 2024 - 22:15 JST

Investigating

管理画面のコンテンツが一部表示されない不具合を確認しております。現在調査を行なっています。
Posted Dec 04, 2024 - 21:01 JST
This incident affected: コンテンツAPI and 管理画面.