AI

銀行の障害原因候補を示す時間、AIで中央値34.5分から10分に

この記事のポイント

  1. 実現したこと

    銀行基盤の100超のAWSアカウントと3,000のマイクロサービスを横断し、AIが障害を自動調査する。

  2. 実現の仕組み

    ログやトレース、デプロイ情報などを突き合わせ、根拠を添えて最も可能性の高い原因候補を提示する。

  3. 得られた結果

    GoTymeの障害サンプル試験で、警告から最初の原因候補を示すまでの時間が中央値34.5分から10分に短縮した。

  4. 従来との違い

    技術者による手作業の情報収集から、問題検知を起点にAIが調査を始める運用へ切り替えた。

明るい作業台に並ぶ4台のサーバーの先に、鍵のかかったデータベースがある。手前には計器や紙資料が置かれ、技術者が提案書を確認し、赤い承認スイッチの手前で操作を止めている編集イラスト。
AI生成画像

銀行基盤の障害調査に、複数のサービスを横断して原因候補を探すAIが組み込まれた。GoTymeの試験では、警告から最初の原因候補を示すまでの時間が中央値34.5分から10分に短縮した。対処の実行は技術者が承認する。

手作業で集めていた運用データをAIが突き合わせる

デジタル銀行グループGoTymeの製品・技術開発拠点GoTymeXは、運用支援AIのAWS DevOps Agentを利用し、障害の根本原因を分析するシステムを開発した。GoTymeによると、100を超えるAWSアカウントと3,000のマイクロサービスを横断して障害を自動調査する。

従来の監視ツールは問題を素早く検知しても、発生源を特定できなかった。技術者は通常、障害発生後の最初の30分を情報収集や切り分けに費やしていた。新しいシステムでは、AIエージェントが問題の検知とともに調査を始め、メトリクス、ログ、トレース、デプロイ情報、インフラの健全性、ネットワークの観測データ、アプリケーション性能を突き合わせる。その結果から、最も可能性の高い原因候補を根拠とともに提示する。

警告から4段階離れたクエリのロックを特定

GoTymeが実施したある試験では、原因分析システムが複数のサービスとアカウントをたどり、最初の警告から4段階離れたデータベースクエリのロックを原因として特定した。これは、単独の監視では見逃していた原因だった。

システムは原因を特定した後、根拠に基づく対処案も示した。調査の出力には、原因候補に加えて対処の提案まで含まれる。

6カ月分の障害サンプルで原因候補の提示時間を比較

GoTymeは、6カ月間に収集した障害サンプルを使ってシステムを試験した。この試験では、原因を特定するまでの時間として、障害による警告の発生から、最初の原因候補をシステムが示すまでを測った。

その所要時間は、中央値34.5分から10分へ短縮した。測定の終点は最初の原因候補の提示であり、復旧の完了までを測った時間とは区別される。

本番環境への変更は技術者の承認後に実行

AIが示した対処案は、人による確認と承認に引き継がれる。GoTymeでは、技術者が実行前にすべての対処を確認・検証・承認する。

自動化された調査と提案の先でも、本番システムを変更するには明示的な人の許可を必要とする。この承認を得ずに、本番環境へ変更を加えることはない。