動画解析の結果を社内文書で補い、根拠付きの報告書から業務処理へ渡す構成をNVIDIAが示した。動画検索・要約システムVSSと文書検索システムRAGをNemoClawで連携させる。
動画の情報を取り出し、文書検索につなぐ
NVIDIAが示した構成は、動画検索・要約システムVSSと、社内文書を検索するRAGを、AIエージェント構築用のNemoClawで連携させる。映像から得た情報を文書中の基準や知識と照らし合わせ、その結果を後続の処理へ渡す流れだ。
VSSはライブ映像や保存済み映像を取り込み、内容を表す説明文と視覚的なメタデータを生成する。これらが、利用者の指定した対象について映像を調べる際の材料になる。
解析前の指定で注目する出来事と対象を絞る
映像の処理を始める前に、利用者は対話形式で場面、注目する出来事、追跡する対象を指定する。必要なら、参照したい文書を探すための検索条件も加える。解析の対象と参照情報を先に定める手順になっている。
同じ入力項目は、一括処理ではプログラムから渡すこともできる。対話形式と一括処理のどちらでも、指定された条件が後続の文書検索と動画解析に引き継がれる。
社内文書の検索結果を長時間動画の要約へ渡す
RAGは、組織の文書や方針、参照データから関連情報を探す。文書のベクトル検索と検索結果の再順位付けはRAGの内部で処理され、見つかった情報が動画解析側へ返される。
長時間動画の解析ツールは、その情報をRAGから取得したうえで、利用者が指定した条件と動画を処理する。動画を階層的に要約し、映像中の出来事を参照情報と結び付けた結果を報告書生成へ渡す。
時刻と参照元を示す報告書から業務処理へ進む
報告書生成ツールは、動画の解析結果と取得した文書情報を組み合わせ、時刻、分析文、参照元を含む構造化された報告書を作る。生成前に利用者が指示文を確認・編集する手順も組み込める。
NVIDIAが示した連携構成では、報告された内容をチケット作成や異常のエスカレーション、後続の業務処理への入力に使える。動画解析の出力を、参照情報を伴う報告書を経由して実務上の処理へ渡す構成になっている。