# ビルトインメトリクスを確認する ビルトインメトリクスは、外部の AI セーフティガイドライン・フレームワークを参照して Citadel AI が設計し、Citadel Radar にあらかじめ搭載しているメトリクスです。 ビルトインメトリクスは評価カテゴリごとに整理されています。評価カテゴリを選択すると、そのカテゴリに含まれる評価メトリクスや、関連する AI セーフティフレームワーク項目を確認できます。 {% hint style="info" %} 対応する AI セーフティフレームワークは順次拡張予定です。追加対応を希望する AI セーフティフレームワークがある場合は、 までお問い合わせください。 {% endhint %} ### ビルトインメトリクスで確認できること ビルトインメトリクスでは、たとえば以下のような観点で LLM アプリケーションの入力や出力を評価できます。 * 特定の属性を持つ人々に対する偏見や差別を助長していないか * 組織外に公開すべきでない情報が含まれていないか * ユーザーが LLM に対して不適切または危険な指示を入力していないか ビルトインメトリクスを利用することで、独自に評価基準を作成しなくても、一般的なリスク観点に基づいた評価を開始できます。 {% hint style="success" %} ビルトインメトリクスを確認する前に、評価カテゴリと評価メトリクスの関係についてご確認ください。詳細は [評価ライブラリを管理する](/operations-guide/evaluation-library.md) を参照してください。 {% endhint %} ### 評価カテゴリの一覧を確認する サイドバーの `評価ライブラリ` セクションの `評価カテゴリ` を選択してください。 評価カテゴリの一覧では、各カテゴリの名前、対象、説明、関連するフレームワーク数、含まれるメトリクス数を確認できます。
評価カテゴリの中から、たとえば `個人情報の開示` を選択すると、そのカテゴリに含まれる評価メトリクスと、紐づく AI セーフティフレームワーク項目を確認できます。 #### 評価カテゴリに含まれる評価メトリクスについて確認する
`個人情報の開示` カテゴリは、「*LLM の応答を通じて、本人の同意なく個人を識別しうる情報が第三者に開示・推論されるリスク*」と定義されています。つまり、このカテゴリでは、入力そのものではなく出力によって生じるリスクを扱います。 そのため、このカテゴリには以下のメトリクスがビルトインとして定義されています。
対象概要
入力第三者の個人情報を取得・推論・開示することを目的として、LLM から情報を引き出そうとする入力ではないか評価する
出力実際に第三者の個人情報を含む出力が生成されていないかを評価する
{% hint style="warning" %} `個人情報の開示` カテゴリは、出力によって生じるリスクを扱うため、入力そのものに個人情報が含まれているのかを評価している訳ではなく、そのような出力を意図的に促すような入力ではないかを評価しています。 このようなカテゴリとメトリクスの関係についての詳細は、 [評価ライブラリを管理する](/operations-guide/evaluation-library.md) を参照してください。 {% endhint %} また、一部のメトリクスではモデルタイプとして `ローカル` と `リモート` を選択できます。`ローカル` は Citadel AI がホストする環境で動作する SLM を利用します。`リモート` は第三者が提供する Remote LLM サービスを利用します。 各メトリクスを選択すると、プレイグラウンド画面に遷移します。プレイグラウンドの使い方は、 [メトリクスの精度をテストする](/operations-guide/evaluation-library/playground.md) を参照してください。 #### 評価カテゴリに紐づく AI セーフティフレームワーク項目を確認する 評価カテゴリの詳細画面では、そのカテゴリに関連する AI セーフティフレームワーク項目も確認できます。 各フレームワーク項目を選択すると、項目の概要や、関連する評価メトリクスを確認できます。
--- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.radar.citadel-ai.com/operations-guide/evaluation-library/built-in-metrics.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.