# カスタムメトリクスを作成する

カスタムメトリクスは、自社固有の評価基準、ガイドライン、規定などに合わせて作成できる評価メトリクスです。

AI アプリケーションは、利用目的や業務フロー、扱うデータ、出力結果の利用方法によって、注意すべきリスクが異なります。そのため、一般的なリスク観点に基づくビルトインメトリクスに加えて、アプリケーションの性質やユースケースに応じた評価基準を定義することが重要です。

カスタムメトリクスを作成することで、自社の業務や運用ルールに即した観点で、AI アプリケーションの入力や出力を継続的に評価できます。

### 作成手順

#### 1. メトリクスを追加 を選択する

サイドバーの `評価ライブラリ` から `メトリクスを追加` を選択してください。

#### 2. 作成方法を選択する

カスタムメトリクスは、以下のいずれかの方法で作成できます。

<table><thead><tr><th width="205.13671875">作成方法</th><th>利用するケース</th></tr></thead><tbody><tr><td>新規評価カテゴリを追加</td><td>新しいリスク観点に対して評価メトリクスを作成する場合</td></tr><tr><td>既存評価カテゴリを選択</td><td>既存の評価カテゴリに対して、新しい評価基準や対象のメトリクスを追加する場合</td></tr></tbody></table>

既存の評価カテゴリに追加する場合、過去に作成したメトリクスは上書きされず、バージョンとして管理されます。

{% hint style="success" %}
評価カテゴリと評価メトリクスの関係については [評価ライブラリを管理する](/operations-guide/evaluation-library.md) を参照してください。
{% endhint %}

**新規評価カテゴリを追加する場合**

新しい評価カテゴリと、そのカテゴリに紐づく評価メトリクスを作成します。

<table><thead><tr><th width="133.328125">設定値</th><th>概要</th></tr></thead><tbody><tr><td>評価カテゴリ</td><td>評価カテゴリ名を入力します。評価カテゴリはリスクや脅威の観点を表すため、監視したいリスクや脅威の内容が分かる名前を設定してください。</td></tr><tr><td>説明</td><td>評価カテゴリの説明を入力します。評価基準には影響しません。</td></tr><tr><td>対象</td><td>評価の対象として、<code>入力（プロンプト／ユーザー文）</code> または <code>出力（モデル応答）</code> のいずれかから選択してください。</td></tr><tr><td>評価基準</td><td>対象ログが評価メトリクスで検知対象となるかを判断するための基準を、自然文で入力してください。</td></tr></tbody></table>

<figure><img src="/files/yp3uYNcjArfkHqlBRJlH" alt=""><figcaption></figcaption></figure>

{% hint style="success" %}
評価基準を記載する際は、既存のビルトインメトリクスの定義を参考にしてください。

`AI で自動入力` を利用すると、カテゴリ名と説明の内容をもとに評価基準を自動生成できます。生成された内容は、必要に応じて確認・修正してください。

評価基準には、検知対象となる条件や、対象外とする条件を具体的に記載すると、評価結果が安定しやすくなります。
{% endhint %}

入力内容を確認し、問題がなければ `保存` を選択してください。

**既存評価カテゴリを選択する場合**

既存の評価カテゴリに紐づけて、新しい評価メトリクスを作成します。

<table><thead><tr><th width="133.328125">設定値</th><th>概要</th></tr></thead><tbody><tr><td>評価カテゴリ</td><td>メトリクスを追加する既存の評価カテゴリを選択します。</td></tr><tr><td>対象</td><td>評価の対象として、<code>入力（プロンプト／ユーザー文）</code> または <code>出力（モデル応答）</code> のいずれかから選択してください。<br><br>選択した対象に応じて、既存のメトリクスが存在する場合は新たなバージョンとして作成されます。対象のカテゴリに、既存のメトリクスが存在しない場合、新しいメトリクスとして作成されます。</td></tr><tr><td>現在の最新の評価基準</td><td>既存のメトリクスが存在する場合、現在の評価基準が表示されます。</td></tr><tr><td>評価基準</td><td>対象ログが評価メトリクスで検知対象となるかを判断するための基準を、自然文で入力してください。</td></tr></tbody></table>

<figure><img src="/files/ddvpJdPLZF8ymJngG7yk" alt="" width="563"><figcaption></figcaption></figure>

{% hint style="success" %}
評価基準を記載する際は、既存のビルトインメトリクスの定義を参考にしてください。

`AI で自動入力` を利用すると、カテゴリ名と説明の内容をもとに評価基準を自動生成できます。生成された内容は、必要に応じて確認・修正してください。

評価基準には、検知対象となる条件や、対象外とする条件を具体的に記載すると、評価結果が安定しやすくなります。
{% endhint %}

入力内容を確認し、問題がなければ `保存` を選択してください。

#### 3. 作成されたカスタム評価カテゴリおよびメトリクスを確認する

[ビルトインメトリクスを確認する](/operations-guide/evaluation-library/built-in-metrics.md) と同様の手順で、作成されたカスタム評価カテゴリやメトリクスを確認できます。

カスタムで作成された、評価カテゴリやメトリクスには、`カスタム` バッジが付与されています。


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.radar.citadel-ai.com/operations-guide/evaluation-library/custom-metrics.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.