# 評価パッケージを作成する 評価パッケージは、複数の評価メトリクスと、それぞれの実行時パラメータをまとめたセットです。 評価パッケージを作成すると、利用するメトリクスだけでなく、各メトリクスのアクション、ボーダーの扱い、利用するリモート LLM などをあらかじめ設定できます。 作成した評価パッケージは、アプリケーションにメトリクスを適用する際に選択できます。よく利用するメトリクス構成を評価パッケージとして保存しておくことで、複数のアプリケーションに対して同じ評価設定を一括で割り当てることができます。 ### 評価パッケージで設定できること 評価パッケージでは、含める評価メトリクスに加えて、各メトリクスの実行時パラメータを設定できます。
パラメータ概要
アクション

入力または出力の評価結果に問題が検出された場合に、対象の AI システムの挙動を制御したい場合は、Block を選択してください。

問題の検出時にブロックは行わず、フラグ付けして事後確認の対象としたい場合は、Flag を選択してください。

ボーダーの扱い

評価結果が判定基準の境界付近にある場合、Pass を選択すると問題なし、Fail を選択すると問題ありとして扱われます。

対象の評価メトリクスにおいて、過検知の抑制を優先する場合は Pass、見逃しの防止を優先する場合は Fail を選択してください。

リモート LLM

レスポンスタイムや評価コストを優先する場合は 高速モデル、評価精度を優先する場合は 高精度モデル を選択してください。

なお、選択したメトリクスが Local タイプの場合、この項目は選択できません。

これらのパラメータを評価パッケージ内で設定しておくことで、アプリケーションに適用する際に、メトリクスの組み合わせだけでなく、評価時の挙動もまとめて反映できます。 ### 作成手順 評価パッケージを作成するには、サイドバーの `評価ライブラリ` から `評価パッケージ` を選択してください。 以降の手順は、 [アプリケーションに評価メトリクスを設定する](/operations-guide/new-application/set-metrics.md#id-1-b-metorikusuwonisuru) と同様です。
### 評価パッケージの作成例 評価パッケージは、利用シーンや運用ポリシーに応じて作成できます。たとえば、以下のような単位で作成することが考えられます。 * 社内向けアプリケーション用、社外向けアプリケーション用など、利用シーンごとに作成する * 開発部門、カスタマーサポート部門など、利用部門ごとに作成する * 入力ログの評価用、出力ログの評価用など、評価対象ごとに作成する * 本番環境用、検証環境用など、運用環境ごとに作成する * Block を前提とする厳格な設定、Flag による確認を中心とする設定など、運用方針ごとに作成する --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.radar.citadel-ai.com/operations-guide/evaluation-library/evaluation-packages.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.