CitadexDocs

再テスト:変更で AI に言及される頻度が上がったかを確かめる

プロンプト追跡の「再テスト」の使い方:仕組み、作成方法、対照の質問の役割、結果の読み方、修正タスクが再テスト日に自動で再計測される仕組みを説明します。

Rankings4 min read

再テストの目的

サイトやコンテンツを変更した後、同じ質問でもう一度測定し、AI に言及される頻度が上がったかを確認します。「成果」タブは起きた変化を自動で記録し、「再テスト」は特定の変更の効果を能動的に検証する場所です。

場所:サイドバー「プロンプト追跡」の「再テスト」タブ。再テストは Business / Agency プランの機能です。

プロンプト追跡 → 再テスト

プロンプト追跡 → 再テスト

仕組み

  1. 変更前 14 日(ベースライン):対象の質問で AI に言及される割合を記録します。変更日以前の既存スキャンはベースラインに含め、足りない場合は今日から測定を始めます。
  2. 変更後 14 日(観察):自動で再計測し、各質問をエンジンごとに 3 回質問します。
  3. 対照の質問と比較:対象だけが明確に上がり、対照が変わらない場合のみ「改善」と判定します。

再テストを作成する

  1. 1

    開く

    「+ 再テストを作成」をクリックすると「この変更の再テストを作成」が開きます。

  2. 2

    変更内容を書く

    「変更内容」に 1 文で書きます(例:「料金ページに FAQ 構造化データを追加」)。この文から関連する質問が自動で選ばれます。

  3. 3

    ページと日付

    「ページ URL(任意)」:入力すると変更前後にページのスナップショットを保存し、後で比較できます。「変更日」:この日より前が変更前、後が変更後になります。

  4. 4

    対象の質問を確認する

    「対象の質問」は今回の変更に関係する質問で、自動で選ばれます。「編集」で追加・削除できます。1 つの再テストの質問はすべて同じ市場のものです。

  5. 5

    対照の質問(通常は変更不要)

    「詳細設定(任意)」を開くと「対照の質問」が表示されます。同じ市場で今回の変更と無関係な質問が自動で選ばれています。別の施策(新しい記事、修正タスク、他の再テスト)で最適化中の質問は自動で除外され、手動で加えた場合は入れ替えをすすめる表示が出ます。

  6. 6

    開始する

    「再テストを開始」を押します。

対照の質問が必要な理由

AI プラットフォーム自体も変化します。対象と対照が一緒に上がれば、それはプラットフォーム全体の変化で、今回の変更の効果ではありません。対象だけが上がり対照が動かないときに、今回の変更の効果だと言えます。対照のない再テストでは、同期間の他の質問と比較していないことが結果に表示されます。

再テストの一覧

  • 上部の 4 つの数字:「測定中」「改善」「有意な変化なし」「判断できない」。
  • 絞り込み:「すべて」「進行中」「結果あり」。複数の市場がある場合は市場でも絞り込めます。
  • 表:「変更内容」(出どころ:修正タスクから、AI ライターから、スレッド返信から、手動で追加)、「市場」「質問数」(対象 · 対照)、「進捗」(例:「観察期間 5 / 14 日目」)、「結果」。「表示」で詳細を開きます。

結果の読み方

結果判定
改善対象の割合が上がり、前後の区間が重ならず、対照の質問は同じ方向に大きく動いていない
有意な変化なし回答数は十分だが、対象の前後の区間が重なっている(明確な低下もここに含め、その旨を表示)
判断できない回答不足、取得失敗が多い、または対照の質問も同時に大きく動いた

詳細ページの内容:

  • 結果と 1 行の理由。
  • 期間:ベースラインと観察の日数、変更日。
  • 変更内容:「変更前スナップショット」と「変更後スナップショット」。「差分を比較」で「ページの変更前後」(追加・削除されたテキスト)を表示します。
  • 対象の質問 / 対照の質問:グループごとの「ベースライン」「観察」の割合と「区間」。取得失敗は別に表示され、集計に含めません。
  • エンジン別:エンジンごとの対象と対照のベースラインと観察。

進行中の再テストは現時点のデータを表示し、期間終了後に結果を出します。さらに様子を見たいときは「さらに 14 日観察」を押します。「改善」となった再テストは成果タブに「再テストで効果を確認」のカードとして表示され、AI アシスタントの週次プランにも「再テストの結果」として載ります。「削除」は再テストだけを削除し、スキャンデータは残ります。

修正タスクの自動再テスト

再テスト日が設定された修正タスクは、その日に自動で再計測されます。プランで使えるエンジンで、タスクの市場の質問をもう一度尋ね、新しいカバー率を記録してタスクを完了にします。カバー率が上がると、成果タブに「改善タスクが効果」のカードが表示されます。手作業は不要です。

よくある質問

変更を公開してからしばらく経っています。再テストを作れますか? 作れます。「変更日」を実際の公開日にすれば、それ以前のスキャンがベースラインに含まれます。

結果が「判断できない」でした。 詳細ページの理由を確認してください。回答が足りない場合は「さらに 14 日観察」、対照も動いた場合は同期間にプラットフォームが変化しているので、少し時間を置いて新しい再テストを作成します。

対象の質問を複数の市場にまたがらせられますか? できません。再テストは 1 つの市場が対象です。市場ごとに作成してください。

Was this article helpful?