データの出所、判定の方法、そして限界

データの取得元

すべてのプロンプトは、選んだ市場の国と言語で各 AI に質問します。下の表は各プラットフォームの現在の取得方法と、直近 30 日のスキャンで実際に使われたモデルです。

実際の製品画面

そのプラットフォームの一般向け製品で質問し、ユーザーが見る回答と出典を取得します。

公式 API + Web 検索

ベンダーのモデル API を、その API 自身の Web 検索を有効にして呼び出します。基準値として使えますが、アプリで見える回答と同じとは限りません。

市場で検索してモデルに渡す

API に Web 検索がないため、市場の国から Google（中国語市場は Baidu）を検索し、モデルはその結果だけを基に回答します。

Google 検索結果ページ

市場の国で Google 検索結果ページの AI による概要 / AI モードを取得します。

• サンプリング回数：スキャンごとに、各プロンプトを各プラットフォームで 1 回質問します。ビジネス・エージェンシープランでは最大 20 件のプロンプトで「複数回サンプリング」を使え、スキャンごとに各プラットフォームで 3 回質問し、x/3 と 95% 区間で表示します。
• 失敗は 0 ではありません：エラー、利用枠切れ、タイムアウトは失敗として記録して再試行し、「言及なし」にはしません。
• 回答の原文を保存：回答本文、引用元、取得方法、モデル、回答前にプラットフォームが検索した語（公開されている場合）を保存し、根拠パネルで確認できます。
• 地域と言語：プロンプトは市場の言語で質問します。地域を指定できるプラットフォームは市場の国から検索し、できないものはリクエストで国を伝えます。

推薦の判定

「言及された」ことは「推薦された」ことではありません。ブランドに触れた回答はすべて次の 5 段階のいずれかに判定し、言及がなければラベルは付けません。

1. 第一候補条件なしで、最良・第一の選択肢だと明言されている。
2. 推奨質問者に条件なしで積極的に勧めている。複数のブランドと並んで勧められる場合もここに入ります。
3. 条件付き推薦条件付きでのみ勧めている（「予算に余裕があれば」「X が必要なら」など）。別に集計し、「推薦あり」には含めません。
4. 候補の一つ選択肢の一覧に中立的な説明とともに挙がっているだけで、推薦はない。
5. 言及のみついでに触れられた、比較対象として使われた、批判された、または選ばないよう勧められた。

• 一覧の 1 番目にあっても第一候補とは限りません。「最良」「一番おすすめ」などの明確な表現が必要です。
• 批判や否定（「高くて遅い」「おすすめしません」）は、1 番目に挙がっていても「言及のみ」です。
• AI モデルが各回答を判定し、根拠にした原文を保存します。その原文が本当に回答内にあるかをコードで確認します。
• 各言語は、人手でラベル付けしたセットで正解率 90% 以上、各ラベルの F1 0.85 以上を達成してから AI 判定に切り替えます。それまではキーワードルールで判定し、どちらにもバージョンを記録します。切り替え日はトレンドグラフに印を付け、それ以前のデータは再計算しません。
• 判定が違うと思ったら根拠パネルで修正を送信できます。修正はその回答の横に保存され、元の回答は変更されません。

現在（rec-judge-1）はすべての言語でキーワードルールを使っています。ラベル付けセットの評価に合格した言語から順に切り替えます。

根拠レベル

収益アトリビューション、AI トラフィック、需要、増分実験、成果レポートのすべての数値に根拠レベルを付け、出所と確かさを示します。

1. 確定自社データ、または 1 件ずつ照合できる注文。
2. プラットフォーム報告他のプラットフォーム（Cloudflare、Search Console、GA4、Shopify、CRM）が報告した数値をそのまま表示。
3. 自己申告顧客自身の回答（「どこで知りましたか」など）。
4. 推定手法に基づく計算値で、1 件ずつの記録ではありません。
5. 不明出所が記録されていません。

合計に複数の出所が混ざる場合は、最も弱いレベルに「混在」を付けて表示し、各レベルの割合も示します。CSV エクスポートと MCP サーバーも同じレベルを返します。

「推定」には必ず手法を記載します： 訪問者と連絡先の確率的照合；同じ会社の別の連絡先で代用；AI セッション比率からのモデル；マルチタッチ配分；対照群との差の差；User-Agent のみで識別；検索ボリュームモデル；複数回サンプリングの比率

ChatGPT データ取得元の 7 日間比較

取得方法そのものが結論を変えないことを確認するため、同じプロンプトを同じ日に、現在の取得方法と別のベンダー（Oxylabs）でそれぞれ ChatGPT に質問し、7 日間続けて結果を比較しました。

比較結果を整理中です。7 日分の結果を公開したらここに表示します。

既知の制約

• AI の回答は毎回変わる可能性があります。1 回のサンプルにはばらつきがあるため、単発の結果よりトレンドの方が信頼でき、重要なプロンプトには複数回サンプリングをおすすめします。
• ログインせず、個人の履歴や記憶もない状態で質問しています。ログインしたユーザーには個人に合わせた回答が表示されることがあります。
• 公式 API で取得するプラットフォームは基準値であり、アプリで見える回答と異なる場合があります。表に各プラットフォームの取得方法を示しています。
• 地域を指定できないプラットフォームでは、リクエストで国を伝えるだけなので、現地から実際に検索する場合より効果が弱くなります。
• 追跡するプロンプトは選ばれた代表的な質問の集合で、実際のすべての質問ではありません。需要は推定値です。
• AI による推薦判定はラベル付けセットで約 90% 以上の正解率ですが、誤りはあります。キーワードルールは複雑な文で誤りやすくなります。
• プラットフォームが公開する引用と検索語しか取得できません。検索語を公開しないプラットフォームは「不明」と表示します。
• User-Agent だけで識別したクローラーは偽装の可能性があるため「推定」としています。多くの AI アプリはリンクを開く際に参照元を送らないため、AI 経由の訪問は過小に計測されます。