改善前後の差と、改善の効果を区別する
記事を更新した後に引用が増えても、更新が原因とは限りません。モデル、検索機能、競合ページ、季節性なども変わります。LLMOの効果測定では、事前に条件と判断基準を決め、後から都合のよい指標だけを選ばないようにします。
必要なのは固定質問での分析、変更前の証跡、変更担当、対象URLです。AIOと他社AIは別系列にし、引用比較で見つけた内容上の不足から仮説を作ります。
1．変更前に検証票を書く
| 項目 | 架空の記入例 |
|---|---|
| 課題 | 問い合わせ計測の説明に、受付成功の確認手順がない |
| 変更 | 操作・期待結果・二重発火の切り分けを追加 |
| 主要指標 | 固定質問の回答における自社リンク引用率 |
| 品質の条件 | 説明の誤りを増やさず、出典と手順を照合 |
| 観測 | 変更前後で同じ10質問・3回ずつ。サービスと検索設定を固定 |
| 判断日 | 変更前に決めた日。取り込み状況も別に確認 |
| 比較対象 | 更新しない関連質問群。同じ頻度で観測 |
件数は設計例です。必要な規模は変動や意思決定の重要度で変わります。初回30回で有意差を判断できると約束しません。前後で質問文やモデルが変わった場合は別系列とすることも先に決めます。
2．変更と観測を記録する
- 検証計画テンプレートに仮説・指標・除外基準・判断日を記入します。
- 変更前の本文、引用観測、流入集計を保存します。前の状態を後から記憶で復元しません。
- 変更箇所と公開日時を記録します。同時に変更したタイトル・導線・タグ設定なども残します。
- GoogleについてはSearch ConsoleのURL検査等で取得状況を確認し、未取得なら結果評価と切り分けます。他サービスの取得状況は推測で断定しません。
- 決めた頻度で前と同じ観測を行います。引用された瞬間だけで打ち切らず、予定した期間の全件を残します。
3．分母と比較対象を見て判断する
架空例として、自社引用が変更前3/30（10%）、変更後6/30（20%）なら差は＋10ポイントです。同じ時期の比較質問群が4/30から7/30になった場合、そちらも＋10ポイントなので、差の差は0ポイントです。
この計算だけで因果効果を確定できません。比較群が同じ傾向をたどる保証はなく、質問も無作為に割り付けたとは限らないからです。「自社は増えたが比較群にも同程度の変化があり、更新固有の効果は判断できない」と報告します。
| 状態 | 判断例 |
|---|---|
| 内容の誤りが増えた | 数値が伸びても修正を優先し、品質の問題を調査 |
| 条件変更・未取得が多い | 比較を保留し、同条件の観測を追加 |
| 引用が増え、流入は不変 | 引用と流入を別の結果として報告。誘導経路等を確認 |
| 指標が変わらない | 変更の取り込み、質問との対応、観測のばらつきを確認 |
「継続」「修正」「保留」の基準は事前に数値と品質条件で具体化します。業務上の目安と統計的な有意差は別です。何度もデータを見て有利な時点を選ぶ判断は避けます。
AIへの評価依頼と照合
目的：変更前に定めた検証計画に従って結果を整理する。
入力：計画、前後の観測表、比較群、変更履歴、取得状況、品質点検結果。
出力：分子・分母・率・ポイント差、条件の不一致、継続/修正/保留の候補。
前後差を因果効果と呼ばない。比較群の妥当性と未確認事項を挙げる。
結果を見て主要指標や除外基準を書き換えない。変更案は次回計画として分ける。
原データにない成果、監修、実機検証を創作しない。
人が計画と実施記録を照合し、3÷30、6÷30、比較群との差を再計算します。AIが「改善成功」とした場合は、事前基準のどれを満たしたか明記させます。根拠がなければ結論を保留します。
完了条件と次月への引き継ぎ
計画・変更履歴・欠測・計算・品質点検・次の判断日が残れば1回の評価は完了です。効果が出なかったことも有用な記録です。月次レポートへ、次に変える箇所と観測条件を引き継ぎます。
取得の仕様はGoogleのURL検査を参照。比較設計と架空の数値例は編集上の提案で、実サイトの成果報告ではありません。
AI支援で制作。資料確認日：2026年10月5日。次回確認予定：2027年1月5日。実サイトの検索順位・引用状況の測定、Search Consoleの実アカウント操作、実務者監修、第三者再現は未実施です。記入例・数値例は架空の教材です。掲載・順位・効果を保証するものではありません。
