少し前、AI（Gemini）に自社のホームページについて聞いてみたことがありました。
i.tes+【アイテスプラス】は、名古屋市南区にあります。
滋賀県甲賀市とは、何のご縁もありません。
ただ、心当たりはありました。
自社サイトのプロフィールには、「甲賀映像祭2023」という賞をいただいた実績を記載しています。
おそらく AI は、このページに書かれた「甲賀」という一語だけを手がかりに、会社の拠点をそう推測したのだと思います。
断片的な情報から、もっともらしい結論を組み立ててしまう。
これは AI が間違えやすいポイントというより、AI がふだんからやっていることそのものです。
そしてこれこそ、私が LLMO（大規模言語モデル最適化）に取り組んでいる理由でもあります。
AI に自社を正しく理解してもらうには、断片的な情報ではなく、まとまった正確な情報をきちんと渡しておく必要があるということです。
以前の記事から少し間があきました
以前、このブログで LLMO について2本の記事を書きました。
1本目では LLMO とは何かという実験をご紹介し、2本目では AI 向けのファイル（llms.txt）を設置したことで、診断スコアが72点から95点に上がったという話をご紹介しました。
今回は、その続きにあたる3本目の記事です。
ただ、続きとはいっても、今回お話しするのは「スコアが上がった話」ではありません。
むしろ、95点だった自社サイトが、83点まで下がって見える話です。
結論から先にお伝えすると、これはサイトの状態が悪くなったという話ではなく、診断ツールそのものを作り直した結果です。
なぜそうなったのか、順を追ってお話ししたいと思います。
最初の診断ツールには、実は欠陥がありました
私が最初に使っていた LLMO 診断ツールは、Gemini とのチャットのやり取りの中で運用していました。
評価項目は5つ、それぞれ20点満点で採点し、合計90点以上で最高ランクのS判定、というルールでした。
ランクはS・A・B・C・D・Eの6段階です。
以前の記事でご紹介した「72点から95点」という結果も、このツールで出したものです。
72点はBランク、95点はSランクでした。
ただ、このツールには、今振り返ると見過ごせない弱点がありました。
1つは、採点基準がどこにも書面として残っていなかったことです。
何点満点で、何をどう評価するのか、というルールは、すべて Gemini とのチャットの中にしか存在していませんでした。
チャットを開き直すたびに、本当に同じ基準で採点されているのかどうか、正直はっきりしない部分がありました。
もう1つは、採点に「ボーナス点」という仕組みがあり、20点満点のはずの項目が22点というように、上限を超えて加点されているケースが実際にあったことです。
100点満点で採点しているはずなのに、満点を超えて加点される項目がある。
これは、採点基準そのものが緩かったことの、何よりの証拠だと思います。
「会話」を「手順書」に作り直した
採点基準がチャットの中にしか残っていないと、後から同じ精度で診断を続けていくのは難しくなります。
そこで、Claude Code という別の AI ツールを使って、診断ツールを一から作り直すことにしました。
今回いちばん大きく変えたのは、採点基準を Gemini との会話の中に置いておくのではなく、誰が読んでも同じように使える手順書として書き出したことです。
「会話を手順書にした」というのが、今回の作り直しの本質だと思っています。
そして、この手順書は外部脳としてObsidianへ保存してあります。
この文章を外部に保存しておくことこそが、外部脳の本質でもあります。
評価項目は6つに増やし、それぞれ100点満点で採点した上で、6項目の平均点を総合スコアとする方式に変更しました。
Sランクの基準は85点以上とし、ランクもS・A・B・C・Dの5段階に整理しました（Eランクはなくしました）。
項目の数も、配点の付け方も、S判定の基準も、最初のツールとはすべて違うものになっています。
新しいツールで自社サイトを診断したら、83点でした
作り直した診断ツールで、あらためて自社サイトを診断してみました。
結果は83点、Aランクでした。
正直にお伝えすると、この新しいツールでは、これまで一度もSランク（85点以上）が出たことがありません。
固定ページを全件確認するという、今の診断基準で測った中では、自社サイトの83点が今のところ最高得点です。
95点から83点は、「下がった」のではありません
ここが、今回いちばんお伝えしたいところです。
「以前の記事で95点だったサイトが、今回は83点になっている」とだけ聞くと、サイトの状態が悪くなったように見えるかもしれません。
ですが、これは点数が下がったのではなく、物差しを作り直した結果です。
- 評価項目は5つから6つに増えました
- 配点は20点満点×5項目から、100点満点×6項目の平均に変わりました
- Sランクの基準は90点以上から85点以上に変わりました
項目の数も、配点の付け方も、ランクの基準も、すべて違う物差しで測っています。
違う物差しで測った数字を、そのまま並べて「上がった」「下がった」と比較することはできません。
同じサイトを診断しているのに、なぜ数字だけを見て一喜一憂しそうになってしまうのか。
それは、私自身も含めて、「点数」という分かりやすい数字にどうしても引っ張られてしまうからだと思います。
だからこそこの記事では、点数そのものより、「その点数が何を測ったものなのか」を先にお伝えしたいと思いました。
判定ルールの見直しと、サイトの実際の修正が重なった日もありました
もう1つ、正直にお伝えしておきたいことがあります。
新しい診断ツールを運用していく中で、診断ルール自体を見直した日と、サイトの内容を実際に修正した日が、同じタイミングで重なることが何度かありました。
AI 向けのファイル（llms-full.txt）に情報を追記したのと同じ日に、診断の判定精度を上げるルール変更も行っていた、というようなケースです。
そうなると、点数が動いたときに、それが「診断のものさしを直したから」なのか、「サイトの中身が実際によくなったから」なのか、正直なところ切り分けられません。
どちらか一方の効果だと言い切ってしまったほうが、記事としては分かりやすいかもしれません。
ですが実際には、両方が重なっていて、私自身もその内訳までは把握できていない、というのが正直なところです。
今回はここまで。1つだけ、宿題が残っています
自社サイトを新しいツールで診断していく中で、もう1つ気になったことがありました。
6つの評価項目のうち、「AI に引用されやすいか」という項目が、2026年7月18日には90点だったのに、7月21日には78点まで下がっていたのです。
他の項目にも多少の増減はありましたが、この項目の下がり方がいちばん目立っていました。
（この間に確認したページの範囲も広げているため、他の項目の増減も含めて単純な比較ではない、という点はお断りしておきます。）
なぜこの項目だけこれほど下がったのか。
理由の見当はついているのですが、この記事ではまだお話ししません。
実際に手を入れて、どこまで数字が変わるのか、答え合わせをしてからお伝えしたいと思っています。
次回の記事では、この宿題の答え合わせに加えて、LLMO の診断にSEOとMEOの視点も足したら、同じサイトが何点になるかも試してみる予定です。
8月下旬の公開を予定しています。
まとめ
今回お伝えしたかったのは、「診断ツールを作り直したら点数が下がった」という結果そのものではありません。
自分たちで作った物差しであっても、基準があいまいなままでは、後から見返したときに何を測っていたのか分からなくなってしまう、ということです。
診断ツールも、ホームページの中身も、一度作って終わりではなく、少しずつ検証しながら整えていくものだと思っています。
これからも、分かったことも分からなかったことも、できるだけそのままお伝えしていきたいと思います。
コメント