今回は、Search Engine Journalの最新のGoogleのクロール率についての見解をまとめた記事を和訳しました。Googlebotが実際にクロールする様子は見えないので、「環境に優しいクロール」とか、「サステナブルなクロール」という言葉を目にしても、なかなかイメージしづらいのが本音ですが、、、実際には必要のない無駄なクロールも多いということが分かりました。
最近『グレタ ひとりぼっちの挑戦』という映画を見て、自分自身の環境問題に対する意識の低さを実感し、思った以上に環境問題は深刻なんだと気が付いたばかりでした。Googleは、これからさらにサステナブルな環境を目指した検索のあり方に近づいていくと思うので、それに合わせて私たちも環境にやさしいサイト運営、サイト利用を目指していきたいものです。
Google、Webページのクロール率低減を検討
Googleは、コンピューティングリソースを節約するために、Webページのクロール頻度を減らすことを検討しています。Googleは、クロールとインデックスの持続可能性をより意識するようになったため、Webページのクロール頻度を減らす可能性があることを明らかにしました。このトピックは、ジョン・ミューラー氏、マーティン・スプリット氏、ゲイリー・イリェーシュ氏からなるGoogleのSearch Relationsチームによって議論されています。Search Off the Recordポッドキャストの最新エピソードで、2022年以降にGoogleに期待することについて議論しました。その中で、SEOの専門家やサイトオーナーが、この1年間でクロールとインデックスが少なくなったと話題になっていることが議題に上がりました。Googleは今年、コンピューティングリソースを節約することでクロールをより環境に優しく持続可能なにすることを目指しており、これは重要な焦点となりそうです。ここでは、それがあなたのWebサイトと検索結果におけるパフォーマンスにどのような意味を持つかをご説明します。
クローリングとインデックスの持続可能性
Googlebotのクロールとインデックスはバーチャルで行われるため、環境に影響を与えるとは考えづらいかもしれません。イリェーシュ氏は、コンピューティング技術は一般的に持続可能ではないとした上で、この問題に注目していると述べています：
「私が言いたいのは、一般的にコンピューティング技術は、あまり持続可能ではないということです。例えば、ビットコインを例に考えてみると、ビットコインのマイニング(=取引データを承認する作業)は、実際に測定できるほど環境に影響を与えています。特に、電力が石炭工場や他の持続可能性の低い工場から供給されている場合です。
私たちは、2007年か2009年頃にカーボンフリー(二酸化炭素などの温室効果ガスを排出しないエネルギーを使う)になりましたが、環境への影響をもっと減らすことができない訳ではありません。環境を考えたクローリング改善はもっと早い段階で、低いところにぶらさがっている果物として、つまり大した努力をしなくとも達成できるものなのです。」
この場合の「低いところにぶらさがっている果物」とは、不要なクローリングのことを指します。例えば、最近更新されていないWebページをクロールするようなことです。
Googleはどのようにしてクロールをより持続可能なものにするのか？
イリェーシュ氏は、リフレッシュクロールを減らすことで、クローリングをより持続可能なものにできると説明しています。Googlebotのクロールには、新しいコンテンツを発見するためのクロールと、既存のコンテンツをリフレッシュするためのクロールの2種類があります。Googleは、既存コンテンツを更新するリフレッシュクロールの縮小を検討しています。
イリェーシュ氏はこう続けます：
「私たちが行っていることの1つはリフレッシュクロールであり、それほど頻繁に行う必要はないかもしれません。ある文書やURLを発見したらそれをクロールし、最終的にはそのURLに戻ってきて再度訪問することになります。これがリフレッシュクロール(最後のクロール以降にコンテンツに変更がないかどうかを確かめること)です。そのURLに戻る度に、常にリフレッシュクロールが行われることになります。一体、どれくらいの頻度でURLに戻る必要があるのでしょうか？」
彼はさらに、サイトの一部ではかなりの回数のリフレッシュクロールをすることになるが、頻繁なクロールは保証しない特定のWebサイトの例を挙げています。例えば、Wall Street Journalのようなニュースサイトは、常に新しいコンテンツでホームページを更新しているため、多くのリフレッシュクロールを受けるに値します。しかし、WSJのAboutページ(会社概要ページ)はそれほど頻繁に更新していないと思われるので、Googleはそのような種類のページに対してリフレッシュクロールをし続ける必要はないということのようです。
「だから、そこまで頻繁にクロールする必要はないのです。そして、私たちはこれを適切に見積もることができていないため、リフレッシュクロールについて改善の余地があるのは確かです。というのも、同じURLを何度も何度もクロールするのは無駄だからです。例えば、正当な理由も明白な理由もなく、404ページをクロールしていることもあります。こうしたことは全面的にすべて改善できることであり、フットプリント(人間活動が地球環境に与える負荷)をさらに削減することができます。」
「Googleには2種類のクロールがある – URL発見のためのクロールとリフレッシュクロール」をご参照ください。
まだ100％確定したわけではありませんが、もしGoogleがリフレッシュクロールを減らすことにした場合、あなたのWebサイトにどのような影響があるのかをご紹介します。
クロール数の減少は、あなたのWebサイトに何を意味するのか？
世の中には、Googleがクロールするほど頻繁にコンテンツを更新していなくても、クロール率が高ければSEO上、ポジティブなシグナルであるという考え方があります。しかしこれは誤解であり、クロールされたからといって必ずしも上位に表示されるとは限らない、とイリェーシュ氏は述べています。
ミューラー氏：
「ページがより多くクロールされれば、より上位に表示されると考える人がいるのも誤解の1つだと思います。それは誤解ということでいいのでしょうか、それとも実際にそうなのでしょうか？
イリェーシュ氏：
「それは誤解です。」
ミューラー氏：
「OK、では実際に変わらないものを無理に再クロールさせようとする必要はありませんね。順位が上がるわけでもないのだから。」
繰り返しますが、Googleがリフレッシュクロールを減らすと確定したわけではありませんが、GoogleのSearch Relationチームが積極的に検討しているアイデアです。
もしGoogleがこのアイデアを実行に移せば、あなたのWebサイトにとって悪いことではなくなります。クロールが増えることは、順位が上がることを意味しません。さらにこのアイディア自体の目的は、どのページがリフレッシュクロールを必要とし、どのページがそうでないかを学習することです。つまり、より頻繁に変更したページが、検索結果でリフレッシュされ、更新され続けることになるのです。
Googleがどのように実現しようとしているのか、詳細は以下のポッドキャストでお聞きください(2:40から始まります)。