X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ

illustration by つきのあめだま

robots.txtでは正規表現は使えない――改めて技術を正しく理解したいと心から思うミスがX（Twitter）のサイトに見付かった。今回のピックアップでは、この件に加えて、複数サイトを管理している人向けの便利なrobots.txt管理術をお届けする。

もちろん、ほかにもSEO情報をしっかりまとめている。ローカルSEOのテクニックと基本情報、デスクトップ用Googlebot終了、著者情報とSEO、生成AIなどなど、今回もあなたのSEO力アップに役立つ情報をお届けする。

• X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）
• 複数サイト管理者に朗報： robots.txtはリダイレクトでまとめて管理できる
• ローカルSEOで上位表示するためのTIPS×8
• ローカルSEOスターターガイド（基本版）
• 2024年6月のグーグル検索オフィスアワー： コピーコンテンツが正規URLに、古い情報の扱い、パラメータ付きURLのインデックスなど
• パソコン用 Googlebot によるクロールの終了をグーグルが宣言
• 著者情報にSEO効果はあるのか？
• インデックス登録リクエストすればリダイレクト処理が早まる？
• グーグル検索、生成AI時代に突入 - 共存か淘汰か、コンテンツ業界の岐路
• グーグルがGemini普及のためにnoteを開設
• Googleの支配力： 60%の検索がクリックなしで終了
• Google、連続スクロールを廃止。まずはPC検索で、来月にはモバイル検索でも

今週のピックアップ

X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも） サポートしていない （Pedro Dias on X） 海外情報

X（Twitter）のサイトに設置されているrobots.txtにおかしな記載があることを、ペドロ・ディアス氏が発見した。赤枠で囲った部分の記述がおかしいのだが、理由はわかるだろうか？

2024年7月9日現在

正規表現の記述が間違っている……わけではない。robots.txtは正規表現をそもそもサポートしていないのだ。赤枠内の正規表現の記述は意味をなさない（正規表現の文字列に一致したURLがあればそのURLに対してだけ機能するかもしれないが）。

正規表現をrobots.txtがサポートしていれば利便性が増しそうだが、現状ではサポートしていない。

改めて覚えておこう。robots.txtで正規表現は使えない。

過去の記録を見ると、2023年9月7日ごろには問題なかったが、9月8日には問題のあるバージョンに差し替わっていた。経費削減のためのリストラも重要だが、インフラを支える優秀なエンジニアまでいなくなってしまったら問題が起こるというのがよくわかる。

複数サイト管理者に朗報： robots.txtはリダイレクトでまとめて管理できる 一箇所で集中管理 （Gary Illyes on LinkedIn） 海外情報

複数のサイトで同一内容のrobots.txtを集中管理する方法を、グーグルのゲイリー・イリース氏がリンクトインに投稿した。

やり方はシンプルだ。次のような環境だったとする：

• 管理サイトに置くrobots.txtのURL： https://www.example.com/robots.txt
• CDNに置くrobots.txtのURL： https://cdn.example.com/robots.txt

この場合、https://www.example.com/robots.txt を https://cdn.example.com/robots.txt にリダイレクトするだけでいいのだそうだ。リダイレクトするだけで https://cdn.example.com/robots.txt を https://www.example.com の robots.txt として検索エンジンは処理するとのことだ。

SEOに有利に働くわけではないが、内容が同じなのであれば、どこか1つのサイトに置いたrobots.txtで複数のサイトのrobots.txtを管理できる利点がある。多くのサイトを管理しているウェブ担当者には役立つ小技かもしれない。

グーグル検索SEO情報①

ローカルSEOで上位表示するためのTIPS×8 補足のTIPSもあり （Darren Shaw on X） 海外情報

ローカルSEOのエキスパートであるダレン・ショー氏が、ローカル検索のランキングに影響を与えるビジネスプロフィールの要素と、その最適化方法をXで共有した。

1. ビジネス名 ―― 順位を上げたいキーワードをビジネス名（正式名称）に含めることを検討する（順位上昇の効果は絶大）

   ※Web担編注　「正式名称にキーワードを含める」という意味である点に注意。キーワードを含めるために実際のお店やサービスで利用している正式名称と異なるビジネス名を指定するのはガイドライン違反

2. ビジネス カテゴリ ―― 順位を上げたいメインキーワードに最も近いものを主要カテゴリとして選択し、関連性の高い追加カテゴリをできるだけ多く追加する

3. クチコミ ―― すべての顧客にクチコミをお願いし、依頼し続ける。投稿されたクチコミには必ずフォローアップする

4. サービス ―― グーグルが提案するすべてのサービスを追加する（実際に提供している場合に限る）。カスタムサービスを追加し、タイトルに絵文字も追加する 🚗

5. 属性 ―― ビジネスに該当するすべての属性を追加して、その属性に言及する検索で上位表示されるようにする

6. ウェブサイト ―― ウェブサイトを作成し、プロフィールにリンクする。ローカル検索順位が大幅に向上する

7. 商品 ―― 組み込みの商品機能は直接的には順位に影響しないが、商品在庫をマーチャントセンターやPointyでGBPに接続すれば、GBPは商品検索で上位表示される可能性がある

   ※筆者注： Pointy（ポインティ）はGBPに商品を追加するサービス。現状日本では利用できない

8. 営業時間 ―― 24時間電話対応できる人を雇うか、競合よりも少し長く営業時間を設定して、ランキング上昇のメリットを得る。「24時間営業」は、本当に24時間営業している場合以外は設定してはいけない

説明、投稿、Q&A、その他のGoogleビジネスプロフィールの項目はどうだろうか？

これらの項目は直接的にはランキングには影響しないが、エンゲージメントシグナルに影響を与え、間接的にランキングに影響を与える可能性があるため、無視してはいけない。

基本的な考え方は次のとおりだ：

• GBPに空欄があれば、入力する
• GBPに未使用の機能があれば、活用する

ただし、有効にすべきではない機能が2つある。次のものだ：

• オンサイトサービス
• オンラインでの予約/見積もりを提供

この属性は有効にしてはいけない。一度有効にすると無効にできず、正当化の可能性を上書きしてしまうため、面倒だ。

※Web担編注　「サービスオプション」の項目だと思われるが、日本語インターフェイスでの詳細を確認できなかった

難易度が高い施策はない。ローカルビジネスを運用しているなら実践しよう。

ローカルSEOスターターガイド（基本版） ローカルSEOを始めた人に打ってつけの解説 （ボーディー） 国内情報

ローカルSEOについて住太陽氏がブログで解説した。どちらかというと入門編といった感じだ。とはいえ、ローカルSEOの重要性と、確実に押さえておくべき最適化に触れている。

具体的なコンテンツは次のとおりだ：

1. ローカルSEOとは
   1. ユーザーの訪問を獲得する
   2. ローカルパックでの露出を狙う
   3. ローカライズ検索結果での露出を狙う
2. ローカルSEOの順位決定要因
   1. キーワードとの関連性
   2. 検索者との距離
   3. 同業種の中での顕著性
3. ローカルSEOのベストプラクティス
   1. ビジネスプロフィールを充実させる
   2. Googleマップのクチコミを増やす
   3. その他の場所でのクチコミを増やす
   4. ウェブサイトに被リンクを集める
4. まとめ

ローカルSEOにこれから取り組み始める人もしくは取り組み始めたばかりの人にオススメの記事だ。

2024年6月のグーグル検索オフィスアワー： コピーコンテンツが正規URLに、古い情報の扱い、パラメータ付きURLのインデックスなど 質問少なめ （Google検索オフィスアワー on YouTube） 国内情報

2024年6月のグーグル検索オフィスアワー日本語版がYouTubeに公開された。あんな氏が回答したのは次の質問だ：

• MFI: 別々の URL で実装しているサイト（4:11）
• コピーコンテンツが正規 URL に選択された（5:52）
• 古くなった情報の取り扱い（8:01）
• パラメータ付き URL をインデックスさせる（9:56）
• 非同期処理で表示させるページ内コンテンツ（12:09）

今回は通常の半分くらいの数だ。回答を知りたくなる質問は含まれているだろうか？ 上記のタイムスタンプ部分はその場面から始まるようにリンクしてある。通しでも視聴できるように動画を埋め込んでおく。

グーグル検索SEO情報②

パソコン用 Googlebot によるクロールの終了をグーグルが宣言 スマホでアクセスできないサイトは検索から消える （グーグル検索セントラル ブログ） 国内情報

パソコン用Googlebotによるクロールをグーグルは2024年7月5日に終了し、スマートフォン用Googlebotだけのクロールに完全に移行した。

重要なニュースに聞こえるかもしれないが、ほとんどのサイトには関係しない。というのも、2023年10月の時点でモバイルファーストインデックスが完了しており、実質的にほぼすべてのサイトではすでにスマートフォン用Googlebotがメインクローラーになってるからだ。現在はスマートフォン用Googlebotがスマホ向けページをクロールし、そのページがインデックスとランキングに使われている。

モバイルファーストインデックス移行後も、モバイル デバイスにまったく対応していないサイトがごくわずかに残存していた。そのため、救済処置としてパソコン用Googlebotがクロールを続けていた。しかし、そういったサイトのクロールもスマートフォン用Googlebotが担う。

もしスマートフォン用Googlebotをrobots.txtでブロックしているサイトがあったとしたら、クロールされなくなるため検索から消えるだろう。とはいえ、そんなサイトを見つけるほうが難しい。よって、Google検索のインフラにとっては大きな変更だとしても、筆者たちが気にかける必要はない。

著者情報にSEO効果はあるのか？ 読者への信頼度をあげグーグルのエンティティ理解を手助け （ボーディー） 国内情報

著者情報がSEOに与える効果について住太陽氏が解説した。

住氏は次のように言っている：

• 著者情報は、SEOに直接的な効果はない
• しかし著者情報は、信頼性や専門性を高めることで読者へのアピールに繋がる

また、著者情報を適切に設定することで、グーグルが著者をエンティティとして認識しやすくなる。これにより、その著者が書いた記事のSEO効果が期待できるとも言っている。

著者情報を表すために次の3つの形式が使える：

• バイライン（署名欄）
• 著者情報ボックス
• 著者プロフィールページ

著者情報のSEO効果を最大化するためには、著者プロフィールページを作成し、各記事からリンクを設定する。また、構造化データマークアップを使用して情報を明示的に記述することも有効だそうだ。

著者情報を表すためのやり方や構造化データの記述方法などの詳細は紹介先ページを参照してほしい。

住氏が言うように、著者情報を充実させたからといって、グーグルの評価に目に見える変化が起こることはないだろう。しかし長い目で見たらどうかわからない。それに、人間の訪問者にとっては、コンテンツ著者あるいはサイト運営者のプロフィールは信頼度を上げることに確実に役立つだろう。

インデックス登録リクエストすればリダイレクト処理が早まる？ 使えないっぽい （John Mueller on LinkedIn） 海外情報

URLを変更したサイト管理者が、グーグルのジョン・ミューラー氏に次のように質問した：

Search ConsoleのURL検査ツールで古いURLをインデックス登録リクエストしたら、リダイレクトの処理が早く進みますか？

ミューラー氏の回答は次のようなものだ：

そうはならないと思う。インデックス登録をリクエストしても正規化は変わらない（むしろ、最初のURLをインデックスしたいという意思表示のように見える）。

旧URLをクロールさせることでリダイレクトが設定されていることをグーグルに認識させ、結果として処理が行われると質問者は期待したのだろう。

サイトリニューアルなどでサイト全体のURLを変更したときは、変更をいち早く認識させるために旧URLをサイトマップに記載して、クロール対象のURLとして知らせるという変則的な方法が使えた（通常サイトマップには、インデックスさせたいURLを記述する）。

この理論でいけば、インデックス登録リクエストも機能するように思えるのだが、期待どおりにはいかないようだ。インデックス登録リクエストは、そのURLをインデックスしてほしいという要求としての意味合いが強いらしい。

グーグル検索、生成AI時代に突入 - 共存か淘汰か、コンテンツ業界の岐路 検索サービスの頂点であるグーグルが生成AIで新たな一歩 （日本経済新聞） 国内情報

検索サービスの頂点に立つグーグルの転機について論じた日本経済新聞の記事を紹介する。

要約は次のとおりだ：

米グーグルは、主力であるインターネット検索サービスに生成AIを本格的に組み込むことを決定した。年内に世界中で10億人以上が利用できるようにする計画だ。

グーグルの検索サービスは、ウェブサイト間のリンク数を基にサイトの重要度を評価する「PageRank（ページランク）」技術を核として開発され、世界シェア9割超を誇る。しかし、生成AIの急速な発展により、この巨大ビジネスは転換期を迎えている。

グーグルは、生成AIを活用した新サービス「AIオーバービュー」を米国で開始した。これは、利用者の質問に対して生成AIが文章で回答するサービスだ。しかし、このサービスは、報道機関や出版社など、コンテンツ提供者から強い懸念を引き起こしている。生成AIの回答で利用者が満足し、リンクをクリックしなくなる可能性があるからだ。

グーグルはコンテンツ提供者との共生関係を強調し、生成AIによる回答は一部の質問に限定し、将来的にもすべての質問に対応することはないと説明している。しかし、生成AIの普及により、従来の検索サービスの利用が減少するとの予測もあり、コンテンツ提供者の不安は根強い。

グーグルは、モバイル機器の普及期にも同様の懸念があったが、実際には検索サービスの利用は拡大したと主張している。しかし、生成AIの影響はスマートフォン以上との指摘もあり、今後の動向が注目される。

全文は元記事にアクセスして読んでほしい。会員限定記事だが、無料会員でも読める。

グーグルがGemini普及のためにnoteを開設 日本独自のコンテンツ発信 （Gemini - Google の AI on note） 国内情報

日本のグーグルが、生成AIのGemini（ジェミニ）の認知度向上と利用促進を目的に公式noteを開設した。

開設の理由と志を次のように述べている：

私たち Google は、AI をすべての人に役立つものにしたいと考えています。そのために、Google の AI「Gemini」をもっとたくさんの人に知っていただき、使いこなしていただきたいという思いで、この note を開設しました。

「生成 AI って気になるけど難しそう…」「どうやって使うのかわからない」と思っている方や、「Gemini って何？」と思った方には、さまざまな活用方法や事例を通して、まずは Gemini に興味を持っていただきたいです。「生成 AI って面白い」「これなら自分にもできそう」と思える使い方がご紹介できるよう頑張ります！

すでにいくつかの記事が公開されている。次の2つの記事はGeminiビギナーに特にオススメだ：

• Gemini について全部解説！ 使い方やモデル、プランまで
• LLM の仕組みを押さえればさらに生成 AI を活用できる

海外SEO情報ブログの掲載記事からピックアップ

検索結果クリック調査と連続スクロール廃止の記事をピックアップ

• Googleの支配力： 60%の検索がクリックなしで終了

  さらに、すべてのクリックの約30%がグーグル所有のプラットフォームに誘導

  ★★★★☆

  • すべてのWeb担当者 必見！
• Google、連続スクロールを廃止。まずはPC検索で、来月にはモバイル検索でも

  読み込み速度を上げるためと、ユーザーに評価されなかったため

  ★★★★☆

  • すべてのWeb担当者 必見！

※このコンテンツはWebサイト「Web担当者Forum - 企業Webサイトとマーケティングの実践情報サイト - SEO・アクセス解析・SNS・UX・CMSなど」で公開されている記事のフィードに含まれているものです。
オリジナル記事：X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
Copyright (C) IMPRESS CORPORATION, an Impress Group company. All rights reserved.