Warning: file_get_contents(https://publish.twitter.com/oembed?maxwidth=550&dnt=true&url=https%3A%2F%2Ftwitter.com%2Fcotonou1113%2Fstatus%2F971820908779155456): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden in /home/shthsh/affiplus1.com/public_html/wp-content/themes/cocoon-child-master/functions.php on line 23
Warning: file_get_contents(https://publish.twitter.com/oembed?maxwidth=550&dnt=true&url=https%3A%2F%2Ftwitter.com%2Fafi_mina%2Fstatus%2F972352697440456704): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden in /home/shthsh/affiplus1.com/public_html/wp-content/themes/cocoon-child-master/functions.php on line 23
こんにちは、あすてるです。
直近数日間、Fetch as Googleでクロールのリクエストを送信しても一向にインデックスに反映されない…という問題が多発しています。
最初は私だけかと思っていたのですが、どうやら世界的に問題になっているようなので、詳細を記事にまとめてみました。
Fetch as Googleとは？軽くおさらい
この記事を読んでいて知らない人はいないと思いますが、一応今回のお話をする上で軽く復習を。
『Fetch as Google』とは、GoogleのSearch Consoleで提供される機能のひとつです。
URLを送信することでクロールのリクエストを送って、いち早いインデックスへの登録を促すことができます。
新しく記事を書いたときやタイトル・コンテンツに変更を加えたときなど、その変更をより早く検索結果に反映させたいときに有効な、非常に便利なツールです。
Fech as Googleの画像
またトレンドネタなど速報性が高い記事を作成したときにも、Fech as Googleでインデックスにいち早く反映させることでより多くのアクセスを自サイトに呼ぶことが可能になります。
特に立ち上げばかりのサイトはどんなに一生懸命記事を書いてもなかなかクローラーも回ってきてくれませんから、コンテンツが自然にインデックスに反映されるのを待っていると何日も、何週間も経ってしまう可能性すらあります。
そんな立ち上げ初期の弱いサイトでもチャンスを逃さず、より早く、より大きな需要を取り込めてサイトの成長を助けになるのがFetch as Googleなわけです。
2018年3月頃からインデックスが急激に遅くなった
ここで注意しておきたいのが、Fetch as Googleで送信するのはあくまでそのページをインデックスに登録してくださいというリクエストだということ。
つまり命令ではなくお願いなので、送信したところで必ずクロールしてインデックスに登録してくれるという保証はないんですね。
…保証はないのですが。
実際問題として、これまでは早ければ数秒～数分、遅くても数時間以内にインデックスに登録されるということがほとんどでした。
しかし一転、2018年の3月頃からどんなにFetch as googleを送ろうともうんともすんとも言わず、何日も新しい記事がインデックスに登録されないという現象が頻発しました。
人によって微妙に違うので正確な日時はわかりませんが、正確な私がこの現象を確認したのは3月4日頃でした。
当初私は立ち上げたばかりのサイトに集中して記事入れしていたので、
「あれ、なんかインデックス遅いけど気のせいかな？」
「いやまあドメインも全然育っていないしこんなもんだろう…」
と一人で思っていたのですが。
調べてみるとどうやら私のサイトだけの問題ではなく、日本中どころか世界中で問題が起きていたみたいです。
Tweetを表示
今日は頑張ってサテライトも含めて10記事を書き上げた。が、なぜか最近「Fetch as Google」でインデックス登録しても全くインデックスされない件。つか、頑張った意味ねぇーじゃん（笑）( *´艸｀)#最近インデックスが遅い
— タイ在住わらしべ長者【筋トレ日記】 (@warashibe76) March 6, 2018
新規記事がfetch as googleしてもサイトマップ再送信しても全然インデックスされなくなって心配してたんだが。他の人も同じ状況のようで安心した。
3/4からなので、そろそろインデックスされてほしいなぁ。— クミン (@takuminish) March 6, 2018
Fetch as #Google and Submit URL, currently not working or helping to fast indexing new pages. Many #webmasters reported the same problem. Is there any Google updates in progress? Maybe…
— Ahmed Sheta (@OfficialSheta) March 8, 2018
Fetch as googleのリクエストがインデックスに反映されない原因
2018年3月に突如として問題が発生したFetch as Google。
原因があるなら究明して解決したいので、私なりに色々と調べてみました。
2月の仕様変更に関係が？
まず一番に考えられたのがFech as Googleの仕様変更です。
Fetch as Googleは2018年2月に大幅な仕様変更をしています。
それが1日当たりの送信数の制限です。
これまでFetch as Googleは1アカウント1ヶ月（30日間）当たりの送信上限を500件と定めていました。
それが2月の下旬に、1日当たり10件までと条件を変更。
これまで月間500件だったものが月間300件までと3/5に減ったわけですから、けっこうなインパクトある変更ではないでしょうか。
※ただし『このURLと直接リンクをクロールする』の上限は月間10件から1日2件（月間60件）に大幅増
で、この背景にあるのがFetch as Googleの乱用です。
かねてからGoogleはFetch as Googleのスパム的な濫用について言及してきました。
だから件数の引き上げ予定もないと、Googleのジョン・ミューラー氏が2017年10月に発言しています。
Most of the ones we see with higher usage are just spam, so I doubt it :). I’d just use sitemaps for normal updates.
— 🍌 John 🍌 (@JohnMu) 2017年10月3日
ただしツイッター上で言及されている『このURLと直接リンクをクロールする』についてはさきほども説明したように件数が増えていますが…。
単純にクロール依頼を出せるURLの件数は引きあがるどころか大幅減少しています。
また通常の更新であればサイトマップだけで十分だとも言っていますね。
つまりFetch as Googleは元々、緊急性や重要性の高いときのみ使用することを推奨されているということです。
（もっとも私たちからすれば基本的に記事更新後はいち早くインデックスしてほしいわけですし、いつも緊急性は高いのですが…）
ともかく、2018年2月にFetch as Googleは大きな仕様変更がされたという事実があり、私たちがわかる送信上限の変更以外にも、裏で色々な変更がなされている可能性は大いにあります。
そしてその影響で、今回のインデックス遅延問題が起こっているのでは？という見方もあるようです。
サーバーのアクセス障害の影響？
また、インデックスが遅くなった理由としてGoogleのヘルプフォーラムで「サーバーの障害が原因では？」とアドバイスしている人もいました。
質問者はエックスサーバーを利用していて、エックスサーバーは直近で障害が多発していることからクローラーがアクセスを控えているのでは、と。
日本のGoogleフォーラムに投稿された質問
ただ私はこの線は薄いかなと思っています。
たしかに最近エックスサーバーで障害情報が若干増えた感はありますし、実際にインデックスが反映されない私のサイトもエックスサーバー上にあります。
ただ短時間の障害はこれまで何度も起こっていることですし、それはメジャーなレンタルサーバーならエックスサーバー以外も同様でしょうから、それだけでクローラーが一斉に来なくなるか？と。
何より海外でも同様の問題が多数報告されていることと辻褄が合いません。
今回の事象は海外でも多数報告されていました。
海外のGoogleフォーラムの様子
海外のgoogleフォーラムの様子
質問や回答の全文は実際にフォーラムを覗いてみてほしいのですが、質問者側はかなり温度感高めですね…。
まあ回答している人が的外れなことを言ったり他人事感が強い（実際他人事ですが）のでよりイラつくんだと思いますが…（笑）
で、上の質問者たちがエックスサーバーを利用しているかというと…？
たしかにエックスサーバーの契約自体は海外からでもできるようですが、WEBサイトを立ち上げるときにわざわざ外国人が好んで日本のレンタルサーバー会社を選ぶことは稀でしょう。
おそらく海外フォーラムの質問者の中で、エックスサーバーを契約している人は一人もいないと思います。
ですから単にレンタルサーバーの障害だけで、ここまで世界で同時多発的に問題が起きるとは考えにくいです。
今できる対策は？
原因を色々と調べたり考えてみたものの、いまいちしっくりと来るものはありませんでした。
まずサーバーの問題ではないだろうし、仕様変更だとしても疑問が残ります。
乱用を控えたいならそれこそ1日1件までに制限しつつ複数アカウントを弾く方法もあるでしょうし。
究極的には機能を廃止すればいいわけですから、形だけ残して裏でこっそり仕様変更する意味も分かりません。
明らかな仕様変更ならアナウンスもあるでしょうし、いくら見た目は以前のままでも多くの人が利用している機能ですから、今回のように異変があれば必ず気づかれます。
そう考えると何か一時的に変更を加えている最中とか、不具合が起きている可能性のほうが高いのではないでしょうか。
ただそうなると困るのが対策です。
原因がはっきりとしていればまだ対策や代替手段の考えようもあるわけですが、原因すらわからない現状では、対策のしようもありません。
多くの人がこの現象に遭遇して困っている一方、影響なく今まで通りの速度でインデックスされるという人もいます。
また手持ちのサイトが全部ダメ、一部のサイトだけダメ、なんて感じで人によって程度もバラバラです。
いずれにせよ「なぜかFetch as Googleが使えない（使えるけど実質的に機能していない）」という事実が存在するだけで…私たちができることはありません。
ですから今私たちにできることといえば、粛々といつもどおりに記事を更新していくことでしょう。
今回の問題でも、被害（影響）を受けずに今までと変わらずインデックスされているサイトもあります。
どこに差があるかはわかりませんが、比較的若いサイト、弱いサイトは影響を受けていて、すでに育っているサイト、つまりGoogleから評価されているサイトは影響が少ない傾向がありそうです。
もっともこれはFetch as Googleを使うまでもなく、コンテンツを投稿するたびにクローラーが回ってくるような状態になっているからかもしれませんが。
※3月14日追記：一部の人から『Fetch as Google』が元通りに機能し始めた、という情報が出ています
fetch as googleが復活していますね…。すごく早く記事をインデックスしてくれています…。これがないと弱小サイトは本当に終わりなので、どうかこのままでいてほしいです…。
— なかよし討議！ (@NakayoshiTogi) March 9, 2018
Tweetを表示
ただこのツイートが出た以降も日本国内外で不具合を訴える人が圧倒的多数なので、根本的な解決はされていないように思われます。
私自身のサイトでも検証しましたが、稀にすぐにインデックスされるサイトもあるものの、今まで通りとはなっていない気がします。
なんかブログ記事がGoogleのインデックスに登録されないな。Fetch as Google したのに。数日かかっている印象。
— fnya (@fnya) March 11, 2018
逆に、Bingが拾っていてびっくりするｗ💦
But, the new pages got indexed after 2-5 days, so what about trending news articles. This type of content works perfect in 1st 24 hours.
I see the G-bots via live traffic, but they didn't add the new articles to index. And Fetch As Google and Submit URL doesn't help anymore.
— Ahmed Sheta (@OfficialSheta) March 11, 2018
"Fetch as Google", of Search Console, is broken days ago. @Google will this be something definitive or maybe it's a bug 'cause of the update?
— Jairo Cortés (@agoseorat) March 12, 2018
いずれにせよ、インデックススピードを上げたいなら現状では私たちもしっかりとしたコンテンツを作り続けてGoogleに認められるしかない、というわけですね。
（…本来ならそのためにも、むしろ立ち上げ初期のサイトで積極的にFetch as Googleを使いたいところなのですが…）
こればかりは考えていても仕方がないことですので、とにかく今やれることをやるしかありません。
全くインデックスに登録されないというわけでもありませんから、投稿したコンテンツが無駄になるわけでもありませんし。
このまま何もわからないまま、実質的に機能が使えないままの状態が続くとも思えませんし、近々正式にアナウンスがあるかもしれません。
それまでは動向を注視しつつ、今まで以上にコンテンツの質を追求して作っていきましょう。
０から月収10万円を達成するメール講座！
アフィリエイト初心者でもゼロからアフィリエイトを体系的に学べるメール＆動画講義を作成しました。
登録者限定のプレゼントもご用意していますのでぜひ活用してくださいね。
コメント