ぼっちバイカーのブログ

KTM 250EXCでオフ車を楽しむ初心者バイカー。家庭もバイクも両立して楽しみたい!そんな野心を秘めた趣味ブログ。バイクは2018年でおしまい

はてなブログでHTTPS化したら人気ページがGoogleのインデックスから外れた話

こんにちは。ぼっちバイカーです。

珍しくブログ運営のお話。

タイトルの通り、一部のページ(それもアクセスがたくさんあった記事)が突然ページ検索できなくなってしまいました。

原因を調べ対策をしてみたので記事にします。

SSL対応したら人気ページが検索でヒットしなくなった

7月に「ぼっちバイカーのブログ」をHTTPからHTTPSへ、いわゆるSSL対応をしました。

www.botti-bk.com

その後、アクセス数が急遽増減することもなく安心していたのですが昨日衝撃の事実に気づいてしまいました。

なんと、このブログで一番アクセスを稼いでくれていた「【2年経ってわかった】僕がストライダーを買わなくて良かったと思った7つの理由 - ぼっちバイカーのブログ」が検索に引っかからなくなったのです。

今まで「ストライダー」で調べるとトップ3位くらいにいたのに、1ページ目どころか2ページ目にも見つからず。ページがそもそもGoogleから外されている状態であることがわかりました。

結果このページのアクセス数は・・・

f:id:botti_bk:20180810125111p:plain
完全に死亡してる・・・マァァーーー!?

アフィリエイトで生計を立てているわけではないので死ぬわけではないですが、頑張って書いた記事だし自分の子供のような想い入れがあったこともあり、否定されたようで結構ショックを受けましたね。。。

まずは落ち着いて現状把握

「Google神にBANされた!?」「ストライダー社の怒りを買って大きな力が動いたのか!?」

などと意味の分からない被害妄想に取り憑かれつつ、まずは現状把握。

他のページはアクセスされているしアクセス数が大きく減っているわけではない模様。なので「一部のページがGoogleの検索対象から外れている」という現象だと判断し調査することに。

調査より記事を書きたいんですが・・・背に腹は変えられない!これもブロガーの仕事!むしろこの調査も記事にすればいいじゃない…じゃない…

Googleにインデックス登録されてないことが原因か

まずは同じ事象をググって他の知恵を頼ってみたものの、この現象についてズバリ書かれている記事を見つけることができなかった。

ので覚悟を決めて問題解決に当たります。

「Googleでヒットしない」ということは「Googleのインデックスに登録されていない」と言うことだと思います。

f:id:botti_bk:20180810124842p:plain
放て!心に刻んだ夢を ...

インデックスについては・・・Googleで調べてみて?

インデックスされているか簡単に確認する方法

インデックスされているかを簡単に確認する方法があります。それは、

Google検索画面で"info:【URL】"と調べる

だけ。で、普通はこんな感じでURLページがヒットします。

これが正しいinfo:検索結果
これが正しいinfo:検索結果

で、検索でヒットしないページでやってみると・・・

インデックスされていないURLした結果
インデックスされていないURL検索した結果

何も出ない・・・

やっぱり Googleのインデックスに登録されていない。これが原因のようですのでインデックスに登録すれば解決しそう。

方針

流れをザックリ書くと

URLでGoogleインデックス登録状況を確認

Googleにインデックス登録依頼を出す(フェッチする)

です。

Gogleのインデックス登録状況を確認する

インデックス登録されているか調べるには、上記"info:"でも調べられますが、より詳細な情報を調べることができます。

それをやるには、新しいSerach Console(サーチコンソール)を使います。

新しいSerach Consoleを使う

GoogleのSerach Console(サーチコンソール)というツールがありますがこれを使うことでGogleのインデックスについて確認したりリクエストを出したりできます。

新しいSearch Consoleを使うには、まずサーチコンソールにログインします

すると「新しい Search Console を試す」と言うリンクがあります

f:id:botti_bk:20180810115753p:plain
ここ

f:id:botti_bk:20180810115931p:plain
新しいサーチコンソール画面

で、上の検索窓にURLを突っ込むだけ!

f:id:botti_bk:20180810130234p:plain
簡単!

これで結果がわかります。

f:id:botti_bk:20180810121425p:plain
データ取得中・・・

そして・・・

f:id:botti_bk:20180810121450p:plain

Google「URLがGoogleに登録されていません」

僕「知ってた」

詳細を見ると・・・

f:id:botti_bk:20180810121542p:plain
インデックスを許可の項目が「いいえ」に。noindexタグが検出されたとの事

noindexタグとは「Google先生!このページはインデックスに登録しないでください!」と言うことを伝える時に使うタグ。ヘッダーに入れることが多いようです。意図的にインデックスしないならこれは正解ですが僕は何一つとしてそんな登録はしていない。全部インデックスしてほしいのです。

robots にそんなこと書いた記憶はないし確認してみてもやっぱり書かれてない。URLページのソースコードを開いて「noindex」と検索してもヒットしない。

なんだこの状況・・・

とりあえず「インデックスされていないページ」であることが確定しました。

インデックスされていないページを一発で全て知る方法

とはいえ一々URLをコピペして調べたりなんかしたくない!

いろいろいじっていたらGoogleにインデックスされているかを「サイト内を一発でまとめて調べらる方法」がわかりましたので紹介します。これをやればあなたのページにどのくらいインデックスされていないページがあるかがすぐわかる。

まず、新サーチコンソールのトップページに戻ります。そして、

ここで左メニューの「インデックス カバレッジ」をクリック

f:id:botti_bk:20180810115958p:plain

こんな画面が出ます。で右側の「除外」をクリックすると・・・

f:id:botti_bk:20180810120105p:plain
ででん

インデックスから除外されたページのグラフが出ました。こんなに除外されてるのか・・・

f:id:botti_bk:20180810120247p:plain
303ページも!?

うれしことにURLの内訳が見ることができます。しかも除外理由ごとに!!!

除外理由がnoindexのページが20もあった

除外理由はいろいろですがページによっては重複していてどっちが正式なページがわからないこともある模様。インデックスしなくて良い、つまり除外して正解なページもあります。

で今回は「noindex タグによって除外されました」のページ。こいつらはインデックスに登録したいのです!!

f:id:botti_bk:20180810120326p:plain
noindexのページが20もある!!

見てみると・・・

f:id:botti_bk:20180810120821p:plain
デデドン!!

これ全部インデックスされていないページです。見てみると結構アクセスを稼いでくれているページもたくさんある。なんでドボジて・・・

い、いつからnoindexだったのかな?

f:id:botti_bk:20180810120726p:plain
7/1にバーっと増えて、7/15にまたバーと増えた模様

原因はさておき対処していかなきゃ!!

対策(Googleにインデックス登録のリクエスト)

noindexで除外されたページ一覧画面で対応したいURLをクリックします。

f:id:botti_bk:20180810121049p:plain
右にメニューが出る

今度は「FETCH AS GOOGLE(フェッチ アズ グーグル) 」をクリック。

f:id:botti_bk:20180810121800p:plain
クリックするだけ。簡単。

なおフェッチとは情報をデータを持ってくると言うこと。Googleに「URLのデータを持ってきて!」と命令すると言う意味です。

すると、新しいページが開かれ(古いサーチコンソール画面)ます。URLは入ってるのでそのまま「取得」ボタンをクリック。

f:id:botti_bk:20180810122035p:plain
Fetch as Googleの画面

するとリスト登録されるので、ここで今度は「インデックス登録をリクエスト」をクリックします。

f:id:botti_bk:20180810122229p:plain
これ

こんな画面が出ますがキャプチャを済ませ、チェックはそのままで「送信」をクリック。

f:id:botti_bk:20180810122332p:plain
送信

するとステータスはこんな感じになります。

f:id:botti_bk:20180810122401p:plain

これでOK。あとは数時間待てばインデックスに登録されます。僕は1時間くらいで検索でヒットするようになりました。

これで一安心です。

結局原因はなんだったの?

インデックス登録されていなかったことが原因ですが、そもそもなんでそうなったのでしょうか?

と言うか、インデックスされていないならSSL化したらすぐに検索結果に出そうなものですが、今回は7/1から2週間かけてじわじわインデックスから消えていくような感じでした。

ここからは邪推ですが、Googleにはインデックスには「短期的なインデックス」と「長期的なインデックス」があるようです。で、SSL化してしばらくは短期的なインデックスのおかげで生きていたけど、長期的なインデックスにはnoindexとなっていたためか登録されていなかったのかなって。

つまりSSL化した時に正しく全部のページをインデックス登録できていなかった可能性が高い。

短期的なインデックスだけに登録されているとしたらまた消える可能性もある。あと1ヶ月くらいはちょこちょこ気にしてあげようと思っています。

サイトマップ不具合?

あと、関係あるか不明ですが、サイトマップが一部登録されていないことがわかりました。

f:id:botti_bk:20180810124238p:plain

ん?

もしかしたらこれのせいでページ情報が正しくインデックスされていないのでは?

なぜ失敗するのかははてな社のユーザーサポートへ投げてみたので回答を待ちたいと思います。

(2018/8/13追記)

はてな社からの回答はまだ来ていませんが、サーチコンソール上で多少変化が。

[f:id:botti_bk:20180813134841p:plain

全てではないですが、幾つかの項目がサイトマップ登録できていました。

旧サーチコンソール上から「再送信」する事で改善するようですのでこちらもしばらく様子を見ていきます。

(2018/8/22追記)

一週間ほど様子を見たところ本来の順位まで戻ってきました。

アクセス数も底上げされた感もあり、ヨカッタヨカッタ!!!

まとめ

はてなブログで独自ドメインを使っている方は7月にSSL化された方も多いと思います。

僕がたまたまなのかもしれませんが、HTTPS化したことで20ページほどがGoogleのインデックスから外れてしまい、Google検索でヒットしなくなってしまいました。

URLをフェッチするようGoogle Search Consoleでリクエストを出せば少なくとも一時的には解消するはずなので、同じ現象の人は試してみてください。

また「最近なんかアクセス数が減ってる?」と感じた方は新しいサーチコンソールで一度「インデックスのカバレッジ」を見てみるといいかもしれませんよ!!

ブログは趣味ですがアクセス数が多いことに越したことはない。アクセスできる可能性は最大限増やしておきたいですね。

こんな感じ。

PVアクセスランキング にほんブログ村