Googleサーチコンソールで6月末までは特に何もせずにインデックス登録されていたのですが、7月以降の記事がほぼ全量「検出₋インデックス未登録」になっており、いくらインデックス登録をリクエストしても登録されないので、調べて対処しました。
ステータスと発生した症状
- はてなPro、Googleアドセンス利用,
- 記事数は85ぐらい、インデックス登録済は70
- サイトマップは「/sitemap.xml」と各月の「sitemap_periodical.xml?year=yyyy&month=m」を登録
- 7月以降の記事がほぼ「検出-インデックス未登録」になった
「検出-インデックス未登録」のステータスは諸説ありますが、「サイトマップから検出されているものの、サイト側の負荷を鑑みてクロールが未済になっている」状況（あるいは、クロールの優先度が低いと看做されている状況）ということのようです。
（インデックス登録の必要性がない価値の低いサイトは「クロール済-インデックス未登録」になるので、そもそもクロールされていないのが原因）
特に7月以降に何か変わったという話もあまりなかったので、固有の要因と考えて、以下の①②の対処を行いました。
①はてな公式のアナウンスに沿ったサイトマップの登録修正
はてな公式のアナウンスでは、「/sitemap_index.xml」と「/feed」を登録することが推奨されていますが、サーチコンソールを使い始めた当初「/sitemap.xml」と各月の「sitemap_periodical.xml?year=yyyy&month=m」を登録した方が反映が早い、という記事を見て、後者のサイトマップを登録していました。
調べてみると、後者の方式で登録をすると、一定以上の記事がある場合に負荷の増大に伴い、クロールがされづらくなる可能性があるとのことで、急にインデックス未登録ばかりになった理由のひとつではありそうでした。
はてな公式でも推奨されていない方法なので、後者で登録した各月のサイトマップや「/sitemap.xml」をすべて削除したうえで、「/sitemap_index.xml」と「/feed」を再登録しました。
（「/sitemap_index.xml」と「/feed」以外をすべて削除しないと「/sitemap_index.xml」と「/feed」が機能しないので、面倒でもすべて登録しなおす必要があります。)
当初は失敗ステータスだったのですが、放置していたところ、数日でステータスが成功しましたに変わり、新しいサイトマップが有効に機能し始めたことが確認できました。
②記事URLをユニークなURLに変更
以前は個別に記事のURLをユニークなURLにしていたのですが、6月以降、ユニークなURLをつけるのがめんどうになったので、デフォルトの自動付与URLでの登録としていましたが、クロールの優先順位上、似通ったURLは低くなりやすくなる、といったような話もあったので、雑記記事を除いて、すべてユニークなURLとしました。
結果
上記対処後、1週間程度で2か月ぐらいまったく登録されなかったインデックス登録が進み始めました。
なんとなく、サイトマップ登録が主のポイントなような気がしているのですが、ユニークURLに変更した記事の方が早期に登録完了した（というか、雑記は今もまだ登録されていないものがある）ので、ユニークなURLにすることも、意味がないわけではなさそうな印象です。
とりあえず7月以降の雑記以外の主要な記事は登録され、インデックス済70⇒82まで進んだので、同様の症状が出ている場合、サイトマップの正しい登録とユニークなURLへの変更を行うと、何らかの効果はあるかもしれません。
＜関連記事＞