できるだけ早くインデックスされるためにFetch as Googleを使います。インデックスというのは、Googleクローラーがページを巡回して集めてきたページがデータベースに格納されることです。サイトを新しく立ち上げたり、新しくページを作成してすぐにページにクロールして欲しいときにこちらからクロールを呼ぶことで、素早くクロールしてもらって、インデックスされるようになります。インデックスステータスの箇所では、現在のインデックス数を見ることができます。実際のページ数と差がある場合は、ページがあるのにインデックスされていないとか同一ページで複数インデックスされているなどが考えられるそうです。ページやXMLサイトマップを修正しましょう。実際のページ数とインデックス数にずれが出ないように頑張りましょう。
robots.txtについて
通常クローラーはリンクやXMLサイトマップをたどってやってきます。クロールしてほしくない管理画面やプログラム、価値のないページなどをブロックして除外設定をしておきましょう。robot.txtを作成する手順として、Googleヘルプ内を参照して、ブロックしたいページをDisallow://sample/と記載します。robot.txtという名前をつけて保存します。ファイルをサイトの最上位のディレクトリに設置します。最上位のディレクトリに設置しておけば、クローラに検出されるので、ファイルをアップするだけです。数千ページまでの中小規模のサイトであれば、Googleのクローラーは適切に処理してくれるそうです。XMLサイトマップを作ってクロールを促す程度で十分といえます。特定のページをブロックしたい場合は、robot.txtを使ってみましょう。
