Google Dance(グーグル ダンス)黙示録

Googlebot一覧

Google Dance(グーグル ダンス)黙示録

グーグルダンス黙示録サイトは、「Google上位表示SEO」を意識しつつも、ストリクトHTMLによる正しいマークアップ、見出し段落を中心にコンテンツを作成。デザインやレイアウトは外部参照CSSにまかせ、アクセシビリティにも配慮している。Netscape 4.xをはじめいくつかのブラウザでは、CSSを読み込まず、管理人の意図通りには表示されない。つまりこの文章が見えている。アクセスメニューは最下部に表示される。

株式会社アルゴリズムが運営するSEO塾は、東京新宿・大阪梅田・福岡博多・広島福山でセミナー開催

検索エンジンのアルゴリズムを深く掘り下げ、ペナルティを速く発見。SEO塾セミナーは費用対効果バツグン

Yahoo!で突然、順位がダウンした! トップページが消えた!!
Googleで、何をやっても順位が上がらない! ディレクトリ丸ごとページが検索されなくなった!!

東京新宿、大阪梅田で、最高最強最新のSEO塾セミナーを随時開催いたします。

上位表示とリカバリー策は業界オンリーワン。よその「SEO対策」に失望したならSEO塾主催のセミナーへ

Googlebot(ロボット、スパイダー)の一覧

このページは、Googleの巡回ロボット、スパイダーである、Googlebot、クローラーについて解説している。サーバログなどに痕跡を残すUSER-AGENTやGooglebotのドメイン(ホスト名)とIPアドレスの一覧、メインクロールlまたはディープクロールとフレッシュクロール、DeepbotとFreshbot、その他のGooglebotなど。
なお、このページの情報は非常に古めかしくなったので、新しくページを追加している。Googlebot一覧(改訂版)へ。

crawlx.googlebot.com


Googlebotのホスト名とIPアドレス一覧 crawlx.googlebot.com
Crawl1 216.239.46.1 216.239.46.30 Crawl21 64.68.85.189 64.68.85.208
Crawl2 216.239.46.31 216.239.46.60 Crawl22 64.68.80.1 64.68.80.30
Crawl3 216.239.46.61 216.239.46.80 Crawl23 64.68.80.31 64.68.80.60
Crawl4 216.239.46.81 216.239.46.110 Crawl24 64.68.80.61 64.68.80.80
Crawl5 216.239.46.111 216.239.46.140 Crawl25 64.68.80.129 64.68.80.158
Crawl6 216.239.46.141 216.239.46.160 Crawl26 64.68.80.159 64.68.80.188
Crawl7 216.239.46.161 216.239.46.189 Crawl27 64.68.80.189 64.68.80.208
Crawl8 216.239.46.190 216.239.46.219 Crawl28 64.68.81.1 64.68.81.30
Crawl9 216.239.46.220 216.239.46.240 Crawl29 64.68.81.31 64.68.81.60
Crawl10 64.68.84.1 64.68.84.30 Crawl30 64.68.81.61 64.68.81.80
Crawl11 64.68.84.31 64.68.84.60 Crawl31 64.68.88.1 64.68.88.30
Crawl12 64.68.84.61 64.68.84.80 Crawl32 64.68.88.31 64.68.88.60
Crawl13 64.68.84.129 64.68.84.158 Crawl33 64.68.88.61 64.68.88.80
Crawl14 64.68.84.159 64.68.84.188 Crawl34 64.68.88.129 64.68.88.158
Crawl15 64.68.84.189 64.68.84.208 Crawl35 64.68.88.159 64.68.88.188
Crawl16 64.68.85.1 64.68.85.30 Crawl36 64.68.88.189 64.68.88.208
Crawl17 64.68.85.31 64.68.85.60
Crawl18 64.68.85.61 64.68.85.80
Crawl19 64.68.85.129 64.68.85.158
Crawl20 64.68.85.159 64.68.85.188



crawlerx.googlebot.com


Googlebotのホスト名とIPアドレス一覧 crawlerx.googlebot.com
Crawler1 64.68.86.1 64.68.86.30 Crawler10 64.68.82.1 64.68.82.30
Crawler2 64.68.86.31 64.68.86.60 Crawler11 64.68.82.31 64.68.82.60
Crawler3 64.68.86.61 64.68.86.80 Crawler12 64.68.82.61 64.68.82.80
Crawler4 64.68.86.130 64.68.86.158 Crawler13 64.68.82.129 64.68.82.158
Crawler5 64.68.86.159 64.68.86.188 Crawler14 64.68.82.159 64.68.82.188
Crawler6 64.68.86.189 64.68.86.208 Crawler15 64.68.82.189 64.68.82.208
Crawler7 64.68.87.1 64.68.87.30 Crawler16
Crawler8 64.68.87.31
64.68.87.60 Crawler17
Crawler9 64.68.87.61 64.68.87.80 Crawler18



Deep Crawl:Deepbot(ディープクロール:ディープボット)

Crawl1 〜 Crawl9

IPが216.239.46.xのGooglebot(グーグルボット)。
Google Dance終了後に活動を開始、Webページをインデックスし、キャッシュ、PageRank(ページランク)、バックリンクを確定させる。
Main Crawl(メインクロール)と呼ばれることもある。



Fresh Crawl:Freshbot(フレッシュクロール:フレッシュボット)

Crawler10 〜 Crawler15

IPが64.68.82.xのGooglebot(グーグルボット)。
ニュースサイトや頻繁に情報を更新するところは、Googleの月一のインデックス更新による検索表示では、何の意味もないため、ほぼリアルタイムで検索に引っ掛かるように、一日に何回もロボットを派遣してページをキャッシュしているとのこと。
結果表示画面で日付入りキャッシュになっているとか、48時間で消えてしまうとか、突発的に上位表示されるとか、様々な現象が見られる。
Freshbot来訪の条件については、PageRank(ページランク)や、ページの更新頻度や、色々取りざたされているが、確実なことは何一つ分かっていない(私だけか?)。
さらにはFreshbotが来る来ないだけでなく、Fresh Crawl(フレッシュクロール)によって取得したページが検索で表示される条件すら全く把握できていない。

日付入りとEverflux

フレッシュクロールによる日付入りキャッシュによって、瞬間的な順位変動が起こっている。
さらにEverfluxと呼ばれる現象もある。月一更新を待たずに、日付入りと違って流動的な順位変動が起こっている。フレッシュクロールによって、インデックスの追加、更新、削除が起こっているようである。ここでの順位は、バックリンクやPageRankの再計算は、当然行なっておらず、もっぱらテキストマッチのみと想像される。しかもアンカーテキストも、追加カウントはされていないはず。最近の探索で気付いたが、テキストマッチにはページ内記述とページ外アンカーの二つの要素があるが、両方ともEverfluxで反映している。とくにアンカーの変動は不思議でならない。



Image Crawl:Imagebot(イメージクロール:イメージボット)

Crawl10 〜 Crawl21 Crawler1 〜 Crawler6

IPが64.68.84.x64.68.85.x64.68.86.xのGooglebot(グーグルボット)"らしい"。

2003-09-12、Crawler1と2、8が巡回してきて、通常のファイルをGET。つまり、少なくともCrawler1・2はImagebotではなくなった、あるいはガセネタだったことになる。



Other Crawl:他のGooglebot

Crawl22 〜 Crawl30 Crawler7 〜 Crawler9

IPが64.68.80.x64.68.81.x64.68.87.xのGooglebot(グーグルボット)。
このGooglebotの役目、正体は何か?
IPを判断材料にするならば、これらのGooglebotはFreshbot、ホスト名ならCrawlxがDeepbot、CrawlerxがFreshbotになる。
Googleのサーバ(データセンター)のIPは、すべて216.239.x.xとなっている。ここから、同じIPではじまる216.239.46.xのみがDeepbotで、これらの64.68.x.xのIPを持つGooglebotはFreshbotと推察したい。



新種?

Crawl31 〜 Crawl36

IPが64.68.88.xのGooglebot(グーグルボット)。
正体不明、IPからはFreshbot?
2003-07-04に初登場。

Crawler1・2、 Crawler8

Crawler1・2はIPが64.68.86.x、Crawler8はIPが64.68.87.xのGooglebot(グーグルボット)。
情報によると、Crawler1・2はWebの画像を収集するImagebotと言われていたが、今のところ正体不明。IPからはFreshbotだろう。
2003-09-12に当管理サイト巡回



GooglebotのUSER-AGENTほか

USER-AGENT

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

他の検索エンジン

WEB雑記2 USER-AGENT(サイトを訪れるユーザーエージェントについて)

HTTPステータスコード

64.68.82.28 - - [07/May/2003:15:57:19 +0900] "GET /google/ HTTP/1.0" 200 36657 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
上記ログの「200」の箇所は、HTTPステータスコードという。「301」「302」「304」「401」「404」などと記録される。

ステータス・コード 意味 参照
200 OK Googlebotのファイル取得 HTTPステータス・コード
HTTPステータスコード
301 Moved Permanently 別のアドレスへ移動
302 Moved Temporarily 一時的に別のアドレスに移動
304 Not Modified 未更新
401 Unauthorized 認証が必要
404 Not Found ページなし



▲To PageTop