スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
カテゴリー: スポンサー広告

クローラーとは

クローラー(Crawler)とは、検索エンジンにおいてウェブ上の
文章や画像などを周期的に取得し、
自動的にデータベース化するプログラムの事をいいます。

クローラーの主な存在理由は、
検索エンジンのデータベース、インデックス作成また、
統計調査などが挙げられます。

クローラーの動作としては、
既知のHTML文書の新しいコピーを要求し、
文章中に含まれるリンクを
たどって別の文章を収集するという動作を繰り返します。

その過程において新しい文章を見つけた場合は
その都度データベースに登録します。

逆に既知のファイルが存在しないことを検知した時点で
データベースから削除します。

クローラーは
webサイトにおいてテキストのみを判断するため、
SEO対策を考えた場合画像などにおいてもalt属性をいれ、
クローラーに認識してもらうよう
対策を講じる必要があります。

主なクローラーとして以下が挙げられます。
Googlebot (Google)
InfoSeek Sidewinder (インフォシーク)
Yahoo! Slurp (Yahoo!)
Slurp (Inktomi)
Scooter (AltaVista)
MSNBot (MSN)
Baiduspider(百度)
インターネットNinja

カテゴリー: アフィリエイトの始め方 | コメント: 0


この記事へのコメント

コメントの投稿

非公開コメント

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。