忍者ブログ
  • 2024.04
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 2024.06
[PR]
×

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

【2024/05/07 01:44 】 |
グーグル八分 グーグルボット
グーグル八分

Google八分(google ban)

グーグル八分とは、Googleにおいて、特定のページがフィルターされ、検索結果の上位に表示されない、または、まったく表示されないことを指します。

グーグル八分には、以下の2種類が存在するとされます。

1)GoogleがSEOスパムと判断したページ
2)他者からの通報や要請で、Googleが著作権法などで違法または不適切と判断したページ

2)によって実施されたグーグル八分の場合、検索結果ページ(通常は10件)に当該ページが含まれていた場合、それを表示せず、検索結果ページの最下部に以下メッセージが表示されます。

Google 宛に送られた法律に関するリクエストに応じて、検索結果のうち 1 件を削除しました。必要に応じて、ChillingEffects.org で削除が発生したことに至った苦情を確認できます。

★グーグル八分対策センター
http://www.google8bu.com/

★グーグル八分の確認と対応の方法
http://www001.upp.so-net.ne.jp/wakan/Others/Google-Removed.html

関連ページ(施策):
    SEOスパムについて

関連ページ(用語):
    SEOスパム


 SEO新時代   
 最強のSEO       
 クラウド       
 SEO情報宝庫   
 食洗機の情報   
 ウェブ担当者   
 SEO対策の辞典   
 最新SEO       


Googlebot

Googlebot(グーグルボット)

Googlebotとは、Googleが使用するクローラーの名称です。

Googlebotには複数の種類がありますが、主要なHTTP_USER_AGENTは以下です。

    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


○Googlebotのアクセス拒否またはアクセス間隔制御の方法

☆.htaccessによる方法

※サイトのトップディレクトリに保管する.htaccessファイルをウェブサーバーが読み取ってアクセス制御する方法です。
※ウェブサーバーの種類や設定状況によっては、使用できないことがあります。
※サイトのトップディレクトリに.htaccessファイルを保管できる権限が必要です。
※この方法が使用可能な場合、アクセス制御として一番確実な方法です。

★全アクセスを拒否(クローラー名称を指定する方法)
┌────────────────────────
│SetEnvIf User-Agent "Googlebot" deny_ua
│Order allow,deny
│Allow from all
│Deny from env=deny_ua
└────────────────────────
 ※ "Googlebot"は、Googlebotを識別可能なHTTP_USER_AGENT中の一部の文字列です。
 ※ HTTP_USER_AGENTが変更された場合などは、必要に応じて変更が必要です。

★全アクセスを拒否(IPアドレスを指定する方法)
┌────────────────────────
│Order allow,deny
│Allow from all
│Deny from IPアドレス1
│Deny from IPアドレス2
│ :
└────────────────────────
 ※ IPアドレスは、クローラーのIPアドレスを、「12.345.6.789」のように指定します。
 ※ 複数のIPアドレスを指定する場合、複数行を指定します。

☆robots.txtによる方法

※サイトのトップディレクトリに保管するrobots.txtファイルをクローラーが読み取ってアクセス制御する方法です。
※クローラーによっては、対応されません。
※Googlebotの場合、対応していることが、下方のURLに明記されています。(最短アクセス間隔には対応せず)
※サイトのトップディレクトリにrobots.txtファイルを保管できる権限が必要です。

★全アクセスを拒否
┌────────────────────────
│User-agent: Googlebot
│Disallow: /
└────────────────────────

★最短アクセス間隔を指定

 ※ Googlebotは、robots.txtファイルによるアクセス間隔指定に対応していません。
 ※ ただし、Googleウェブマスターツールの「クロール率」で「少ない」を指定できます。(下方参照)

☆メタ・ロボットによる方法

※HEADセクション内にメタ・ロボットが記述されたHTMLファイル(URL)をクローラーが読み取ってアクセス制御する方法です。
※HTMLのHEADセクション内に以下の行を追加できることが必要です。
※アクセス制御の対象とする全HTMLファイルに追加が必要です。
※クローラーによっては、対応されません。
※Googlebotの場合、対応していることが、下方のURLに明記されています。

★当該HTMLファイル(URL)のアクセスを拒否
┌────────────────────────
│<META NAME="GOOGLEBOT" CONTENT="NOINDEX,NOFOLLOW">
└────────────────────────

☆Googleウェブマスターツールによる方法

★アクセス間隔(クロール率)を指定

※Googleウェブマスターツールの「クロール率」で「少ない」を指定できます。

・サイト

├ 診断
│ ├ 概要
│ ├ クロール エラー
│ │ ├ ウェブ クロール
│ │ └ 携帯サイト
│ └ 運用ツール
│   ├ robots.txt 解析
│   ├ サイト確認の管理
│   ├ クロール率        ← ★ここ
│   ├ 使用するドメイン
│   └ イメージ検索の機能強化

***

★Googlebotのrobots.txtとメタ・タロボットの説明
http://www.google.com/support/webmasters/bin/answer.py?answer=35303

★Googlebotのアクセス制御用名称の説明
http://www.google.com/support/webmasters/bin/answer.py?answer=40364

★Googlebotのrobots.txtファイル仕様の説明
http://www.google.com/support/webmasters/bin/answer.py?answer=40362

★Googlebotのrobots.txtファイル仕様の説明(ワイルドカード文字)
http://www.google.com/support/webmasters/bin/answer.py?answer=40367

★Googlebotを説明するページの目次
http://www.google.com/support/webmasters/bin/topic.py?topic=8843


関連ページ(用語):
    Googleウェブマスターツール
    Google
    クローラー
    Yahoo Slurp
    msnbot
    Baiduspider
    NaverBot
    .htaccess
    robots.txt
    メタ・ロボット



PR
【2011/01/31 01:50 】 | 未選択 | 有り難いご意見(0) | トラックバック()
| ホーム | MFAとLPO>>
有り難いご意見
貴重なご意見の投稿














虎カムバック
トラックバックURL

| ホーム | 次ページ>>