この "robots.txt"ファイルは実際に私たちのウェブサイトのすべてのクロールを防止していますか?私はなぜ私たちのSEOがとても貧しいのかを見出そうとしています

だから私は私たちのSEO(私はいくつかの領域がありますが、驚くべき能力はありません)を見ています。私が気づいた最初のことは、robots.txtファイルに次のようなことが書かれています。

# go away
User-agent: *
Disallow: /

今、私はコンピュータを読むのにかなり有能で、私が知る限り、これはすべてのスパイダーがルートディレクトリまたはそれ以下で何も見てはいけないと言います。

私はこれを正しく読んでいますか?それはちょうど狂気のように思えるので。

7

2 答え

たぶん、誰かがスパイダートラフィックを支払うことを望まないだろうか?

それにかかわらず、正しく読んでいます:

http://www.robotstxt.org/robotstxt.html

Webサイトの所有者は、/robots.txtファイルを使用して、   彼らのウェブロボットのサイト。これは「ロボットの除外」と呼ばれています   プロトコル。これは好きです:ロボットがウェブサイトを開拓したい   URL( http://www.example.com/welcome.html )それをする前に、それは   firstsは http://www.example.com/robots.txt を確認し、次を見つけます:

 User-agent: *
 Disallow: /

"User-agent:*" は、このセクションがすべてのロボットに適用されることを意味します。ザ    "Disallow:/" は、ロボットがどのページにもアクセスしないように指示します。   サイト

10
追加された

私は、この種のrobots.txtを最初にサイトを開発するときに配置しました。なぜなら、準備が整う前にGoogleや他の人がインデックスを作成したくないからです。

私はまた、サイトがライブになった後で編集することを忘れてしまった。 * facepalm *

1
追加された
この問題は、これが15年以上にわたり約35人の従業員を抱え、数百万ドルのウェブデザイン会社のサイトであることです!
追加された 著者 Steve g,
うーん、チョーク、ROFL
追加された 著者 Kiran,