私はすべてのウェブサイトにあるはずのファイル

私はすべてのウェブサイトに存在するはずのファイルのリストを持っていたいと思います。アイデアはほとんどのブラウザとボットを喜ばせ、ログに404個のメッセージ数で降りることです。

これまで私は以下のファイルを持っています:

  • /favicon.ico
  • /robots.txt
  • /sitemap.xml
  • /apple-touch-icon-72x72-precomposed.png
  • /apple-touch-icon-72x72.png
  • /apple-touch-icon-precomposed.png
  • /apple-touch-icon.png

頻繁にリクエストされ、すべてのWebサイトにあるはずの他のファイルはありますか?

34
私はあなたを理解しています...しかし、私がさらに嫌うのは、私のApacheログに404メッセージです。
追加された 著者 Andrew Burgess,
@クリス:私が達成しようとしているのは、私と私の従業員が新しいプロジェクトで働くときに考えるべきことの何らかのチェックリストを持つことです。私たちはこれらのうちのいくつかを常に忘れており、私たちが何をし、何をしないかについていくつかの基準を設定したいと思います。しばしば小さな細部が違いを生むことがあります。そして、はい、ウェブサイトが数年間稼働していて、その後ログファイルを見て、エラーメッセージを見つけたという状況がありました。しかし、この場合私は他の方法があります。私はgrepなどを使用することができます404メッセージはそれほど迷惑ではありません。
追加された 著者 Andrew Burgess,
@ピハ:申し訳ありませんが、私はあなたを正しく理解していませんでした。今は明らかです。ありがとう。
追加された 著者 Andrew Burgess,
私はサイトのアイコンを自動的に探しているブラウザには問題がありません。ウェブマスターは、1ページごとに参照を入れる必要がないため、自動的にサイトのアイコンを探しています。しかし、私は、アップルがアルファチャンネルと複数のアイコンサイズをサポートするファビコンの標準に固執したと思う。
追加された 著者 Lèse majesté,
しかしこれは別の質問をする。あなたの主な関心事は「無関係な」404ログを減らすことです。ソートする必要がある正当な404ログがたくさんありますか?あるいは、他のエラーのログを並べ替えようとしていますか?
追加された 著者 user12093,
私はそれらを嫌い! WTF彼らは考えている?私はそれらを使用したい場合は、私はそれらを追加しているだろう...
追加された 著者 teekarna,
明確にする。私が嫌うのは、ユーザーエージェントがデフォルトでアクセスしようとしていることです。
追加された 著者 teekarna,
404は正直であると予想され、404は否定的なものではありません。 404を持っていて、ログがいっぱいになることを心配している場合は、データを1つの404ファイルにフレーズしてから、キーワードフィルタリングを使用してフィルタリングすることができます。
追加された 著者 Simon Hayter,

4 答え

私が知る限り、ボットやアプリはそこにいるはずがないと sitemap.xml を要求しません。ほとんどのサイトはおそらくそれを持っていないでしょう。サイトの多くはgzipを使い、多くはファイルを何か他のものに呼び出すか、サブマップにサイトマップを入れます。

私が知っているすべてのものがここにあります:

  • favicon.ico
    Gives your pages an icon in tabs, bookmarks, etc.
  • robots.txt
    Useful if you need to block any pages from search engines, but can be blank to allow access to everything. It can also contain the location for your sitemap.
  • Webmaster Tools verification files
    The easiest method of verification (saves having useless meta tags in your HTML code). There's google[hash].html and BingSiteAuth.xml. I have one for Yahoo in my root too but that's probably no longer needed.
  • crossdomain.xml
    This file is requested by Adobe Flash any time Flash needs to connect to your site. You will probably never see this file in your logs on a small site, but I had a bunch of requests for it on one site. You can just create a blank file since the default is to block access to external sites.
  • .htaccess (Apache)
    Obviously not requested by browsers/bots but vital for most sites.

最後に、iPhoneが要求していることを主張するアイコンに関して:リクエストされる可能性のあるサイズがいくつかあります。私のiPhone 3G(iOS 5)は57x57のバージョンを要求し、72x72と114x114(最も一般的)がエラーログに表示されます。したがって、ログからすべての404を削除したい場合は、覚えておいてこれらのすべてを提供する必要があります:

  • /apple-touch-icon-57x57-precomposed.png
  • /apple-touch-icon-57x57.png
  • /apple-touch-icon-72x72-precomposed.png
  • /apple-touch-icon-72x72.png
  • /apple-touch-icon-114x114-precomposed.png
  • /apple-touch-icon-114x114.png
  • /apple-touch-icon-precomposed.png
  • /apple-touch-icon.png
20
追加された
私は一度約1日1回sitemap.xmlをリクエストしていました。そして私は決してこのファイルをどこかに登録していません。だから、このボットはちょうどそれを推測していた。
追加された 著者 Andrew Burgess,
@DisgruntledGoat:更新していただきありがとうございます。私はそれらの他のサイズも存在することを知らなかった。
追加された 著者 Andrew Burgess,
Silverlightは clientaccesspolicy.xml も使用します。
追加された 著者 Lèse majesté,
+1 crossdomain.xml - 私には起こっていない、と含めるための素晴らしいアイデアです。
追加された 著者 Jacob Hume,

私はあなたがおそらくそれを持っていると思う。

あなたがそれを持たない(そしてそれにリンクしていない)場合、iOSはページのサムネイルを使用するだけです(個人的に、私はそれらを追加します)ので、アップルタッチのアイコンでさえ完全にnescessaryではありません。

favicon.ico と robots.txt sitemap.xml なども必要です。

3
追加された
これはリクエストを防ぎません。そのため、Raffaelがログに記録している404エラーが防げます。どのファイルが最も影響を与えるかに集中する場合は、あなたが正しいと言います。
追加された 著者 Jacob Hume,

私が気付いたもう一つのものは、IEによって要求されたいくつかの淘汰である browserconfig.xml です。血まみれのごみがログを埋める。

2
追加された
ありがとう。あなたはこのファイルに何が含まれるべきかを知っていますか?
追加された 著者 Andrew Burgess,

より新しいリンゴのバージョンは、これらのファイルを(この順序で)

  • /apple-touch-icon-120x120-precomposed.png
  • /apple-touch-icon-120x120.png
  • /apple-touch-icon-precomposed.png
  • /apple-touch-icon.png
1
追加された
ありがとう。これは、DisgruntledGoatからリストを拡張します。
追加された 著者 Andrew Burgess,