スケジューリングスパイダーでScrapyのScrapydが遅すぎる

私はScrapydを実行しており、同時に4つのスパイダーを起動すると奇妙な問題に遭遇する。

2012-02-06 15:27:17+0100 [HTTPChannel,0,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:17+0100 [HTTPChannel,1,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:17+0100 [HTTPChannel,2,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:17+0100 [HTTPChannel,3,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:18+0100 [Launcher] Process started: project='thz' spider='spider_1' job='abb6b62650ce11e19123c8bcc8cc6233' pid=2545 
2012-02-06 15:27:19+0100 [Launcher] Process finished: project='thz' spider='spider_1' job='abb6b62650ce11e19123c8bcc8cc6233' pid=2545 
2012-02-06 15:27:23+0100 [Launcher] Process started: project='thz' spider='spider_2' job='abb72f8e50ce11e19123c8bcc8cc6233' pid=2546 
2012-02-06 15:27:24+0100 [Launcher] Process finished: project='thz' spider='spider_2' job='abb72f8e50ce11e19123c8bcc8cc6233' pid=2546 
2012-02-06 15:27:28+0100 [Launcher] Process started: project='thz' spider='spider_3' job='abb76f6250ce11e19123c8bcc8cc6233' pid=2547 
2012-02-06 15:27:29+0100 [Launcher] Process finished: project='thz' spider='spider_3' job='abb76f6250ce11e19123c8bcc8cc6233' pid=2547 
2012-02-06 15:27:33+0100 [Launcher] Process started: project='thz' spider='spider_4' job='abb7bb8e50ce11e19123c8bcc8cc6233' pid=2549 
2012-02-06 15:27:35+0100 [Launcher] Process finished: project='thz' spider='spider_4' job='abb7bb8e50ce11e19123c8bcc8cc6233' pid=2549 

私は既にScrapydのこれらの設定を持っています:

[scrapyd]
max_proc = 10

Scrapydがスパイダーをスケジュールどおりに速く走らないのはなぜですか?

6

2 答え

私は30行目のscrapyd/app.pyを編集して解決しました。

Changed timer = TimerService(5, poller.poll) to timer = TimerService(0.1, poller.poll)

編集: 構成設定に関するAliBZの下のコメントは、ポーリング頻度を変更するより良い方法です。

7
追加された
scrapyd によると、 poll_interval = 0.1 を、 /etc/scrapyd/conf.d/000-default にあるscrapyd設定ファイルに追加します。
追加された 著者 AliBZ,

scrapydでの私の経験から、あなたがスケジュールを立てるとすぐにスパイダーは走りません。現在のスパイダーが起動して実行されるまで、通常は少し待ってから、次のスパイダープロセス( scrapy crawl )を開始します。

したがって、scrapydは、 max_proc 数に達するまでプロセスを1つずつ起動します。

あなたのログから、あなたのスパイダーのそれぞれが約1秒間実行していることがわかります。私は、あなたが少なくとも30秒間動くならば、あなたはあなたのすべてのスパイダーが走っているのを見るでしょう。

4
追加された
うん私も同様に気づいたものです。結果を即時に表示するため、サブプロセスを実装しました.Popenコールは即座にスクレイプします。私はScrapydのスケジューラをどうにかスピードアップしたいと思っていました:)
追加された 著者 Sjaak Trekhaak,
私はscrapydが現在行っていることは論理的だと思います。これは、多くのスパイダーを同時に起動するシステムに過負荷をかけたくないため、実行する予定のスパイダーが重いものか軽いものかはわかりません。そういうわけで、それはクモを一つずつ動かすのです。あなたはscrapydコードを勉強することができますし、多分何かを微調整することができます。答えが役に立つと分かったら、アップしてください。
追加された 著者 warvariuc,