ScrapyでPDFファイルをダウンロードする

私は、Scrapy、PythonのWebスクレイピングフレームワークを使用してサイトからpdfファイルを拝借しています。

あなたがpdfをダウンロードできるようにするには、同じセッションに従う必要があります。

それはすべての自動化されたのでScrapyのと素晴らしいですが、私は私のセッションをせずに、私は直接PDFにアクセスしようとすると私に偽のPDFファイルを与えるために、数秒後にスクリプトを実行するとき。

Why is that so & any idea how to overcome this problem!?

0
それらを遅く要求しますか?私は彼らが賭け率を制限していると思う。
追加された 著者 kindall,
あなたはそれについて正しいですが、それはより長い時間を必要とします - ブレーク&そのダウンロード速度私はPDFファイルの巨大な量をダウンロードする必要があるため、私の仕事を完了できません。
追加された 著者 Kex,

1 答え

私はサイトがあなたのセッションを追跡していると思います。それがPHPサイトの場合は、PDFファイルをダウンロードするリクエストにPHPSESSID Cookieを渡します。

0
追加された
JavaScript - 日本のコミュニティ
JavaScript - 日本のコミュニティ
2 参加者の

日本人コミュニティのjavascript