Scrapy(python 2.7)を使用して動的Webコンテンツをダウンロードする

私はこのプロジェクトに戻ってきました(動的コンテンツを網羅したWeb)、私はこのチュートリアルを続けましたが、私はそれを完了できません。

scrapy フレームワーク0.14でPython 2.7を使用しています

私のプロジェクトでは、明らかにデータを得ることが最も重要なポイントです。この例では、実際に画像をダウンロードすることができませんが、動的データをajaxでプルダウンするサイトを掻き集める技術を理解するようになります。

スクレイパーはコマンド(Windows 7のcmd.exe)で実行されます:

scurs runspider nasa.py

実際には何もダウンロードしません(データの解析のみ)

何か不足していますか?これは私が非初心者の領域に逃げ出し、確かに迷子になっている最初の本当のプログラミングプロジェクトです。

これはチュートリアルです:

Scraping ajax with Scrapy

スクリプトがイメージをローカルストレージにダウンロードできるようにするための正しいコードに関するアドバイスはありますか?

ありがとう:)

0

1 答え

あなたの設定で

追加する

IMAGES_STORE = 'you dir path where you want to download images'
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] #enable image pipline

あなたのアイテムの image_urls

追加する images urls your in image_urls # should be treated as a list in your program

suggested study

1
追加された
乾杯、これは正しい方向に非常に良い点です。 :)
追加された 著者 Joseph,