Python、Cloud - スケジューリング機能を備えたオンラインWebスクレイピングツール

私は次のことをするpythonを使ってWeb/cloudアプリケーションを開発する予定です:
1. Perl/Pythonスクラップスクリプトをアップロードして実行します。
2.スケジュールで実行するアップロードされたスクリプト
3.異なる入力パラメータで同じスクリプトの複数インスタンスを実行します。
4.スクリプトのパフォーマンスを測定します。
5. View Scripts標準出力/ログ。

私は、自分の要件を満たすことができる技術について、限られた知識しか持っていません。 ヒント、ポインタ、既存のアイデア、ライブラリ、オープンソースの実装などが評価されます。

おかげさまで、
Rajesh。

1
あなたはこれを作ることができましたか?
追加された 著者 SRUCLA,
はいSRUCLAですが、別のアプローチで!
追加された 著者 Rajesh,

1 答え

作業の基盤としてScrapyを使用してください:

http://scrapy.org/

アップロード、スクリプトのパフォーマンスと出力(Webインターフェイスを介して私は仮定します)では、あなたがそれを探索することができるデータベースにこの情報を格納するカスタムWebフロントエンドを書く必要があります。これの1つのオプションはPyramidです:

http://pypi.python.org/pypi/pyramid/

Pythonクラウドの展開については、Herokuを参照してください。

http://www.heroku.com/

1
追加された
ミッコ大玉子ありがとうございます:)
追加された 著者 Rajesh,