駿河屋( http://www.suruga-ya.jp/ )の商品一覧ページを簡単にスクレイピングするためのライブラリです。
pip install git+https://github.com/takeshi0406/surugayaparser
このようなコードで、簡単に商品情報を取得することができます。
デフォルト引数では、1ページ分を1秒間隔で取得する設定になっています。
from surugayaparser import SurugayaParser
instance = SurugayaParser()
# 欲しい商品一覧ページのGETパラメータを設定("page="のパラメータは消しておいてください)
getparam = 'category=11010200&search_word=&adult_s=1&' +\
'grid=t&rankBy=modificationTime%3Adescending&' +\
'restrict[]=hendou(text)=%E6%96%B0%E5%85%A5%E8%8D%B7'
instance.set_target_url(getparam)
# 3ページ分(pages=3まで)取得する
items = instance.request_items(pages=3)
print(items)
このような商品情報の辞書が、リストに入って返ってきます。
{
'title': 'Silly Walkerなりのポップナンバー。 / Silly Walker',
'maker': 'Silly Walker',
'price': '¥300税込',
'link': 'http://www.suruga-ya.jp/product/detail/186101549001',
'picture': 'http://www.suruga-ya.jp/database/photo.php?shinaban=186101549001&size=l',
'price_teika': None
}