这篇文章主要为大家详细介绍了python 京东商品价格爬虫示例,具有一定的参考价值,可以用来参考一下。
对python这个高级语言感兴趣的小伙伴,下面一起跟随512笔记的小编两巴掌来看看吧!
闲着没事尝试抓一下京东的数据,需要使用到的库有:BeautifulSoup,urllib2,在Python2下测试通过
# @param 用python编写的抓京东商品价格的爬虫
# @author 512笔记|www.512PiC.com
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
def process_document(self, doc):
if doc.status == 200:
print ‘[%d] %s’ % (doc.status, doc.url)
try:
soup = BeautifulSoup(doc.text.decode(‘gb18030’).encode(‘utf-8’))
except Exception as e:
print e
soup = BeautifulSoup(doc.text)
print soup.find(id=”product-intro”).div.h1.text
url_id=urllib2.unquote(doc.url).decode(‘utf8’).split(&