博客

由于我有一个喜欢看书的室友，最近比较闹书荒，我想着爬取一下豆瓣评分Top250的图书，看看他有没有想看的，我是本着学习的态度加双赢的结果（并不是为了装那啥。。。

爬取目标


+ 爬取豆瓣评分Top250的图书

+ 获取每本图书的详细信息

+ 把爬取结果存入Excel中

0、爬取效果

1、分析URL

爬取的目标url为，

https://book.douban.com/top250?start=0

，这也是一个多页的爬取，url的规则为，start=0,25，分别为第一页，第二页，分别对应着每页的25本图书

需要爬取的整体内容



这次采用的是BeautifuSoup

    def getBooks(self):
        pageCode = self.getPage()
        bsObj = BeautifulSoup(pageCode, 'lxml')
        for book in bsObj.findAll("td", {
  "valign": "top"}):
            if book.find('div',{
  'class':re.compile(r'pl[2]{1}')})==None:
                continue
            bookUrl = book.a['href'].strip()                #图书详细信息的链接
            title = '《' + book.a['title'].strip() + '》'     #图书标题
            detail = book.find('p',{
  'class':'pl'}).get_text().split('/')    #图书相关细节
            author = detail[0].strip()      #图书作者
            if len(detail)==5:
                translator = detail[1].strip()  #图书译者
                press =