博主最近在跟@小伟学习Python，刚好有一个学习任务是爬取360影视的所有电视剧和电影的图片，播放链接，评分，名字。这个项目使用分布式+队列来做最好，但是我还没学到，所以勉强使用单线程来做一做看。以下代码基于Python3，只爬取了360看看电视剧板块的全部电视剧的名字、评分、图片链接及播放链接。这个代码还有许多不足，等我学一段时间再来改进一下。具体代码如下：
#author = Xiaofeng
import re
from urllib import request
from bs4 import BeautifulSoup
userAgent = “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36”
def fact(url): #主函数
data={}
html = request.urlopen(url)
soup = BeautifulSoup(html.read(),”html.parser”)
#获取名字
for namelist in soup.find_all(‘h1’):
name = namelist.get_text()
data[“名字”] = name
#获取评分
for grade in soup.find_all(attrs={‘class’:”s-title-right”}):
sorce=grade.get_text().strip()
data[“评分”] = sorce
#获取播放链接
for link in soup.find_all(attrs={‘class’:”g-playicon s-cover-img”}):
playurl = link.get(‘href’)
data[“播放链接”] = playurl
#获取图片链接
img = link.find_all(name=’img’)
for url_img in img:
imgurl = url_img.get(‘src’)
data[“图片链接”] = imgurl
return data
url = []
for i in range(1,26):
listurl = “https://www.360kan.com/dianshi/list.php?rank=rankhot&cat=all&area=all&act=all&year=all&pageno=”+”{i}”.format(i=i)
html = request.urlopen(listurl)
soup = BeautifulSoup(html.read(),”html.parser”)
#获取详细页的url
for postfix in soup.find_all(attrs={‘class’:”js-tongjic”}):
inurl = ‘https://www.360kan.com’+postfix.get(‘href’)
url.append(inurl)
num = len(url)
for i in range(num):
a=fact(url[i])
print(‘名字：’,a[“名字”])
print(‘评分：’,a[“评分”])
print(‘图片链接：’,a[“图片链接”])
print(‘播放链接：’,a[“播放链接”])
print(‘-‘*40)
以下是运行时的部分截图：
版权声明：本文为原创文章，版权归 Helo 所有。
商业转载请联系作者获得授权，非商业转载请注明出处。