python爬取网店数据_如何爬虫天猫店铺数据python

  • Post author:
  • Post category:python


展开全部

本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫,爬虫运行只需要输入相应店32313133353236313431303231363533e78988e69d8331333365636562铺的域名名称即可,信息将以csv表格的形式保存,可以单店爬取也可以增加一个循环进行同时爬取。

源码展示

首先还是完整代码展示,后面会分解每个函数的意义。

# -*- coding: utf-8 -*-

import requests

import json

import csv

import random

import re

from datetime import datetime

import time

class TM_producs(object):

def __init__(self,storename):

self.storename = storename

self.url = ”.format(storename)

self.headers = {

“user-agent”:”Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 ”

“(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1”

}

datenum = datetime.now().strftime(‘%Y%m%d%H%M’)

self.filename = ‘{}_{}.csv’