博客

0. 数据：

来自知乎的爬取以及第六次人口普查的数据

1. 前期准备

导入相关库和设置程序运行路径

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

import os
os.chdir(r'C:\Users\86177\Desktop')
print('finished!')

–> 输出的结果为：

finished!

2. 加载数据及查看

add_data1 = pd.read_csv("爬取知乎数据.csv", engine = 'python')
add_data2 = pd.read_csv("六普常住人口数.csv", engine = 'python')
print(add_data1)

–> 输出的结果为：（直截取部分数据，add_data2数据是用来获取省份的）

3. 缺失值处理

从上面的输出中可以看到，缺失值有很多，但是这里分为数字字段的缺失值，和字符串数据的缺失值，比如前面的几个字段都是属于数字字段，后面的存在汉字的字段属于字符串类型的，那么就需要分来处理，直接封装一个函数如下

def Fill_Nan(df):
    cols = df.columns
    for col in cols:
        if df[col].dtype == 'object':
            df[col] = df[col].fillna('缺失数据')  
        else:                                
            df[col] = df[col].fillna(0)
    return (df)

after_data = Fill_Nan(add_data1)
print(after_data)

–> 输出的结果为：（也是截图部分数据）

4. 知友数量和密度

1） 统计一下知友的分布

这里就需要使用add_data2里面的数据了，用来获取省份数据和人口数量，然后和after_data分组后的数据合并后就可以得到知友在全国的分布了

df_city = after_data.groupby('居住地').count()
add_data2['city'] = add_data2['地区'].str[:-1]
data_merge = pd.merge(df_city,add_data2, left_index= True, right_on= 'city')[['_id','city','常住人口']]
data_merge['知友密度'] = data_merge['_id']/data_merge['常住人口']

–> 输出的结果为：（因为一个id就对应一个账号，所以可以用id字段的数值代替这个省市的知友数量，除以常住人口就是知友密度，下面只截图部分数据）




2） 查找top20的知友数量和知友密度的省份

从上面输出可以发现，知友密度的数量级是不一致的，为了方便对比以及制图，需要采用标准化的方式进行处理数据

def nor_data(df,*cols):
    colnames = []
    for col in cols:
        colname = col + 'nor'
        df[colname] = (df[col] - df[col].min())/(df[col].max()- df[col].min())*100
        colnames.append(colname)
    return(df, colnames)

finial_data, columns = nor_data(data_merge,"_id","知友密度")
finial_data_ql20 = finial_data.sort_values(columns[0],ascending = False)[['city',columns[0]]][:20]
finial_data_md20 = finial_data.sort_values(columns[1],ascending = False)[['city',columns[1]]][:20]

–> 输出的结果为：（左侧为各省市知友数量，右侧是知友密度，为了可视化数据，下面进行绘制图形展示）

① 知友数量

fig1 = plt.figure(num = 1, figsize=(8,3))
y1 =finial_data_ql20[columns[0]].values

ts = pd.Series(y1,index = finial_data_ql20['city']) 
ts.plot(kind = 'bar',
       title='知友数量',
        ylim = (0,110),
        rot = 45,  
        fontsize = 7,
        color = 'r',
        style = '--',
       )
plt.margins(0.015)
for i, j in zip(range(20), y1):
    plt.text(i-0.35,j+1.5, "%.1f" %j, fontsize=8)
plt.savefig("C:/Users/86177/Desktop/1.png",dpi=500,pad_inches=5) 

–> 输出的结果为：




② 知友密度

fig2 = plt.figure(num = 2, figsize=(8,3))
y1 = finial_data_md20[columns[1]].values
ts = pd.Series(y1, index = finial_data_md20['city'])
ts.plot(kind = 'bar',
       rot = 45,
       color = 'g',
        fontsize = 7,
       ylim = [0,110],
       title = '知友密度',)
for i, j in zip(range(20), y1):
    plt.text(i-0.35,j+3, "%.1f" %j, fontsize=10)
plt.savefig("C:/Users/86177/Desktop/2.png",dpi=500)

–> 输出的结果为：（可以看出北上广知友人数和密度都是杠杠的）

5. 知友的学历情况

下面代码完成的工作就是，按照’教育经历’字段进行汇总分组，然后在选择添加’关注’,‘关注者’两个字段的数据，接着是删除里面的包含’缺失数据’,‘大学’,’本科’等内容数据，最后按照’关注’字段进行排序并选取前20条数据

df_edu = after_data.groupby("教育经历").sum()[['关注','关注者']].\
				drop(['缺失数据','大学','本科',]).\
				sort_values("关注",ascending = False)[:20]

–> 输出的结果为：（截取部分数据）



绘制各大高校知友的关注人数和粉丝人数情况散点图

y = df_edu['关注者']
x = df_edu['关注']
follow_u = df_edu['关注'].mean()
fan_u = df_edu['关注者'].mean()
plt.figure(figsize=(8,5))
plt.scatter(x,y,s =y/1000,c=x,cmap = 'Greens')
plt.axvline(follow_u, label = '平均关注人数:{:.0f}人'.format(follow_u), color = 'r', linestyle = '--')
plt.axhline(fan_u, label = '平均粉丝人数:{:.0f}人'.format(fan_u), color = 'b', linestyle = '--')
plt.legend(loc= 'upper left' )
plt.grid(linestyle = "-",color='gray', linewidth=1,alpha = 0.4)
for i,j,n in zip(x,y,df_edu.index):
    plt.text(i+500,j+10000,n)
plt.savefig("C:/Users/86177/Desktop/3.png",dpi=500)

–> 输出的结果为：（可以出图中看出浙江大学的知友关注的和被关注的人数都是很多的，武汉大学和华科的知友关注的人数较多，但是粉丝人数却低于平均水平，北京大学的知友则处于这两类之间，剩下的几乎都是在平均值上下左右徘徊）