【Python数据分析与可视化】Pandas数据载入与预处理-实训

导包

import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei']#显示中文标签
plt.rcParams['axes.unicode_minus']=False #显示负号
%matplotlib inline

读取数据

f1=pd.read_excel('tips_mod.xls')
f1.head()

分析数据

1、查看数据的描述和统计信息；

f1.describe()

2、显示聚餐时间段time的不重复值；

unique_time=f1['time'].unique()
unique_time

array(['Dinner', 'Diner', 'Dier', nan, 'Lunch'], dtype=object)

3、修改拼写错误的字段值；

f1=f1.replace({'Diner':'Dinner','Dier':'Dinner'})
unique_time=f1['time'].unique()
unique_time

array(['Dinner', nan, 'Lunch'], dtype=object)

4、检测数据中的缺失值；

f1_null=f1.isnull().sum()
f1_null

total_bill    8
tip           8
sex           5
smoker        3
day           2
time          5
size          4
dtype: int64

5、删除一行内有两个缺失值的数据；

nan_list=[]
for i,row in f1.iterrows():
    if row.isnull().sum()==2:
        nan_list.append(i)
print(nan_list)
f1.drop(index = nan_list)
f1.isnull().sum()

[16, 23, 27, 42]





total_bill    8
tip           8
sex           5
smoker        3
day           2
time          5
size          4
dtype: int64

6、删除sex或time为空的行；

f1.dropna(subset=['sex','time'],axis=0,how='any',inplace=True)
f1.isnull().sum()

total_bill    6
tip           8
sex           0
smoker        3
day           2
time          0
size          4
dtype: int64

7、对剩余有空缺的数据用平均值替换；

f1['total_bill']=f1['total_bill'].fillna(f1['total_bill'].mean())
f1['tip']=f1['tip'].fillna(f1['tip'].mean())
f1['size']=f1['size'].fillna(f1['size'].mean())
f1.isnull().sum()

total_bill    0
tip           0
sex           0
smoker        3
day           2
time          0
size          0
dtype: int64