内容简介

本书通过真实案例，全面介绍python3编程基础及其数据分析工具的应用，培养读者通过数据提出问题、分析问题、解决问题以及对分析结果评价的能力。全书内容包括：python3基本配置和编程基础、面向对象编程及并行处理、数据预处理、数据描述与可视化、统计推断、相关分析、关联分析、回归分析、主成分和因子分析、聚类、判别与分类、列联分析、对应分析、定性数据分析、时间序列分析、神经网络与深度学习等，将数据分析工作中的基本理论、方法和应用进行深入剖析。

本书实用性强，强调对数据分析基础知识的领悟和应用。对于基本原理，编者避免用复杂数学公式来推导，而尽量用通俗的文字来描述其基本思想，并运用python来实现数据分析和得到结论的全部过程。为方便读者全面掌握本书内容，本书配有配套案例数据（下载地址：www.zgtjcbs.com）

本书既可作为高等院校数据科学与大数据技术、统计学及其相关专业的本科生和专业硕士与低年级学术型研究生的数据分析类课程教材，也可作为社会科学领域数据分析的自学教材，同时还可以作为从事数据分析与数据管理工作的参考用书，也适合想用python来解决实际数据分析问题的工程技术和管理人员。

  作者介绍

阮敬（1979—），博士，教授，博士生导师。现任首都经济贸易大学研究生院副院长，北京市丰台区政协委员。兼任中国现场统计研究会经济与金融统计分会副理事长、资源与环境统计分会常务理事，中国统计教育学会常务理事兼高等教育分会秘书长，中国商业统计学会常务理事，北京大数据协会副秘书长等职。近年来主持国家社科基金、教育部人文社科基金、北京市自然科学基金、北京市社科基金、留学人员科技活动择优资助项目等20余项；主持世界500强企业及大型国企、国家部委及北京市政府部门等的大数据分析相关横向课题30余项。在国内外公开发表论文50余篇，出版专著译著和教材8部，先后12次荣获国务院学位办全国应用统计专业学位研究生教育指导委员会优秀教学成果奖、全国统计科学研究优秀成果奖、北京市哲学社会科学优秀成果奖、北京市统计科学研究优秀成果奖等科研和教学奖励。

  目录

目  录

第1章  Python编程基础 1
1.1  Python系统配置 1
1.2  Python基础知识 6
1.2.1  帮助 6
1.2.2  标识符 7
1.2.3  行与缩进 7
1.2.4  变量与对象 8
1.2.5  数字与表达式 10
1.2.6  运算符 11
1.2.7  字符串 12
1.2.7.1  转义字符 12
1.2.7.2  字符串格式化 13
1.2.7.3  字符串的内置方法 14
1.2.8  日期和时间 19
1.3  数据结构与序列 20
1.3.1  列表 21
1.3.1.1  列表索引和切片 21
1.3.1.2  列表操作 22
1.3.1.3  内置列表函数 23
1.3.1.4  列表方法 23
1.3.2  元组 24
1.3.3  字典 25
1.3.4  集合 27
1.3.5  推导式 28
1.4  语句与控制流 29
1.4.1  条件语句 29
1.4.2  循环语句 31
1.4.2.1  while循环 31
1.4.2.2  for循环 31
1.4.2.3  循环控制 33
1.5  函数 34
1.5.1  函数的参数 35
1.5.2  全局变量与局部变量 36
1.5.3  匿名函数 37
1.5.4  递归和闭包 38
1.5.5  柯里化与反柯里化 39
1.5.6  常用的内置高阶函数 40
1.5.6.1  filter函数 40
1.5.6.2  map函数 40
1.5.6.3  reduce函数 40
1.6  迭代器、生成器和装饰器 41
1.6.1  迭代器 41
1.6.2  生成器 42
1.6.3  装饰器 44

第2章  Python编程进阶 47
2.1  类 47
2.1.1  声明类 47
2.1.2  方法 49
2.1.2.1  实例方法 50
2.1.2.2  类方法 50
2.1.2.3  静态方法 50
2.1.3  属性 52
2.1.3.1  实例属性和类属性 53
2.1.3.2  私有属性和公有属性 53
2.1.4  继承 54
2.1.4.1  隐式继承 54
2.1.4.2  显式覆盖 56
2.1.4.3  super继承 56
2.1.4.4  多态 57
2.1.4.5  多重继承 59
2.1.5  特性 60
2.2  异常捕获与容错处理 64
2.2.1  错误和异常 64
2.2.2  异常处理 66
2.2.2.1  触发异常 66
2.2.2.2  捕获异常 67
2.2.2.3  其他处理 68
2.3  模块 69
2.4  包 70
2.4.1  包的组成与调用 71
2.4.2  常用数据分析工具库 71
2.4.2.1  scipy 71
2.4.2.2  statsmodels 72
2.4.2.3  sklearn 73
2.4.2.4  TensorFlow 73
2.5  文件I/O 74
2.6  多核并行计算 77
2.6.1  多进程 78
2.6.2  并行 81

第3章  数据预处理 84
3.1  numpy基础 84
3.1.1  向量 86
3.1.2  数组 88
3.1.2.1  数据类型与结构数组 88
3.1.2.2  索引与切片 91
3.1.2.3  数组的属性 94
3.1.2.4  数组排序 95
3.1.2.5  数组维度 96
3.1.2.6  数组组合 98
3.1.2.7  数组分拆 101
3.1.2.8  ufunc运算 102
3.1.3  矩阵 107
3.1.4  文件读写 107
3.2  pandas基础 109
3.2.1  pandas的数据结构 109
3.2.1.1  Series 109
3.2.1.2  DataFrame 113
3.2.2  pandas的数据操作 123
3.2.2.1  排序 123
3.2.2.2  排名 125
3.2.2.3  运算 126
3.2.2.4  函数应用与映射 127
3.2.2.5  分组 129
3.2.2.6  合并 129
3.2.2.7  分类数据 132
3.2.2.8  时间序列 133
3.2.2.9  缺失值处理 142

第4章  数据描述 148
4.1  统计量 148
4.1.1  集中趋势 148
4.1.1.1  均值 148
4.1.1.2  中位数 150
4.1.1.3  分位数 151
4.1.1.4  众数 151
4.1.2  离散程度 152
4.1.2.1  极差 152
4.1.2.2  四分位差 153
4.1.2.3  方差和标准差 153
4.1.2.4  协方差 154
4.1.2.5  变异系数 154
4.1.3  分布形状 154
4.1.3.1  偏度 154
4.1.3.2  峰度 155
4.2  统计表 156
4.2.1  统计表的基本要素 156
4.2.2  统计表的编制 157

第5章  统计图形与可视化 161
5.1  matplotlib基本绘图 161
5.1.1  函数绘图 161
5.1.2  图形基本设置 166
5.1.2.1  创建图例 166
5.1.2.2  刻度设置 167
5.1.2.3  图像注解 168
5.1.2.4  图像大小 169
5.1.2.5  创建子图 170
5.1.2.6  其他绘图函数 171
5.1.3  面向对象绘图 172
5.1.4  绘图样式 174
5.2  pandas基本绘图 174
5.3  基本统计图形 176
5.3.1  折线图 177
5.3.2  面积图 179
5.3.3  直方图 179
5.3.4  条形图 181
5.3.5  龙卷风图 184
5.3.6  饼图 185
5.3.7  阶梯图 186
5.3.8  盒须图 187
5.3.9  小提琴图 189
5.3.10  散点图 190
5.3.11  气泡图 192
5.3.12  六边形箱图 193
5.3.13  雷达坐标图 194
5.3.14  轮廓图 195
5.3.15  调和曲线图 195
5.3.16  等高线图 196
5.3.17  极坐标图 196
5.3.18  词云图 197
5.3.19  数据地图 200
5.4  其他绘图工具 202

第6章  简单统计推断 204
6.1  简单统计推断的基本原理 204
6.1.1  数据分布 204
6.1.1.1  总体分布 205
6.1.1.2  样本分布 205
6.1.1.3  抽样分布 205
6.1.2  参数估计 207
6.1.2.1  点估计 208
6.1.2.2  区间估计 208
6.1.3  假设检验 209
6.1.3.1  假设检验的基本思想 209
6.1.3.2  假设检验基本步骤 210
6.1.3.3  假设检验中总体的几种不同情况 211
6.2  单总体参数的估计及假设检验 213
6.2.1  单总体的参数估计 213
6.2.1.1  单总体均值的参数估计 213
6.2.1.2  单总体方差、标准差的参数估计 214
6.2.1.3  单总体比例的参数估计 215
6.2.2  单总体参数的假设检验 215
6.2.2.1  总体均值的假设检验 215
6.2.2.2  总体比例的假设检验 218
6.3  两总体参数的假设检验 218
6.3.1  独立样本的假设检验 219
6.3.1.1  独立样本均值之差的假设检验 219
6.3.1.2  独立样本比例之差的假设检验 221
6.3.2  成对样本的假设检验 222

第7章  方差分析 225
7.1  方差分析的基本原理 225
7.2  一元方差分析 229
7.2.1  一元单因素方差分析 229
7.2.1.1  方差同质性检验 230
7.2.1.2  方差来源分解及检验过程 230
7.2.1.3  多重比较检验 231
7.2.1.4  方差分析模型的参数估计和预测 232
7.2.1.5  方差分析模型的预测 234
7.2.2  一元多因素方差分析 234
7.2.2.1  只考虑主效应的多因素方差分析 235
7.2.2.2  存在交互效应的多因素方差分析 239
7.3  协方差分析 241

第8章  非参数检验 244
8.1  非参数检验的基本问题 244
8.2  单样本非参数检验 245
8.2.1  中位数（均值）的检验 245
8.2.2  分布的检验 247
8.2.3  游程检验 248
8.3  两个样本的非参数检验 249
8.3.1  独立样本中位数比较的Wilcoxon秩和检验 249
8.3.2  独立样本的分布检验 251
8.3.3  成对（匹配）样本中位数的检验 252
8.3.4  两样本的游程检验 252
8.4  多个样本的非参数检验 253
8.4.1  多个样本的分布检验 253

第9章  相关分析与关联分析 257
9.1  相关分析 257
9.1.1  函数关系与相关关系 257
9.1.2  简单相关分析 258
9.1.2.1  用图形描述相关关系 258
9.1.2.2  用相关系数测度相关关系 259
9.1.2.3  相关系数的显著性检验 260
9.1.3  偏相关分析 262
9.1.4  点二列相关分析 263
9.1.5  非参数相关分析 264
9.1.5.1  Spearman相关系数 264
9.1.5.2  Kendall tau-b系数 265
9.1.5.3  Hoeffding’s D系数 265
9.2  关联分析 267
9.2.1  基本概念与数据预处理 267
9.2.2  Apriori算法 269
9.2.3  FP-growth算法 273

第10章  回归分析 275
10.1  线性回归 275
10.1.1  回归分析的基本原理 275
10.1.1.1  参数估计的普通最小二乘法 277
10.1.1.2  回归方程的检验及模型预测 278
10.1.2  一元线性回归 279
10.1.3  多元线性回归 286
10.1.4  含有定性自变量的线性回归 290
10.2  非线性回归 294
10.2.1  可线性化的非线性分析 294
10.2.2  非线性回归模型 297
10.3  多项式回归 300
10.4  分位数回归 303

第11章  离散因变量模型 309
11.1  线性概率模型 309
11.2  二元选择模型 311
11.2.1  线性概率模型的缺陷与改进 311
11.2.2  二元选择模型的基本原理 311
11.2.2.1  模型构建和参数估计过程 312
11.2.2.2  模型检验 313
11.2.3  BINARY PROBIT模型 313
11.2.4  BINARY LOGIT模型 317
11.3  多重选择模型 319
11.4  计数模型 322

第12章  主成分与因子分析 325
12.1  数据降维 325
12.1.1  数据降维的基本问题 325
12.1.2  数据降维的基本原理 326
12.2  主成分分析 327
12.2.1  主成分分析的基本概念与原理 327
12.2.2  主成分分析的基本步骤和过程 328
12.3  因子分析 337
12.3.1  因子分析的基本原理 337
12.3.1.1  因子分析模型 337
12.3.1.2  因子旋转 338
12.3.1.3  因子得分 338
12.3.2  因子分析的基本步骤和过程 339

第13章  列联分析与对应分析 350
13.1  列联分析 350
13.1.1  列联表 350
13.1.2  列联表的分布 353
13.1.3  χ2分布与χ2检验 354
13.1.4  χ2分布的期望值准则 355
13.2  对应分析 356
13.2.1  对应分析的基本思想 356
13.2.2  对应分析的步骤和过程 357
13.2.2.1  概率矩阵P 357
13.2.2.2  数据点坐标 357
13.2.2.3  行列变量分类降维 358
13.2.2.4  对应分析图 359

第14章  聚类 369
14.1  聚类的基本原理 369
14.1.1  聚类的基本原则 370
14.1.2  单一指标的系统聚类过程 371
14.1.3  多指标的系统聚类过程 373
14.2  聚类的步骤和过程 378
14.2.1  系统聚类 378
14.2.2  K-MEANS聚类 384
14.2.3  DBSCAN聚类 385

第15章  判别与分类 387
15.1  判别和分类的基本思想 387
15.1.1  判别 387
15.1.2  分类 388
15.1.3  效果评估 389
15.2  常用判别方法和分类算法 390
15.2.1  距离判别和线性判别 390
15.2.2  贝叶斯判别 396
15.2.3  k-近邻 398
15.2.4  决策树 400
15.2.5  随机森林 405
15.2.6  支持向量机 407

第16章  神经网络与深度学习 410
16.1  神经网络 410
16.1.1  基本概念与原理 410
16.1.2  感知机 412
16.1.3  多层神经网络 415
16.2  深度学习 419
16.2.1  基本概念与原理 419
16.2.2  卷积神经网络 420
16.2.2.1  网络结构 420
16.2.2.2  参数估计 422
16.2.3  Tensorflow 423
16.2.3.1  Tensorflow基础 424
16.2.3.2  Tensorflow训练CNN 428

第17章  时间序列分析 438
17.1  时间序列的基本问题 438
17.1.1  时间序列的组成部分 438
17.1.2  时间序列的平稳性 440
17.1.2.1  平稳性的含义 440
17.1.2.2  时间序列的零均值化和平稳化 441
17.1.2.3  时间序列的平稳性检验 441
17.2  ARIMA模型的分析过程 445
17.2.1  ARIMA模型 445
17.2.1.1  AR模型 445
17.2.1.2  MA模型 445
17.2.1.3  ARMA模型 446
17.2.2  ARMA模型的识别、估计与预测 446
17.2.2.1  模型的识别 446
17.2.2.2  模型参数估计及检验 449
17.2.2.3  模型的预测 452

附录：各章图形 455