Python实战之数据库应用和数据获取

本书主要介绍MySQL基础、MySQL的基本操作、MongoDB基础和操作、文件的读写、爬虫基础、网站数据爬取实战等内容，让读者掌握通过Python操作关系型和非关系型数据库的方法，并通过爬虫技术获取相关数据。本书专门针对使用Python 操作数据库的新手或入门者，是作者学习和使用Python 操作数据库过程的体会和经验总结。涵盖实际开发中基本的知识要点，内容详尽，代码可读性及可操作性强。本书可以作为高等院校数据科学与大数据、计算机科学与技术等专业学生的教材，也可供财经金融管理类等专业学生参考。

刘宇宙，先后供职于上海海鼎、上海云卯、上海宏力达，目前供职于广州棒谷科技股份有限公司人工智能开发部，从事大数据研发。先后从事过卡系统的研发，云计算项目中IAAS系统的研发，大数据项目研发，物联网研发。对Java、Python有深入研究。Python技术爱好者，在CSDN发表原创Python博文多篇。

目 录
第1章 数据库简介 1
1.1 数据库的由来 1
1.2 数据库的发展历程 2
1.3 数据库的作用 3
1.4 关系型数据库 4
1.5 非关系型数据库 6
1.6 关系型数据库与非关系型数据库比较 7
1.7 小结 8
第2章 MySQL的安装和操作 9
2.1 MySQL简介 9
2.2 MySQL安装 10
2.3 MySQL基本操作 16
2.3.1 MySQL基本管理 16
2.3.2 MySQL数据库操作 18
2.3.3 MySQL数据类型 19
2.3.4 MySQL数据表操作 21
2.4 MySQL高级操作 27
2.5 小结 30
2.6 实战演练 30
第3章 PyMySQL的安装和操作 31
3.1 PyMySQL的介绍与安装 31
3.2 PyMySQL连接MySQL数据库 32
3.3 PyMySQL对MySQL数据库的基本操作 34
3.4 PyMySQL操作多表 40
3.5 高级封装 44
3.6 小结 51
3.7 实战演练 52
第4章 SQLAlchemy的安装和操作 53
4.1 SQLAlchemy简介 53
4.2 SQLALchemy的安装和连接 54
4.2.1 安装SQLAlchemy 54
4.2.2 使用SQLAlchemy连接MySQL数据库 55
4.2.3 映射声明 56
4.3 SQLAlchemy常用数据类型 56
4.4 创建类 57
4.5 创建模式 59
4.6 创建映射类的实例 61
4.7 创建会话 62
4.8 小结 64
4.9 实战演练 64
第5章 SQLAlchemy操作MySQL 65
5.1 SQLAlchemy对MySQL数据库的基本操作 65
5.1.1 添加对象 65
5.1.2 查询对象 70
5.1.3 更新对象 72
5.1.4 删除对象 74
5.2 SQLAlchemy的常用filter操作符 75
5.2.1 equals操作符 76
5.2.2 not equals 操作符 76
5.2.3 like操作符 77
5.2.4 and操作符 78
5.2.5 or操作符 78
5.2.6 is null操作符 78
5.2.7 is not null操作符 78
5.2.8 in操作符 79
5.2.9 not in操作符 79
5.3 SQLAlchemy的更多操作 79
5.3.1 返回列表和单项 79
5.3.2 嵌入使用SQL 80
5.3.3 计数 82
5.4 小结 83
5.5 实战演练 84
第6章 MongoDB基础 85
6.1 MongoDB简介 85
6.2 MongoDB的安装 86
6.3 MongoDB基本概念 92
6.3.1 文档 92
6.3.2 集合 93
6.3.3 数据库 93
6.3.4 数据类型 94
6.4 MongoDB基本操作 95
6.4.1 创建数据库 95
6.4.2 删除数据库 96
6.4.3 创建集合 97
6.4.4 删除集合 98
6.4.5 插入文档 98
6.4.6 更新文档 99
6.4.7 删除文档 101
6.4.8 MongoDB查询文档 103
6.4.9 条件操作符 105
6.4.10 $type操作符 107
6.4.11 limit()和skip()方法 108
6.4.12 排序 109
6.4.13 索引 109
6.4.14 聚合 111
6.5 小结 112
6.6 实战演练 112
第7章 Python操作MongoDB 113
7.1 pymongo安装 113
7.2 Python连接MongoDB 113
7.3 Python对MongoDB的基本操作 114
7.3.1 创建数据库 115
7.3.2 创建集合 115
7.3.3 查询文档 116
7.3.4 插入文档 119
7.3.5 更改文档 122
7.3.6 文档排序 125
7.3.7 删除文档 127
7.4 小结 131
7.5 实战演练 131
第8章 文件读写 132
8.1 with语句 132
8.2 TXT文件读写 133
8.3 CSV文件读写 136
8.4 JSON文件读写 139
8.5 Word文件读写 141
8.6 XML文件读取 144
8.7 CSV文件读取后插入MySQL数据库 145
8.8 CSV文件读取后插入MongoDB数据库 150
8.9 小结 154
8.10 实战演练 154
第9章 Python数据爬取 155
9.1 爬虫基础 155
9.2 库的安装与使用 156
9.2.1 pyecharts的安装与使用 156
9.2.2 jieba分词库的安装与使用 157
9.2.3 BeautifulSoup库的安装与使用 157
9.2.4 Requests库的安装与使用 158
9.3 分词与词频统计实战 158
9.3.1 整体结构设计 159
9.3.2 数据结构设计 159
9.3.3 数据的爬取与保存 160
9.3.4 制定关键词库 162
9.3.5 词频统计与图表生成 162
9.4 分词和词频统计的完整代码 164
9.5 小结 172
9.6 实战演练 172
第10章 项目实战：音乐数据爬取 173
10.1 获取全部歌手 173
10.2 获取歌手的歌曲数目 178
10.3 获取每首歌曲信息 184
10.4 歌曲下载 186
10.5 歌曲信息持久化 192
10.6 可视化展示 198
10.7 小结 200
附录A MySQL的四个默认库 201
附录B PyMySQL连接对象全量参数解释 205