Python网络爬虫从入门到精通

Python网络爬虫从入门到精通
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者: , ,
2019-05
版次: 1
ISBN: 9787111625933
定价: 79.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 333页
48人买过
  • 《Python 网络爬虫从入门到精通》的主旨是介绍如何结合Python进行网络爬虫程序的开发,从Python语言的基本特性入手,详细介绍了Python网络爬虫开发的各个方面,涉及HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等不同领域的内容。全书共15章,包括Python基础知识、网站分析、网页解析、Python文件读写、Python与数据库、AJAX技术、模拟登录、文本与数据分析、网站测试、Scrapy爬虫框架、爬虫性能等多个主题。本书内容覆盖网络抓取与爬虫编程中的主要知识和技术,在重视理论基础的前提下,从实用性和丰富性出发,结合实例演示了爬虫编写的核心流程。 

     《Python 网络爬虫从入门到精通》适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等院校计算机科学、软件工程等相关专业的师生阅读。 第1章 Python与网络爬虫1 

    1.1 Python语言1 

     1.1.1 什么是Python1 

     1.1.2 Python的应用现状2 

    1.2 Python的安装与开发环境配置3 

     1.2.1 在Windows上安装3 

     1.2.2 在Ubuntu和Mac OS上安装4 

     1.2.3 PyCharm的使用5 

     1.2.4 Jupyter Notebook9 

    1.3 Python基本语法12 

     1.3.1 HelloWorld与数据类型12 

     1.3.2 逻辑语句19 

     1.3.3 Python中的函数与类22 

     1.3.4 Python从0到125 

    1.4 互联网、HTTP与HTML25 

     1.4.1 互联网与HTTP25 

     1.4.2 HTML27 

    1.5 Hello, Spider!29 

     1.5.1 第一个爬虫程序29 

     1.5.2 对爬虫的思考31 

    1.6 调研网站33 

     1.6.1 网站的robots.txt与Sitemap33 

     1.6.2 查看网站所用技术36 

     1.6.3 查看网站所有者信息37 

     1.6.4 使用开发者工具检查网页39 

    1.7 本章小结42 

    第2章 数据采集43 

    2.1 从抓取开始43 

    2.2 正则表达式44 

     2.2.1 初见正则表达式44 

     2.2.2 正则表达式的简单使用46 

    2.3 BeautifulSoup49 

     2.3.1 安装与上手49 

     2.3.2 BeautifulSoup的基本使用52 

    2.4 XPath与lxml55 

     2.4.1 XPath55 

     2.4.2 lxml与XPath的使用57 

    2.5 遍历页面59 

     2.5.1 抓取下一个页面59 

     2.5.2 完成爬虫60 

    2.6 使用API63 

     2.6.1 API简介63 

     2.6.2 API使用示例65 

    2.7 本章小结68 

    第3章 文件与数据存储69 

    3.1 Python中的文件69 

     3.1.1 基本的文件读写69 

     3.1.2 序列化72 

    3.2 字符串72 

    3.3 Python与图片74 

     3.3.1 PIL与Pillow74 

     3.3.2 Python与OpenCV简介76 

    3.4 CSV文件77 

     3.4.1 CSV简介77 

     3.4.2 CSV的读写77 

    3.5 使用数据库79 

     3.5.1 使用MySQL80 

     3.5.2 使用SQLite381 

     3.5.3 使用SQLAlchemy83 

     3.5.4 使用Redis85 

    3.6 其他类型的文档86 

    3.7 本章小结90 

    第4章 JavaScript与动态内容91 

    4.1 JavaScript与AJAX技术91 

     4.1.1 JavaScript语言91 

     4.1.2 AJAX95 

    4.2 抓取AJAX数据96 

     4.2.1 分析数据96 

     4.2.2 数据提取100 

    4.3 抓取动态内容107 

     4.3.1 动态渲染页面107 

     4.3.2 使用Selenium107 

     4.3.3 PyV8与Splash114 

    4.4 本章小结118 

    第5章 表单与模拟登录119 

    5.1 表单119 

     5.1.1 表单与POST119 

     5.1.2 POST发送表单数据121 

    5.2 Cookie124 

     5.2.1 什么是Cookie124 

     5.2.2 在Python中使用Cookie125 

    5.3 模拟登录网站128 

     5.3.1 分析网站128 

     5.3.2 通过Cookie模拟登录129 

    5.4 验证码133 

     5.4.1 图片验证码133 

     5.4.2 滑动验证134 

    5.5 本章小结139 

    第6章 数据的进一步处理140 

    6.1 Python与文本分析140 

     6.1.1 什么是文本分析140 

     6.1.2 jieba与SnowNLP141 

     6.1.3 NLTK145 

     6.1.4 文本分类与聚类149 

    6.2 数据处理与科学计算150 

     6.2.1 从MATLAB到Python150 

     6.2.2 NumPy151 

     6.2.3 Pandas156 

     6.2.4 Matplotlib163 

     6.2.5 SciPy与SymPy167 

    6.3 本章小结167 

    第7章 更灵活的爬虫168 

    7.1 更灵活的爬虫—以微信数据抓取为例168 

     7.1.1 用Selenium抓取Web微信信息168 

     7.1.2 基于Python的微信API工具172 

    7.2 更多样的爬虫175 

     7.2.1 在BeautifulSoup和XPath之外175 

     7.2.2 在线爬虫应用平台179 

     7.2.3 使用urllib181 

    7.3 爬虫的部署和管理190 

     7.3.1 配置远程主机190 

     7.3.2 编写本地爬虫192 

     7.3.3 部署爬虫198 

     7.3.4 查看运行结果199 

     7.3.5 使用爬虫管理框架200 

    7.4 本章小结203 

    第8章 浏览器模拟与网站测试204 

    8.1 关于测试204 

     8.1.1 什么是测试204 

     8.1.2 什么是TDD205 

    8.2 Python的单元测试205 

     8.2.1 使用unittest205 

     8.2.2 其他方法208 

    8.3 使用Python爬虫测试网站209 

    8.4 使用Selenium测试212 

     8.4.1 Selenium测试常用的网站交互212 

     8.4.2 结合Selenium进行单元测试214 

    8.5 本章小结215 

    第9章 更强大的爬虫216 

    9.1 爬虫框架216 

     9.1.1 Scrapy是什么216 

     9.1.2 Scrapy安装与入门218 

     9.1.3 编写Scrapy爬虫221 

     9.1.4 其他爬虫框架223 

    9.2 网站反爬虫224 

     9.2.1 反爬虫的策略224 

     9.2.2 伪装headers225 

     9.2.3 使用代理228 

     9.2.4 访问频率232 

    9.3 多进程与分布式233 

     9.3.1 多进程编程与爬虫抓取233 

     9.3.2 分布式爬虫235 

    9.4 本章小结235 

    第10章 爬虫实践:火车票余票实时提醒236 

    10.1 程序设计236 

     10.1.1 分析网页236 

     10.1.2 理解返回的JSON格式数据的意义238 

     10.1.3 微信消息推送238 

     10.1.4 运行并查看微信消息243 

    10.2 本章小结244 

    第11章 爬虫实践:爬取二手房数据并绘制热力图245 

    11.1 数据抓取245 

     11.1.1 分析网页245 

     11.1.2 地址转换成经纬度247 

     11.1.3 编写代码248 

     11.1.4 数据下载结果252 

    11.2 绘制热力图252 

    11.3 本章小结259 

    第12章 爬
  • 内容简介:
    《Python 网络爬虫从入门到精通》的主旨是介绍如何结合Python进行网络爬虫程序的开发,从Python语言的基本特性入手,详细介绍了Python网络爬虫开发的各个方面,涉及HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等不同领域的内容。全书共15章,包括Python基础知识、网站分析、网页解析、Python文件读写、Python与数据库、AJAX技术、模拟登录、文本与数据分析、网站测试、Scrapy爬虫框架、爬虫性能等多个主题。本书内容覆盖网络抓取与爬虫编程中的主要知识和技术,在重视理论基础的前提下,从实用性和丰富性出发,结合实例演示了爬虫编写的核心流程。 

     《Python 网络爬虫从入门到精通》适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等院校计算机科学、软件工程等相关专业的师生阅读。
  • 目录:
    第1章 Python与网络爬虫1 

    1.1 Python语言1 

     1.1.1 什么是Python1 

     1.1.2 Python的应用现状2 

    1.2 Python的安装与开发环境配置3 

     1.2.1 在Windows上安装3 

     1.2.2 在Ubuntu和Mac OS上安装4 

     1.2.3 PyCharm的使用5 

     1.2.4 Jupyter Notebook9 

    1.3 Python基本语法12 

     1.3.1 HelloWorld与数据类型12 

     1.3.2 逻辑语句19 

     1.3.3 Python中的函数与类22 

     1.3.4 Python从0到125 

    1.4 互联网、HTTP与HTML25 

     1.4.1 互联网与HTTP25 

     1.4.2 HTML27 

    1.5 Hello, Spider!29 

     1.5.1 第一个爬虫程序29 

     1.5.2 对爬虫的思考31 

    1.6 调研网站33 

     1.6.1 网站的robots.txt与Sitemap33 

     1.6.2 查看网站所用技术36 

     1.6.3 查看网站所有者信息37 

     1.6.4 使用开发者工具检查网页39 

    1.7 本章小结42 

    第2章 数据采集43 

    2.1 从抓取开始43 

    2.2 正则表达式44 

     2.2.1 初见正则表达式44 

     2.2.2 正则表达式的简单使用46 

    2.3 BeautifulSoup49 

     2.3.1 安装与上手49 

     2.3.2 BeautifulSoup的基本使用52 

    2.4 XPath与lxml55 

     2.4.1 XPath55 

     2.4.2 lxml与XPath的使用57 

    2.5 遍历页面59 

     2.5.1 抓取下一个页面59 

     2.5.2 完成爬虫60 

    2.6 使用API63 

     2.6.1 API简介63 

     2.6.2 API使用示例65 

    2.7 本章小结68 

    第3章 文件与数据存储69 

    3.1 Python中的文件69 

     3.1.1 基本的文件读写69 

     3.1.2 序列化72 

    3.2 字符串72 

    3.3 Python与图片74 

     3.3.1 PIL与Pillow74 

     3.3.2 Python与OpenCV简介76 

    3.4 CSV文件77 

     3.4.1 CSV简介77 

     3.4.2 CSV的读写77 

    3.5 使用数据库79 

     3.5.1 使用MySQL80 

     3.5.2 使用SQLite381 

     3.5.3 使用SQLAlchemy83 

     3.5.4 使用Redis85 

    3.6 其他类型的文档86 

    3.7 本章小结90 

    第4章 JavaScript与动态内容91 

    4.1 JavaScript与AJAX技术91 

     4.1.1 JavaScript语言91 

     4.1.2 AJAX95 

    4.2 抓取AJAX数据96 

     4.2.1 分析数据96 

     4.2.2 数据提取100 

    4.3 抓取动态内容107 

     4.3.1 动态渲染页面107 

     4.3.2 使用Selenium107 

     4.3.3 PyV8与Splash114 

    4.4 本章小结118 

    第5章 表单与模拟登录119 

    5.1 表单119 

     5.1.1 表单与POST119 

     5.1.2 POST发送表单数据121 

    5.2 Cookie124 

     5.2.1 什么是Cookie124 

     5.2.2 在Python中使用Cookie125 

    5.3 模拟登录网站128 

     5.3.1 分析网站128 

     5.3.2 通过Cookie模拟登录129 

    5.4 验证码133 

     5.4.1 图片验证码133 

     5.4.2 滑动验证134 

    5.5 本章小结139 

    第6章 数据的进一步处理140 

    6.1 Python与文本分析140 

     6.1.1 什么是文本分析140 

     6.1.2 jieba与SnowNLP141 

     6.1.3 NLTK145 

     6.1.4 文本分类与聚类149 

    6.2 数据处理与科学计算150 

     6.2.1 从MATLAB到Python150 

     6.2.2 NumPy151 

     6.2.3 Pandas156 

     6.2.4 Matplotlib163 

     6.2.5 SciPy与SymPy167 

    6.3 本章小结167 

    第7章 更灵活的爬虫168 

    7.1 更灵活的爬虫—以微信数据抓取为例168 

     7.1.1 用Selenium抓取Web微信信息168 

     7.1.2 基于Python的微信API工具172 

    7.2 更多样的爬虫175 

     7.2.1 在BeautifulSoup和XPath之外175 

     7.2.2 在线爬虫应用平台179 

     7.2.3 使用urllib181 

    7.3 爬虫的部署和管理190 

     7.3.1 配置远程主机190 

     7.3.2 编写本地爬虫192 

     7.3.3 部署爬虫198 

     7.3.4 查看运行结果199 

     7.3.5 使用爬虫管理框架200 

    7.4 本章小结203 

    第8章 浏览器模拟与网站测试204 

    8.1 关于测试204 

     8.1.1 什么是测试204 

     8.1.2 什么是TDD205 

    8.2 Python的单元测试205 

     8.2.1 使用unittest205 

     8.2.2 其他方法208 

    8.3 使用Python爬虫测试网站209 

    8.4 使用Selenium测试212 

     8.4.1 Selenium测试常用的网站交互212 

     8.4.2 结合Selenium进行单元测试214 

    8.5 本章小结215 

    第9章 更强大的爬虫216 

    9.1 爬虫框架216 

     9.1.1 Scrapy是什么216 

     9.1.2 Scrapy安装与入门218 

     9.1.3 编写Scrapy爬虫221 

     9.1.4 其他爬虫框架223 

    9.2 网站反爬虫224 

     9.2.1 反爬虫的策略224 

     9.2.2 伪装headers225 

     9.2.3 使用代理228 

     9.2.4 访问频率232 

    9.3 多进程与分布式233 

     9.3.1 多进程编程与爬虫抓取233 

     9.3.2 分布式爬虫235 

    9.4 本章小结235 

    第10章 爬虫实践:火车票余票实时提醒236 

    10.1 程序设计236 

     10.1.1 分析网页236 

     10.1.2 理解返回的JSON格式数据的意义238 

     10.1.3 微信消息推送238 

     10.1.4 运行并查看微信消息243 

    10.2 本章小结244 

    第11章 爬虫实践:爬取二手房数据并绘制热力图245 

    11.1 数据抓取245 

     11.1.1 分析网页245 

     11.1.2 地址转换成经纬度247 

     11.1.3 编写代码248 

     11.1.4 数据下载结果252 

    11.2 绘制热力图252 

    11.3 本章小结259 

    第12章 爬
查看详情
12
您可能感兴趣 / 更多
Python网络爬虫从入门到精通
计算机导论(第3版·题库·微课视频版)
吕云翔 李沛伦
Python网络爬虫从入门到精通
云计算与大数据技术(第2版·微课视频·题库版)
吕云翔 钟巧灵 柏燕峥 许鸿智 张璐 王佳玮 韩雪婷 仇善召 杜宸洋
Python网络爬虫从入门到精通
数据结构(Python版)(第2版·微课视频版)
吕云翔;郭颖美;孟爻;吴宜航;杨壮
Python网络爬虫从入门到精通
Python网络爬虫:从入门到精通(附微课)
吕云翔
Python网络爬虫从入门到精通
数据结构(Java版)(第2版·微课视频版)
吕云翔 郭颖美 王子豪
Python网络爬虫从入门到精通
Python爬虫案例实战(微课视频版)
吕云翔 韩延刚 张扬 主编;谢吉力 杨壮 王渌汀 王志鹏 杨瑞翌 副主编
Python网络爬虫从入门到精通
Python数据分析与可视化案例实战(项目实战·源码解读·微课视频版)
吕云翔;王志鹏;许丽华;王肇一;朱英豪;闫坤;仇善召;唐佳伟;冯凯文;陈唯;陈天异;洪振东;杨云飞;谢谨蔓;姚泽良;韩延刚;吴宜航
Python网络爬虫从入门到精通
Python网络爬虫技术与实践
吕云翔 张扬 杨壮 编著
Python网络爬虫从入门到精通
大数据可视化技术(微课视频+题库版)
吕云翔 姚泽良 主编;谢吉力 朱英豪 仇善召 韩延刚 黄泽桓 副主编
Python网络爬虫从入门到精通
云计算导论(第3版·题库·微课视频版)
吕云翔 柏燕峥 许鸿智 杜宸洋 张璐 王佳玮
Python网络爬虫从入门到精通
软件工程项目化教程(微课视频版)
吕云翔;黎可为;张中基
Python网络爬虫从入门到精通
大数据可视化技术与应用
吕云翔 姚泽良 谢吉力 编著