孔夫子旧书网-网上买书卖书、古旧书收藏品交易平台 孔夫子旧书网-网上买书卖书、古旧书收藏品交易平台 占位居中 孔夫子旧书网-网上买书卖书、古旧书收藏品交易平台
商品
拍卖区
在售
已售
搜索历史
搜索
高级搜索

用Python写网络爬虫

用Python写网络爬虫
分享
扫描下方二维码分享到微信
打开微信，点击右上角”+“，
使用”扫一扫“即可将网页分享到朋友圈。
作者: [澳] （Richard Lawson） 著 , 译
出版社: 人民邮电出版社
2016-08
版次: 1
ISBN: 9787115431790
定价: 45.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 157页
正文语种: 简体中文
原版书名: web scraping with python
分类: 计算机与互联网
378人买过
  • 《用Python写网络爬虫》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia来进行数据抓取，使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。
    《用Python写网络爬虫》适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。 RichardLawson来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过50个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。 第1章网络爬虫简介 1
    1．1　网络爬虫何时有用　1
    1．2　网络爬虫是否合法　2
    1．3　背景调研　3
    1．3．1　检查robots．txt　3
    1．3．2　检查网站地图　4
    1．3．3　估算网站大小　5
    1．3．4　识别网站所用技术　7
    1．3．5　寻找网站所有者　7
    1．4　编写第一个网络爬虫　8
    1．4．1　下载网页　9
    1．4．2　网站地图爬虫　12
    1．4．3　ID遍历爬虫　13
    1．4．4　链接爬虫　15
    1．5　本章小结　22

    第2章　数据抓取　23
    2．1　分析网页　23
    2．2　三种网页抓取方法　26
    2．2．1　正则表达式　26
    2．2．2　BeautifulSoup　28
    2．2．3　Lxml　30
    2．2．4　性能对比　32
    2．2．5　结论　35
    2．2．6　为链接爬虫添加抓取回调　35
    2．3　本章小结　38

    第3章　下载缓存　39
    3．1　为链接爬虫添加缓存支持　39
    3．2　磁盘缓存　42
    3．2．1　实现　44
    3．2．2　缓存测试　46
    3．2．3　节省磁盘空间　46
    3．2．4　清理过期数据　47
    3．2．5　缺点　48
    3．3　数据库缓存　49
    3．3．1　NoSQL是什么　50
    3．3．2　安装MongoDB　50
    3．3．3　MongoDB概述　50
    3．3．4　MongoDB缓存实现　52
    3．3．5　压缩　54
    3．3．6　缓存测试　54
    3．4　本章小结　55

    第4章　并发下载　57
    4．1　100万个网页　57
    4．2　串行爬虫　60
    4．3　多线程爬虫　60
    4．3．1　线程和进程如何工作　61
    4．3．2　实现　61
    4．3．3　多进程爬虫　63
    4．4　性能　67
    4．5　本章小结　68

    第5章　动态内容　69
    5．1　动态网页示例　69
    5．2　对动态网页进行逆向工程　72
    5．3　渲染动态网页　77
    5．3．1　PyQt还是PySide　78
    5．3．2　执行JavaScript　78
    5．3．3　使用WebKit与网站交互　80
    5．3．4　Selenium　85
    5．4　本章小结　88

    第6章　表单交互　89
    6．1　登录表单　90
    6．2　支持内容更新的登录脚本扩展　97
    6．3　使用Mechanize模块实现自动化表单处理　100
    6．4　本章小结　102

    第7章　验证码处理　103
    7．1　注册账号　103
    7．2　光学字符识别　106
    7．3　处理复杂验证码　111
    7．3．1　使用验证码处理服务　112
    7．3．2　9kw入门　112
    7．3．3　与注册功能集成　119
    7．4　本章小结　120

    第8章　Scrapy　121
    8．1　安装　121
    8．2　启动项目　122
    8．2．1　定义模型　123
    8．2．2　创建爬虫　124
    8．2．3　使用shell命令抓取　128
    8．2．4　检查结果　129
    8．2．5　中断与恢复爬虫　132
    8．3　使用Portia编写可视化爬虫　133
    8．3．1　安装　133
    8．3．2　标注　136
    8．3．3　优化爬虫　138
    8．3．4　检查结果　140
    8．4　使用Scrapely实现自动化抓取　141
    8．5　本章小结　142

    第9章　总结　143
    9．1　Google搜索引擎　143
    9．2　Facebook　148
    9．2．1　网站　148
    9．2．2　API　150
    9．3　Gap　151
    9．4　宝马　153
    9．5　本章小结　157
  • 内容简介:
    《用Python写网络爬虫》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia来进行数据抓取，使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。
    《用Python写网络爬虫》适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。
  • 作者简介:
    RichardLawson来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过50个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。
  • 目录:
    第1章网络爬虫简介 1
    1．1　网络爬虫何时有用　1
    1．2　网络爬虫是否合法　2
    1．3　背景调研　3
    1．3．1　检查robots．txt　3
    1．3．2　检查网站地图　4
    1．3．3　估算网站大小　5
    1．3．4　识别网站所用技术　7
    1．3．5　寻找网站所有者　7
    1．4　编写第一个网络爬虫　8
    1．4．1　下载网页　9
    1．4．2　网站地图爬虫　12
    1．4．3　ID遍历爬虫　13
    1．4．4　链接爬虫　15
    1．5　本章小结　22

    第2章　数据抓取　23
    2．1　分析网页　23
    2．2　三种网页抓取方法　26
    2．2．1　正则表达式　26
    2．2．2　BeautifulSoup　28
    2．2．3　Lxml　30
    2．2．4　性能对比　32
    2．2．5　结论　35
    2．2．6　为链接爬虫添加抓取回调　35
    2．3　本章小结　38

    第3章　下载缓存　39
    3．1　为链接爬虫添加缓存支持　39
    3．2　磁盘缓存　42
    3．2．1　实现　44
    3．2．2　缓存测试　46
    3．2．3　节省磁盘空间　46
    3．2．4　清理过期数据　47
    3．2．5　缺点　48
    3．3　数据库缓存　49
    3．3．1　NoSQL是什么　50
    3．3．2　安装MongoDB　50
    3．3．3　MongoDB概述　50
    3．3．4　MongoDB缓存实现　52
    3．3．5　压缩　54
    3．3．6　缓存测试　54
    3．4　本章小结　55

    第4章　并发下载　57
    4．1　100万个网页　57
    4．2　串行爬虫　60
    4．3　多线程爬虫　60
    4．3．1　线程和进程如何工作　61
    4．3．2　实现　61
    4．3．3　多进程爬虫　63
    4．4　性能　67
    4．5　本章小结　68

    第5章　动态内容　69
    5．1　动态网页示例　69
    5．2　对动态网页进行逆向工程　72
    5．3　渲染动态网页　77
    5．3．1　PyQt还是PySide　78
    5．3．2　执行JavaScript　78
    5．3．3　使用WebKit与网站交互　80
    5．3．4　Selenium　85
    5．4　本章小结　88

    第6章　表单交互　89
    6．1　登录表单　90
    6．2　支持内容更新的登录脚本扩展　97
    6．3　使用Mechanize模块实现自动化表单处理　100
    6．4　本章小结　102

    第7章　验证码处理　103
    7．1　注册账号　103
    7．2　光学字符识别　106
    7．3　处理复杂验证码　111
    7．3．1　使用验证码处理服务　112
    7．3．2　9kw入门　112
    7．3．3　与注册功能集成　119
    7．4　本章小结　120

    第8章　Scrapy　121
    8．1　安装　121
    8．2　启动项目　122
    8．2．1　定义模型　123
    8．2．2　创建爬虫　124
    8．2．3　使用shell命令抓取　128
    8．2．4　检查结果　129
    8．2．5　中断与恢复爬虫　132
    8．3　使用Portia编写可视化爬虫　133
    8．3．1　安装　133
    8．3．2　标注　136
    8．3．3　优化爬虫　138
    8．3．4　检查结果　140
    8．4　使用Scrapely实现自动化抓取　141
    8．5　本章小结　142

    第9章　总结　143
    9．1　Google搜索引擎　143
    9．2　Facebook　148
    9．2．1　网站　148
    9．2．2　API　150
    9．3　Gap　151
    9．4　宝马　153
    9．5　本章小结　157
查看详情
相关分类
计算机理论 编程与开发 操作系统 大数据与云计算 图形图像/多媒体 网站设计与网页开发 网络与通讯 硬件、嵌入式开发 办公软件 信息安全 辅助设计与工程计算 软件工程/开发项目管理
相关图书 / 更多
用Python写网络爬虫
用Python编程和实践！深度学习教科书
[日]石川聪彦 著；陈欢 译
￥25.00 起
用Python写网络爬虫
用Python高效操作Excel很简单
张善春 著；颉腾文化 出品
￥30.58 起
用Python写网络爬虫
用Python动手学机器学习
[日]伊藤真
￥2.88 起
用Python写网络爬虫
用Python动手学强化学习(全彩印刷）
[日]久保隆宏 著；梁垿、程引 译
￥8.00 起
用Python写网络爬虫
用Python学数学
[美]彼得·法雷尔（Peter Farrell）
￥43.00 起
用Python写网络爬虫
用Python编程和实践！数学教科书
[日]我妻 幸长 著
￥29.98 起
用Python写网络爬虫
用Python轻松处理Excel数据
阳光灿烂
￥31.09 起
用Python写网络爬虫
用Python编程和实践！算法入门
增井 敏克（日）
￥27.80 起
用Python写网络爬虫
用Python轻松设计控制系统
[日]南裕树（Yuki Minami） 著；施佳贤 译
￥25.90 起
用Python写网络爬虫
用Python动手学统计学
[日]马场真哉
￥8.00 起
用Python写网络爬虫
用Python让办公快速实现自动化
王红明
￥49.38 起
用Python写网络爬虫
用Python编程和实践！区块链教科书
[日]FLOC 著
￥15.00 起
您可能感兴趣 / 更多
用Python写网络爬虫
勇敢的克兰西（接纳并善待与众不同的自己，敢于打破惯例，尝试更多可能）
[澳]拉切·休谟 著；赵静 译
￥28.98 起
用Python写网络爬虫
南方理论：社会科学知识的全球动态
[澳]瑞文·康奈尔
￥29.67 起
用Python写网络爬虫
海外中国研究·性别、政治与民主：近代中国的妇女参政
[澳]李木兰 著；方小平 译
￥30.03 起
用Python写网络爬虫
英语合作学习活动
[澳]杨宏智 (澳)沈惠忠
￥17.78 起
用Python写网络爬虫
《想当主人的金斯利》（2024年百班千人寒假书单 一年级推荐阅读）
[澳]加布里埃尔·埃文斯 图/文
￥20.00 起
用Python写网络爬虫
公共管理导论（第五版）（公共行政与公共管理经典译丛）
[澳]欧文·E.休斯（Owen E. Hughes） 著；张成福 杨崇祺 赵弘毅 郭梓焱 译
￥25.00 起
用Python写网络爬虫
超越英雄之旅 影视人物弧线创作指南
[澳]安东尼·木林斯
￥23.41 起
用Python写网络爬虫
凤凰文库设计理论研究系列-数字物质性:设计和人类学
[澳]莎拉·平克；[西]埃丽森达·阿尔德沃尔；[西]黛博拉· 兰泽尼
￥25.71 起
用Python写网络爬虫
疯狂树屋39层(上) 很久很久以前机
[澳]安迪·格里菲斯
￥11.40 起
用Python写网络爬虫
阿格妮丝·赫勒(历史旋涡中的道德主义者)/东欧新马克思主义伦理思想研究丛书/哈尔滨工程大学人文社
[澳]约翰·格里姆雷 著；马建青 译
￥3.24 起
用Python写网络爬虫
非传统营销Ⅱ 系统、实战、深度，风靡全球品牌届的颠覆性营销书籍
[澳]珍妮·罗曼纽克（Jenni Romaniuk），[澳]拜伦·夏普（Byron Sharp） 著，麦青（Mandy） 译
￥37.10 起
用Python写网络爬虫
失物招领蒲蒲兰绘本3-6岁
[澳]陈志勇 著；马爱农 译
￥24.36 起
© 2002-2024 Kongfz.com 孔夫子旧书网 版权所有
关于孔网 联系我们 帮助中心 版权隐私 广告业务 工作机会 移动版 图书目录 图书标签 热搜书籍 作家大全