给大家带来的一篇关于Python爬虫相关的电子书资源，介绍了关于Python、网络爬虫方面的内容，本书是由机械工业出版社出版，格式为PDF，资源大小143.9 MB，罗攀编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.9。
内容介绍
读者评价
基于Python 3的图书，代码挺多，这是优点。缺点是，很多地方没有解释清楚，作为一个脑子转得不太灵光的零基础萌新，有很坎坷的感觉。如果是想快速实现功能，这本书是一个蛮好的选择；如果想知其所以然，还要再读其他的东西。
对比了好久看到这本。涵盖了几乎所有我听过的和没听过的定向爬虫技术，从简单网页到异步加载网页，从简单存储到数据库存储，从简单爬虫到框架爬虫，从你的爬虫到我的爬虫。
对于目前市面上的Python爬虫教程给出了很系统的案例讲解；针对的版本也很新，python3.5+win7，很适合初学者。
要学人工智能了，据说要先学好数据爬取，爬虫是人工智能第一步恪，但没有任何算法基础，先选本给白白们看的这本，还好都是操作类的，动动手，觉得很简单啊，别一堆公式，就麻烦了。
例子很多，很容易理解，但是内容不是很丰富，但这是入门级的书，还可以的，毕竟内容太多了初学者也记不住，还容易懵，这本书让我有种感兴趣喜欢看的感觉，非常适合初学者，推荐
编辑推荐
详解网络爬虫的原理、工具、框架和方法，内容新，实战案例多
详解从简单网页到异步加载网页，从简单存储到数据库存储，从简单爬虫到框架爬虫等技术
22个网络爬虫综合实战案例、30个网站信息提取、2500余行代码
详解爬虫的3大方法：正则表达式、BeautifulSoup 4库和Lxml库
详解爬取数据的4大存储方式：TXT、CSV、MongoDB和MySQL
详解Scrapy爬虫框架的安装、项目创建、文件使用及爬取数据的存储
内容介绍
Python是数据分析的*语言，而网络中的数据和信息很多，如何从中获取需要的数据和信息呢？*简单、直接的方法就是用爬虫技术来解决。
本书是一本教初学者学习如何爬取网络数据和信息的入门读物。书中不仅有Python的相关内容，而且还有数据处理和数据挖掘等方面的内容。本书内容非常实用，讲解时穿插了22个爬虫实战案例，可以大大提高读者的实际动手能力。
本书共分12章，核心主题包括Python零基础语法入门、爬虫原理和网页构造、*个爬虫程序、正则表达式、Lxml库与Xpath语法、使用API、数据库存储、多进程爬虫、异步加载、表单交互与模拟登录、Selenium模拟浏览器、Scrapy爬虫框架。此外，书中通过一些典型爬虫案例，讲解了有经纬信息的地图图表和词云的制作方法，让读者体验数据背后的乐趣。
本书适合爬虫技术初学者、爱好者及高等院校的相关学生，也适合数据爬虫工程师作为参考读物，同时也适合各大Python数据分析的培训机构作为教材使用。
内容节选
Python爬虫的两套解析方法和四种爬虫实现过程
对于大多数朋友而言，爬虫绝对是学习 python 的最好的起手和入门方式。因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功入门。本文想针对某一网页对 python 基础爬虫的两大解析库（ BeautifulSoup 和 lxml ）和几种信息提取实现方法进行分析，以开 python 爬虫之初见。
基础爬虫的固定模式
笔者这里所谈的基础爬虫，指的是不需要处理像异步加载、验证码、代理等高阶爬虫技术的爬虫方法。一般而言，基础爬虫的两大请求库 urllib 和 requests 中 requests 通常为大多数人所钟爱，当然 urllib 也功能齐全。两大解析库 BeautifulSoup 因其强大的 HTML 文档解析功能而备受青睐，另一款解析库 lxml 在搭配 xpath 表达式的基础上也效率提高。就基础爬虫来说，两大请求库和两大解析库的组合方式可以依个人偏好来选择。
笔者喜欢用的爬虫组合工具是：
requests + BeautifulSoup
requests + lxml
同一网页爬虫的四种实现方式
笔者以腾讯新闻首页的新闻信息抓取为例。
首页外观如下：
比如说我们想抓取每个新闻的标题和链接，并将其组合为一个字典的结构打印出来。首先查看 HTML 源码确定新闻标题信息组织形式。
可以目标信息存在于 em 标签下 a 标签内的文本和 href 属性中。可直接利用 requests 库构造请求，并用 BeautifulSoup 或者 lxml 进行解析。
方式一： requests + BeautifulSoup + select css选择器
# select method
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = '/'
Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
em = Soup.select('em[class="f14 l24"] a')
for i in em:
title = i.get_text()
link = i['href']
print({'标题': title,
'链接': link
})
很常规的处理方式，抓取效果如下：
方式二： requests + BeautifulSoup + find_all 进行信息提取
# find_all method
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = '/'
Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
em = Soup.find_all('em', attrs={'class': 'f14 l24'})for i in em:
title = i.a.get_text()
link = i.a['href']
print({'标题': title,
'链接': link
})
同样是 requests + BeautifulSoup 的爬虫组合，但在信息提取上采用了 find_all 的方式。效果如下：
方式三： requests + lxml/etree + xpath 表达式
# lxml/etree method
import requests
from lxml import etree
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = '/'
html = requests.get(url = url, headers = headers)
con = etree.HTML(html.text)
title = con.xpath('//em[@class="f14 l24"]/a/text()')
link = con.xpath('//em[@class="f14 l24"]/a/@href')
for i in zip(title, link):
print({'标题': i[0],
'链接': i[1]
})
使用 lxml 库下的 etree 模块进行解析，然后使用 xpath 表达式进行信息提取，效率要略高于 BeautifulSoup + select 方法。这里对两个列表的组合采用了 zip 方法。python学习交流群：125240963效果如下：
方式四： requests + lxml/html/fromstring + xpath 表达式
# lxml/html/fromstring method
import requests
import lxml.html as HTML
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = '/'
con = HTML.fromstring(requests.get(url = url, headers = headers).text)
title = con.xpath('//em[@class="f14 l24"]/a/text()')
link = con.xpath('//em[@class="f14 l24"]/a/@href')
for i in zip(title, link):
print({'标题': i[0],'链接': i[1]
})
跟方法三类似，只是在解析上使用了 lxml 库下的 html.fromstring 模块。抓取效果如下：
很多人觉得爬虫有点难以掌握，因为知识点太多，需要懂前端、需要python熟练、还需要懂数据库，更不用说正则表达式、XPath表达式这些。其实对于一个简单网页的数据抓取，不妨多尝试几种抓取方案，举一反三，也更能对python爬虫有较深的理解。长此以往，对于各类网页结构都有所涉猎，自然经验丰富，水到渠成。
目录
第1章 Python零基础语法入门 1
第2章 爬虫原理和网页构造 17
第3章 我的第一个爬虫程序 26
第4章 正则表达式 45
第5章 Lxml库与Xpath语法 63
第6章 使用API 88
第7章 数据库存储 109
第8章 多进程爬虫 139
第9章 异步加载 159
第10章 表单交互与模拟登录 182
第11章 Selenium模拟浏览器 209
第12章 Scrapy爬虫框架 229
学习笔记
选择Python写网络爬虫的优势和理由
什么是网络爬虫？ 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件 爬虫有什么用？ 做为通用搜索引擎网页收集器。（google,baidu） 做垂直搜索引擎. 科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。 偷窥，hacking，发垃圾邮件…… 爬虫是搜索引擎的第一步也是最容易的一步 ? 网页……
Python网络爬虫中的同步与异步示例详解
一、同步与异步 #同步编程（同一时间只能做一件事，做完了才能做下一件事情）-a_url--b_url--c_url-#异步编程 (可以近似的理解成同一时间有多个事情在做，但有先后)-a_url- -b_url- -c_url- -d_url- -e_url- -f_url- -g_url- -h_url- --i_url-- --j_url-- 模板 import asyncio#函数名:做现在的任务时不等待，能继续做别的任务。async def donow_meantime_dontwait(url): response = await requests.get(url)#函数名:快速高效的做任务async def fast_do_your_thing(): await asyncio.wait([donow_meantime_dontwait(url) for url in urls])#下面两行都是套路，记住就好loop = asyncio.get_event_loop()loop.run_until_complete(fast_do_your_thing()) tips: await表达式中的对象必须是awaitable requests不支持非阻塞 aiohtt……
Python3网络爬虫开发实战之极验滑动验证码的识别
上节我们了解了图形验证码的识别，简单的图形验证码我们可以直接利用 Tesserocr 来识别，但是近几年又出现了一些新型验证码，如滑动验证码，比较有代表性的就是极验验证码，它需要拖动拼合滑块才可以完成验证，相对图形验证码来说识别难度上升了几个等级，本节来讲解下极验验证码的识别过程。 1. 本节目标 本节我们的目标是用程序来识别并通过极验验证码的验证，其步骤有分析识别思路、识别缺口位置、生成滑块拖动路径，最后模拟实现滑块拼合通过验证。 2. 准备工作 本次我们使用的 Python 库是 Selenium，使用的浏览器为 Chrome，在此之前请确保已经正确安装好了 Selenium 库、Chrome浏览器并配置……
Python网络爬虫神器PyQuery的基本使用教程
前言 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文档弱爆了， 但是使用起来还是可以的，有些地方用起来很方便简洁。 安装 关于PyQuery的安装可以参考这篇文章：///article/82955.htm PyQuery库官方文档 初始化为PyQuery对象 常用的CCS选择器 伪类选择器 查找标签 获取标签信息 初始化为PyQuery对象 html = """html lang="en" head 简单好用的 titlePyQuery/title /head body ul id="container" li class="object-1"Python/li li class="object-2"大法/li li class="object-3"好/li /ul /body/html""" 相当于Beauti……
以上就是本次介绍的Python爬虫电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对码农之家的支持。
展开 +
收起 -
