在开始讲解思路之前,我们首先了解下网络状态码,为什么要看这个呢?以后你会回来感谢我的,嘻嘻!
一般网络状态有以下几种:
200(成功)
服务器成功处理了请求。一般来说,这意味着服务器提供所请求的页面,如果您看到此状态,您的robots.txt文件,这意味着Googlebot的检索成功。
301(永久移动)
请求的网页已永久移动到新的位置,当服务器返回此响应(作为一个GET或HEAD请求的响应),它会自动转发请求到新的位置。你应该使用这个代码让Googlebot的知道一个网页或网站已永久移动到新位置。
302(临时移动)
服务器正在响应请求,从不同位置的网页,但请求者应继续使用原来的位置,为将来的请求。此代码是在这一个GET或HEAD请求的301相似,它会自动转发到不同的位置请求,但你不应该用它来告诉Googlebot的一个网页或网站已移动,因为Googlebot会继续抓取和索引原来的位置。
400(错误请求)
服务器不理解请求的语法。
403(禁止)
服务器拒绝请求。如果你看到在Googlebot尝试抓取您的网站的有效网页(你可以看到在网络上抓取页面在谷歌webmasters诊断下)收到此状态码时,它有可能是您的服务器或主机阻止Googlebot存取。
404(未找到)
服务器找不到请求的页面。例如,服务器返回此代码,如果请求是在服务器上的页面不存在。如果没有您网站上的robots.txt文件,并在webmasters“诊断”标签的robots.txt页上看到此状态,这是正确的状态。然而,如果你有一个robots.txt文件,你会看到这种状态,那么您的robots.txt文件可能被命名为不正确或在错误的位置。它应该是在顶级域,名为robots.txt的。如果你看到的网址,Googlebot尝试抓取(诊断“标签的HTTP错误”页上)此状态, 则表示Googlebot可能从另一页(可能是旧链接或输入有误)的无效链接。
500(内部服务器错误)
服务器遇到了一个错误,并不能满足要求。
503(服务不可用)
服务器目前无法使用(因为它是重载维修或向下),一般来说,这是一个临时的状态。
重点来了,跟上思路
进入正题,我们今天爬取的是网易云音乐热歌榜的歌曲,首先我们要知道这个网址,如下图所示:
网址是这个:/#/discover/toplist?id=3778678
有了网址就要对这个网址进行尝试访问,一般在进行爬虫时,为了防止反爬机制,我们需要将我们伪装成浏览器身份去进行访问网页,那么怎么进行伪装呢?就是修改我们的访问身份:进入网页后按F12;
然后选择NetWork;
按F5进行页面刷新;
点击;
选择最底下的进行复制;
看图中标记位置:
在进行数据爬取时,我们需要对网页进行分析,对网页内容需要进行解析,这时候我们需要几个必备的包:requests:请求网页,接受网页数据
etree:解析网页
怎么导入了,这个很简单的哈:
import requests
from lxml import etree
这里拓展一下,要是包没有下载,我们可以使用pip install 这个命令去分别下载这两个库
pip install requests
pip install lxml
准备工作做好了,我们来进行代码访问我们的需要爬取的网址
import requests
from lxml import etree
import os
url='/discover/toplist?id=3778678'
head={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
}
down_url='/song/media/outer/url?id='
respone=requests.get(url,headers=head)print(respone)
运行代码输出结果如图
上图所示结果就是访问正常了,下面我们开始来解析网页
解析网页我们一般用到的是:
html=etree.HTML(respone.text)
我们进行检查时,发现歌曲的主要信息在这里,那么格式我们可以这样写:
id_list=html.xpath('//a[contains(@href,"song?")]')
这个a标签中包含href中song?及以后的数据
print(id_list)
然后我们能获得一下信息,看图:
是不是感觉有点奇奇怪怪的,好像和我们想象中的有点不太一样,这只是我们获取到的地址,我们还需要进行进一步的提取,怎么提取,往下看
我们需要获取ID:
for id in id_list:
href=id.xpath('./@href')[0]
print(href)
我们对获取到的地址进行遍历,取到其href中的值,看下结果:
我们想要的是id后面的那串数字,那么这时候我们对其进行分割,取到我们想要的数据:
music_id=href.split('=')[1]
print(music_id)
分割后的结果如下:
有了这些数字,接下来需要干嘛,当然是获取歌曲的名字
if "$" not in music_id:
music_name=id.xpath('./text()')[0]
print(music_name)
这里解释下,为什么要使用这个if判断条件,直接看图
看到了没有,这是因为在进行id获取时,有的id是没有的,字符串里包含$,如果我们不进行处理,那么就会出现索引错误,因为里面没有这些包含$的id,所以就会报错,名字获取到了那么我们就可以对歌曲进行下载并存储。
其实每个歌曲都有自己的下载链接,那么我们采用这个链接并且配合我们获取到的id就可以进行下载啦:
down_url='/song/media/outer/url?id='
拼接链接,把我们之前得到的Id数字加上去:
music_url=down_url + music_id
music=requests.get(url=music_url,headers=head)
print(music_url)
看到了吗,每个歌曲对应一个下载地址,然后我们随机复制一个下载地址,看看能不能下载,
可以下载,对不对?然后我们接下来就可以进行存储了:
if not os.path.exists(r'C:\Users\***\Desktop\music'):
os.mkdir(r'C:\Users\***\Desktop\music')
else:
with open(r'C:\Users\***\Desktop\music/%s.mp3' % music_name, "wb") as f:
print("正在下载歌曲 《%s》 ..." % music_name)
f.write(music.content)
是不是有点看不懂,不要急,我来说下这里:先查找文件夹,如果不存在则进行创建;
创建之后打开文件夹,将获取到的文件以刚才获取到的名字进行命名,然后后缀名改为.mp3格式;
以二进制形式进行写入数据文件。
r'C:\Users\***\Desktop\music/%s.mp3'
这里是什么意思呢:r:防止位置中的有些字符被转义;
C:\Users\***\Desktop\music这是一个用户位置信息,如果你想直接复制粘贴肯定不行,得改成你自己的用户名哈。
把思路整合,运行下我们的代码,是怎样的结果呢:
桌面是不是有了一个名字为music的文件夹
打开这个文件夹,是不是将歌曲爬取并进行了存储:
这里又有疑问了,这个歌单不是有200首歌曲吗?你这只有191首呀,原因我前面已经讲了哈,为什么加一个if判断条件。
随便点开一个mp3文件,看下文件大小,看看是不是完整版的。
到这里为止,我们就已经将歌曲爬取完毕并存储到了桌面music文件夹里面了,简不简单。
跟着一步一步的走,思路是最重要的,小白也能学会。
最后附上完整的代码:
import requests
from lxml import etree
import os #创建文件夹
url='/discover/toplist?id=3778678'
head={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
}
down_url='/song/media/outer/url?id='
respone=requests.get(url,headers=head)
print(respone)
html=etree.HTML(respone.text)id_list=html.xpath('//a[contains(@href,"song?")]')
print(id_list)
for id in id_list:
href=id.xpath('./@href')[0]
print(href)
music_id=href.split('=')[1]
print(music_id)
if "$" not in music_id:
music_name=id.xpath('./text()')[0]
print(music_name)
music_url=down_url + music_id
music=requests.get(url=music_url,headers=head)
print(music_url)
if not os.path.exists(r'C:\Users\****\Desktop\music'):
os.mkdir(r'C:\Users\****\Desktop\music')
else:
with open(r'C:\Users\****\Desktop\music/%s.mp3' % music_name, "wb") as f:
print("正在下载歌曲 《%s》 ..." % music_name)
f.write(music.content)
划重点:想直接copy的小伙伴,记得检查有没有库,没有先安装库,记得将C:\Users\****\Desktop\music 改为自己的用户位置信息。
爬虫仅供学习,切勿恶意攻击。
感谢阅读,感谢您的支持!喜欢的点赞转发关注,感谢您一直以来的陪伴!