python爬取去哪里_Python爬取去哪儿网热门旅游信息

import requests

from pyquery import PyQuery as pq

#让使用者自行输入要查询的旅游地

travel_name =input("请输入你要查询的一日游旅游地信息,如（成都）:")

#设置循环两页

for page in range(1,3):

# 网页的地址。把keyword和page后面的值设置为填充值

url = '/daytrip/list.htm?keyword={}&region=&from=mdl_search&sort=&page={}'.format(travel_name,page)

# 请求头 浏览器类型

headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.9 Safari/537.36"}

# 向网址发送请求

res = requests.get(url,headers=headers).text

#print(res)

# 数据初始化

doc =pq(res)

# 通过类选择器获取旅游项目，项目价格以及评分信息

name =doc(".name")

sight_item_price=doc(".sight_item_price")

relation_count=doc(".relation_count")

#然后我们用items（）将数据转换成能够被遍历的数据

# 通过类选择器获取旅游项目，项目价格以及评分信息

name =doc(".name").items()

sight_item_price=doc(".sight_item_price").items()

relation_count=doc(".relation_count").items()

#print(name.text())

# 遍历旅游项目，项目价格以及项目名称

for x,s,f in zip(name,sight_item_price,relation_count):

# 将旅游项目信息转换为文本

name1=x.text()

#将项目价格转换为文本

sight_item_price1=s.text()

# 将评分信息转换为文本

relation_count1=f.text()

#将旅游项目，项目价格以及评分信息拼接起来

travel =(name1+sight_item_price1+relation_count1)

print(travel)

# 打开“去哪儿网”文件夹，保存为“广州一日游.txt”,"a"追加的方式，编码为utf-8

# 打开“去哪儿网”文件夹，保存为“xx一日游.txt”,"a"追加的方式，编码为utf-8

f =open('./'+'{}一日游'.format(travel_name)+'.txt',"a",encoding="utf-8")

# 写入旅游信息

f.write(travel+"\n")

# 关闭文件写入

f.close()