*获取页面里没有商品信息而是登录页面是因为没有cookie信息，所以想要获取淘宝商品信息需要先登录自己的账号得到自己的cookie
获取淘宝cookie的方法：
首先先登录我们自己的淘宝账号
淘宝搜索任意内容后会出现一个新的第三步Name
源代码
import reimport requestsfrom bs4 import BeautifulSoupurl = '/search?q='# 设置cookie的值cookie = 'xlly_s=1; alitrackid=; cookie2=11684d2a4e006d3bb2b83ef3cfc4df49; t=0886ed00aad99aac5066105b8d39482a; _tb_token_=f15a6e17e8be7; hng=CN|zh-CN|CNY|156; thw=cn; _samesite_flag_=true; lastalitrackid=; _uab_collina=162123837338555780261734; _m_h5_tk=84039b1ef1fc7b24d62625d23441f268_1621251566876; _m_h5_tk_enc=7bb20836687a0e761deda47c4daa356e; cna=pDaHFvnA1hACAWohEn0c+FxZ; sgcookie=E100yD+P4igrfk1gQkuePSkahKbbZC7Olb6yJv3ZulI+2xGu0W6WTjEEChg49ypic3zsJjhD4WloaC3u5cvrg8GzkQ==; unb=4149725860; uc3=lg2=URm48syIIVrSKA==&vt3=F8dCuwgmnFUwCjCMxrA=&id2=Vy0XFx9cRUBCZg==&nk2=AmkKA6aQ; csg=338fe594; lgc=axx299; cookie17=Vy0XFx9cRUBCZg==; dnk=axx299; skt=89f5d08b04a3b0c5; existShop=MTYyMTI0MjI2MA==; uc4=id4=0@VXqZhcZWJjDI9oEJEx/pgXFQmfUf&nk4=0@AII8YTsd27vacUliRCUDGvc=; tracknick=axx299; _cc_=URm48syIZQ==; _l_g_=Ug==; sg=906; _nk_=axx299; cookie1=W8Df+oB22CyNFBDcTj2SsDN04w346wIplNTEykc2Uek=; mt=ci=22_1; uc1=pas=0&cookie21=Vq8l+KCLivbdjeuVIQ2NTQ==&existShop=false&cookie14=Uoe2zEWtsBiCXw==&cookie16=W5iHLLyFPlMGbLDwA+dvAGZqLg==&cookie15=Vq8l+KCLz3/65A==; enc=FfEc/39WjXLL8BQr8K6FZ8MxZ+237MHcgvrTbCCEGdq0/CJ9tM5/26mrb3TNxxkQCOPvQHKiwaTU9tbDoJwSlQ==; x5sec=7b227365617263686170703b32223a223339383263646666326461306462393666656636366264353732306534663736434a726a69495547454c7a6a3038796f764d657a59786f4d4e4445304f5463794e5467324d4473784d4b6546677037382f2f2f2f2f77453d227d; JSESSIONID=D15E590BDEE6C0E9B6A58B6534D9523D; isg=BFlZcDxFXWqWPwH9JmyGJ5vVaEUz5k2YrQmcU3sOdgD1gnsUwTQOaILUhEb0aOXQ; tfstk=cpdABNao30mD9v7J8KHo1fMO_WdOZ4PAXrsU6q_I0t0_wUVOikdH9ZYqhwQtm4C..; l=eBaNRBMHj2s15dsFBO5Churza779VIRbzxFzaNbMiInca1l51EXiSNCC0t09RdtjgtCbSexyq4hFHRnp5i4dg2HvCbKrCyCuHxJO.'# 获取网页源代码def gethtml(url):try:kv = {'cookie': cookie}r = requests.get(url, headers=kv, timeout=30) # 把cookie写入头部r.raise_for_status()r.encoding = r.apparent_encodingsoup = BeautifulSoup(r.text, 'html.parser')return soup.prettify()except:return "产生异常"# 将商品信息写入列表def getinfo(glist, html):jiage = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)mingcheng = re.findall(r'\"raw_title\"\:\".*?\"', html)chang = len(jiage)for i in range(chang):glist.append([mingcheng[i][13: -2], jiage[i][14: -2]])# 输出信息函数def prinlist(glist):for i in range(len(glist)):print('{0:^3}\t{2:{3}<5}\t{1:<30}'.format(i+1, glist[i][0], glist[i][1], chr(12288)))def main():goodsName = input("请输入要爬取的内容")pages = 2 # 想要爬取的商品名count = 0glist = []for page in range(pages):html = gethtml(url + goodsName + "&s=" + str(pages*page))getinfo(glist, html)prinlist(glist)main()
输出结果：
E:\python\python.exe G:/pytest/淘宝商品比价定向爬虫.py请输入要爬取的内容书包1 149.0鳄鱼男士双肩包商务休闲电脑背包大容量旅 2 138.0多妙屋小学生书包女童一三四年级女孩彩虹减负护脊轻便儿童双肩 3 179.0Nike耐克双肩包女夏季新款运动包学生书包小包绒面背包CU2574 85.0男士个性虎头男中学创意仿真大老虎头背包狮子头虎头包书包双肩 5 89.0小米 （MI）背包极简都市双肩包2男女笔记本电脑15.6英寸学生书6 149.0小米双肩包商务简约书包男女士大学生时尚潮流旅行笔记本电脑背 7 59.0双肩包男士大容量电脑旅行背包女时尚潮流大学生高中初中学生书 8 128.0多妙屋书包小学生女童一三四年级公主女孩轻便儿童护脊减负双肩 9 119.0Skechers斯凯奇新款书包大容量运动风大学生夏男士双肩背包10 158.0双肩包男士出差旅游大容量背包女运动休闲笔记本电脑包旅行书包 11 69.0大容量男士双肩包休闲旅游旅行电脑背包女高中初中学生书包大学 12 619.0MoonRock梦乐品牌书包减负1-3年级男女小学生儿童超轻便双肩背13 499.0fjallraven瑞典北极狐双肩包kanken书包女电脑背包官方旗舰235114 88.0正品nike耐克双肩包男女休闲运动学生书包大容量旅行电脑时尚背15 198.0阳光8点 小学生书包一二三到六年级男女儿童超轻减压护脊轻便减16 129.0KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减17 258.0电视剧款JanSport杰斯伯新款双肩包时尚潮女书包男电脑背18 139.0KVG书包小学生男1-3一二三到六年级4-6儿童超轻便减负女护脊背19 298.0Colins Keirs双肩包男士商务休闲大容量电脑包背包男旅行书包潮20 129.0KK剑桥树书包小学生女孩一二三到六年级儿童双肩包护脊减负6-1221 208.0款日本超轻书包小学生女大容量一二三到六年级儿童书包男护22 59.0双肩包男士大容量商务电脑旅游旅行背包女大学生高中初中学生书 23 88.0凯蒂猫女童一二三到六年级女孩超轻护脊减负儿童双肩包小学生书 24 135.0旅行背包男士大容量超大休闲出差旅游特大书包80升行李大号双肩25 258.0日本KYOSHO拉杆书包静音小学生男孩女生儿童大容量防水可爬楼初26 49.0双肩包女新款韩版牛津布小背包女士百搭时尚大容量帆布书包27 149.0uek小学生书包男孩女生一二三四五六年级护脊双肩6-12岁轻便儿28 59.9儿童书包男童一到三四五六年级男孩小学生背包大童卡通超轻便护 29 3105.0金实佳 日本代购 ISSEYMIYAKE 三宅一生 双肩包 磨砂黑书包 背30 79.0诺狐婴幼儿园书包女孩男孩3岁5大班小班宝宝儿童防走失背包女 31 178.0帆布共和国新款双肩包女男背包大容量简约时尚百搭撞色书包32 59.0巴布豆儿童书包男童1-3-4-6年级轻便减负防水护脊女童书包小学生33 580.0Samsonite/新秀丽双肩包女小包 休闲时尚双肩背包简约商务书包TQ34 399.0Fjallraven/北极狐双肩背包kanken mini 迷你情侣书包背包女235635 138.0旅行包男户外登山休闲超大容量旅游双肩书包出差背包女行李多功 36 900.0Gaston Luga电脑双肩包男皮大容量书包男时尚潮流百搭旅行背包37 599.0Samsonite/新秀丽儿童书包小学生一六低高年级男女孩双肩背包TU38 249.0国家地理背包女运动户外时尚电脑双肩包男旅行防水学生情侣书包 39 198.0瑞士军刀双肩包男休闲大容量书包瑞士军士刀男士电脑商务旅行背 40 178.0瑞士军士刀双肩包男背包商务出差电脑旅行包大容量初高中学生书 41 118.0瑞士双肩包男超大容量休闲商务旅行电脑背包男士高中初中学生书 42 149.0双肩包女新款时尚韩版百搭大容量牛津布简约旅行防盗背包书43 58.0双肩包男日系ins男士潮牌大容量休闲旅行包背包女潮酷书包大学44 399.0小众夏真皮牛皮包包新款时尚迷你百搭小书包女包双肩包女背45 69.0潮流双肩包男士休闲防水旅行包电脑包背包高中初中大学生书包男 46 398.0【顺丰速发】日本书包小学生男儿童一二三到六年级护脊减负超轻 47 379.0FILA斐乐童装儿童双肩包小学生书包新款男童女童低年级背48 32.9儿童书包小学生超轻三到六男童幼儿园一年级女二男孩四定制印log49 149.0小米双肩包商务简约书包男女士大学生时尚潮流旅行笔记本电脑背 50 59.0双肩包男士大容量电脑旅行背包女时尚潮流大学生高中初中学生书 51 128.0多妙屋书包小学生女童一三四年级公主女孩轻便儿童护脊减负双肩 52 119.0Skechers斯凯奇新款书包大容量运动风大学生夏男士双肩背包53 158.0双肩包男士出差旅游大容量背包女运动休闲笔记本电脑包旅行书包 54 69.0大容量男士双肩包休闲旅游旅行电脑背包女高中初中学生书包大学 55 59.0迪士尼书包小学生男童女童儿童双肩包三到六年级一二护脊减负超 56 619.0MoonRock梦乐品牌书包减负1-3年级男女小学生儿童超轻便双肩背57 499.0fjallraven瑞典北极狐双肩包kanken书包女电脑背包官方旗舰235158 88.0正品nike耐克双肩包男女休闲运动学生书包大容量旅行电脑时尚背59 198.0阳光8点 小学生书包一二三到六年级男女儿童超轻减压护脊轻便减60 129.0KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减61 258.0电视剧款JanSport杰斯伯新款双肩包时尚潮女书包男电脑背62 139.0KVG书包小学生男1-3一二三到六年级4-6儿童超轻便减负女护脊背63 298.0Colins Keirs双肩包男士商务休闲大容量电脑包背包男旅行书包潮64 129.0KK剑桥树书包小学生女孩一二三到六年级儿童双肩包护脊减负6-1265 208.0款日本超轻书包小学生女大容量一二三到六年级儿童书包男护66 59.0双肩包男士大容量商务电脑旅游旅行背包女大学生高中初中学生书 67 149.0鳄鱼男士双肩包大容量商务休闲电脑背包旅行时尚潮流初中学生书 68 69.9迪卡侬双肩包男背包书包户外包运动登山包女休闲旅行学生轻便ODA69 88.0凯蒂猫女童一二三到六年级女孩超轻护脊减负儿童双肩包小学生书 70 149.0安踏背包男女双肩包新款黑色书包学生电脑包户外运动旅行背71 135.0旅行背包男士大容量超大休闲出差旅游特大书包80升行李大号双肩72 258.0日本KYOSHO拉杆书包静音小学生男孩女生儿童大容量防水可爬楼初73 49.0双肩包女新款韩版牛津布小背包女士百搭时尚大容量帆布书包74 149.0uek小学生书包男孩女生一二三四五六年级护脊双肩6-12岁轻便儿75 59.9儿童书包男童一到三四五六年级男孩小学生背包大童卡通超轻便护 76 3105.0金实佳 日本代购 ISSEYMIYAKE 三宅一生 双肩包 磨砂黑书包 背77 49.9迪卡侬官方旗舰店官网儿童运动背包轻便登山包双肩包学生书包KID78 79.0诺狐婴幼儿园书包女孩男孩3岁5大班小班宝宝儿童防走失背包女 79 178.0帆布共和国新款双肩包女男背包大容量简约时尚百搭撞色书包80 118.0迪士尼书包小学生男童三到六年级四五护脊减负一二儿童男新81 59.0巴布豆儿童书包男童1-3-4-6年级轻便减负防水护脊女童书包小学生82 580.0Samsonite/新秀丽双肩包女小包 休闲时尚双肩背包简约商务书包TQ83 399.0Fjallraven/北极狐双肩背包kanken mini 迷你情侣书包背包女235684 138.0旅行包男户外登山休闲超大容量旅游双肩书包出差背包女行李多功 85 900.0Gaston Luga电脑双肩包男皮大容量书包男时尚潮流百搭旅行背包86 249.0国家地理背包女运动户外时尚电脑双肩包男旅行防水学生情侣书包 87 599.0Samsonite/新秀丽儿童书包小学生一六低高年级男女孩双肩背包TU88 198.0瑞士军刀双肩包男休闲大容量书包瑞士军士刀男士电脑商务旅行背 89 29.0【急速发货】小米双肩包小背包男女运动包休闲双肩包学生书 90 178.0瑞士军士刀双肩包男背包商务出差电脑旅行包大容量初高中学生书 91 118.0瑞士双肩包男超大容量休闲商务旅行电脑背包男士高中初中学生书 92 149.0双肩包女新款时尚韩版百搭大容量牛津布简约旅行防盗背包书Process finished with exit code 0
