2021年11月2日获取阿里巴巴货物价格参数

1.找到阿里巴巴网站，网站是这里
https://re.1688.com/?cosite=baidujj_pz&keywordid=&trackid=885662561117990122602&location=

2.开始写代码，第一步下载相关的库

pip install selenium

3.第二步导入库并且可以打开网站，其中打开网站时禁止打开浏览器以及禁止加载图片和css，此为关键加速过程

from selenium import webdriver
import time
import csv
import re
options=webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2,'permissions.default.stylesheet':2}
options.add_experimental_option("prefs", prefs)
options.add_argument('--headless')
driver=webdriver.Chrome(options=options)
driver.get("https://re.1688.com/?cosite=baidujj_pz&keywordid=&trackid=885662561117990122602&location=")

4.将程序写进csv表格中，并且下移动页面使其货物全部展现，然后读取你需要的货物价格参数，在这个我们以衣服为例子

with open("1688阿里巴巴采购批发网.csv", "w", newline="", encoding="utf-8-sig") as datacsv:csvwriter = csv.writer(datacsv, dialect=("excel"))csvwriter.writerow(['产品', '价格'])p=input("请输入要寻找的货物：")driver.find_element_by_xpath('//*[@id="alisearch-keywords"]').send_keys(p)driver.find_element_by_xpath('//*[@id="alisearch-submit"]').click()

5.最后循环衣服页面的下一页，设定爬取的数量即可，这里我们选择爬取10页

    for j in range(10):driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")time.sleep(4)a = driver.find_elements_by_xpath('//*[@id="offerList"]/div/div/div[1]/div')print(len(a))for i in range(1,len(a)+1):k = []b=driver.find_element_by_xpath(f'//*[@id="offerList"]/div/div/div[1]/div[{i}]/a/div[2]').textc=driver.find_element_by_xpath(f'//*[@id="offerList"]/div/div/div[1]/div[{i}]/a/div[4]/a/span').texttry:c="¥"+re.findall('¥(.*?)¥.*',c)[0]except:c=ck.append(b)k.append(c)csvwriter.writerow(k)print("产品："+b,"价格："+c)driver.find_element_by_xpath('//*[@id="offerList"]/div/div/div[2]/div/div/button[2]').click()

6.完整代码展示

from selenium import webdriver
import time
import csv
import re
options=webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2,'permissions.default.stylesheet':2}
options.add_experimental_option("prefs", prefs)
options.add_argument('--headless')
driver=webdriver.Chrome(options=options)
driver.get("https://re.1688.com/?cosite=baidujj_pz&keywordid=&trackid=885662561117990122602&location=")
# driver=webdriver.Chrome()
with open("1688阿里巴巴采购批发网.csv", "w", newline="", encoding="utf-8-sig") as datacsv:csvwriter = csv.writer(datacsv, dialect=("excel"))csvwriter.writerow(['产品', '价格'])p=input("请输入要寻找的货物：")driver.find_element_by_xpath('//*[@id="alisearch-keywords"]').send_keys(p)driver.find_element_by_xpath('//*[@id="alisearch-submit"]').click()for j in range(10):driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")time.sleep(4)a = driver.find_elements_by_xpath('//*[@id="offerList"]/div/div/div[1]/div')print(len(a))for i in range(1,len(a)+1):k = []b=driver.find_element_by_xpath(f'//*[@id="offerList"]/div/div/div[1]/div[{i}]/a/div[2]').textc=driver.find_element_by_xpath(f'//*[@id="offerList"]/div/div/div[1]/div[{i}]/a/div[4]/a/span').texttry:c="¥"+re.findall('¥(.*?)¥.*',c)[0]except:c=ck.append(b)k.append(c)csvwriter.writerow(k)print("产品："+b,"价格："+c)driver.find_element_by_xpath('//*[@id="offerList"]/div/div/div[2]/div/div/button[2]').click()# time.sleep(4)driver.quit()

7.运行展示

8.最后爬取了生成了741条衣服价格参数表格

9.成功的小伙伴们望一键三连！！！感谢。

2021年11月2日获取阿里巴巴货物价格参数相关推荐

关于2021年11月28日PMI认证考试的报名通知
尊敬的各位考生: 经PMI和中国国际人才交流基金会研究决定,中国大陆地区2021年全国第二期PMI认证考试于11月28日举办,相关事项通知如下. 一.时间安排和举办地区 (一)考试时间:2021年11 ...
北交所开市工作准备就绪定于2021年11月15日开市
11月12日消息,北交所发布公告称,目前,北交所开市各项工作已准备就绪,定于2021年11月15日开市. 2021年11月12日,北交所发布<北京证券交易所合格境外机构投资者和人民币合格境外机构 ...
计算机视觉最新进展概览2021年10月31日到2021年11月6日
参考计算机视觉最新进展概览2021年10月31日到2021年11月6日 - 云+社区 - 腾讯云 1.Learning Distilled Collaboration Graph for Multi- ...
2021年11月23日对自己的一次鼓励
2021年11月23日 author:陈镇坤27 创建时间:2021年11月23日15:23:31 ------------------------------ 学习犹如逆水行舟,不进则退从今年7月 ...
任天堂推出《塞尔达传说》GAMEampWATCH游戏机，预计要在 2021 年 11 月 12 日推出塞尔达版本的 GAMEampWATCH
模玩资讯:任天堂推出<塞尔达传说>GAME&ampWATCH游戏机任天堂将自家起底基业商品GAME&ampWATCH结合招牌游戏有奇效!继去年此时推出<超级玛利欧兄 ...
C语言程序设计复习题（2021年11月3日）
C语言程序设计复习题 (2021年11月3日) 解析有空再写一.选择题: 1.以下各组数据中,不正确的数值或字符常量是( CAA ) [1]A)011 B)3.987E-2 C)018 D)0xa ...
关于推迟2021年11月28日PMI认证考试的通知
尊敬的考生: 经PMI和中国国际人才交流基金会研究决定,受近期全国多地疫情影响,2021年11月28日PMI认证考试将推迟举办,具体考试日期将视全国各地疫情防控情况及时公布. 如您无法参加延期后的考试 ...
中国移动将于11月1日公布5G套餐价格，北京地区已建5000个5G基站
在中国移动北京公司5G产业联盟大会上,中国移动北京公司副总经理李威表示,中国移动的5G建设再一次体现了中国速度. 中国移动具有全球最大的4G网络,2.6GHz+4.9GHz的双频组网模式使低成本高效建 ...
2021年11月23日无人机与NOMA技术结合论文的日常阅读
阅读论文路线 1.作者 Muhammad Farhan Sohail 相关文章这三篇已经详细看了,用户的信道模型,无人机的能量模型都参考的同样的文献. 不同的点在于不同的优化目标,非凸问题的求解使用 ...

2021年11月2日获取阿里巴巴货物价格参数

2021年11月2日获取阿里巴巴货物价格参数相关推荐

最新文章

热门文章