用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息

#用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time
from selenium.webdriver import ActionChains
from urllib.parse import quote
import requests
from bs4 import BeautifulSoup
from pyquery import PyQuery as pq
import pymongomax_page=10
browser = webdriver.Chrome()
#构造URL https://search.jd.com/Search?keyword=iphonewait = WebDriverWait(browser, 10)#显式等待keyword = 'iPhone'#存储到mongoDB
MONGO_URL = 'localhost'
MONGO_DB = 'JD'
MONGO_COLLECTION = 'PRUDUCTS'
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]
def save_to_mongo(result):try:if db[MONGO_COLLECTION].insert_one(result):print("存储成功")except Exception:print("存储失败")def get_products():html = browser.page_sourcedoc = pq(html)items=doc('#J_main .m-list .gl-i-wrap').items()for item in items:product ={'name': item.find('.promo-words').text(),'price': item.find('.p-price').text(),'shop': item.find('.J_im_icon').text()}print(product)save_to_mongo(product)def index_page(page):print("正在爬取第", page, "页")try:url ="https://search.jd.com/Search?keyword=" + quote(keyword)browser.get(url)if page >= 1:#获取跳页的输入框time.sleep(0.5)input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage .p-skip > input ')))#定位确定按钮time.sleep(0.5)submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage .p-skip > a ')))input.clear()input.send_keys(page)submit.click()#点击确定time.sleep(0.5)#wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#J_bottomPage .p-num > span'), str(page)))wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_goodsList .gl-warp .gl-i-wrap')))time.sleep(1)get_products()except TimeoutError:index_page(page)def main():for i in range (1, max_page):index_page(i)main()

用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息相关推荐

php 获取京东商品详情,用正则表达式，抓取京东的商品列表
用正则表达式,抓取京东的商品列表保存到服务器抓取文件实例 require 'function.php'; $url = 'https://list.jd.com/list.html?cat=73 ...
selenium/requess爬取京东手机商品的详细信息1~selenium练习版
selenium/requess爬取京东手机商品的详细信息1~selenium!! 前言因为我也是个学生,所以代码可能会有点繁琐,我们都是超能100,一点点积累进步,其实有很多的地方可以简化,因为我 ...
Python + selenium 爬取淘宝商品列表及商品评论 2021-08-26
Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26] 主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒主要内容通过python3.8+ sel ...
利用python爬取京东平台评论及图片并进行分析
一.背景及目的在淘宝.京东等网络平台上购物,逐渐成为大众化的购物方式.但假冒伪劣产品在这个摸不着实物的购物平台严重危害着消费者的购物体验,即使我们可以通过七天无理由退货退款来维护我们的合法权益,但是 ...
Python爬取京东任意商品数据实战总结
利用Python爬取京东任意商品数据今天给大家展示爬取京东商品数据首先呢还是要分思路的,我分为以下几个步骤: 第一步:得到搜索指定商的url 第二步:获得搜索商品列表信息第三步:对得到的商品数据 ...
爬取京东上商品的所有详细信息
项目介绍使用python抓取京东商城商品(以手机为例)的详细信息,并将相应的图片下载下载保存到本地. 爬取步骤 1.选取种子URL:http://list.jd.com/list.html?cat= ...
Python爬虫教程：Python爬取京东商城商品大图详解
Python爬取京东商城商品大图详解做为一个爬虫初学者,在做爬取网址图片的练习中以京东网为例爬取商品大图并保存在相应的文件夹 1.导入模块 import urllib.request import ...
python爬取京东商品图片_python利用urllib实现爬取京东网站商品图片的爬虫实例
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码! # -* ...
python爬取京东网页商品实例（一）
# Copyright (c)2018, 东北大学软件学院学生 # All rightsreserved # 文件名称:justForTest.py # 作者:孔云 #问题描述:打开京东页面,选取一 ...

用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息

用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息相关推荐

最新文章

热门文章