Python+SSM懂车帝汽车数据分析平台爬虫代码实例分析

概述

网络爬虫一直是一项比较炫酷的技术，但是业界一直是Python爬完用django flask框架进行web端展示，今天咱们换个口味。用python爬取，用java展示

开发分析

一、总体目标
本系统全称为汽车信息评价分析系统。主要目的是提高评论信息管理的效率，开发的目的是为用户在汽车网爬取评论信息平台。本系统主要任务是设计开发一个基于python和msyql数据库的汽车信息评价分析系统，以后台数据管理分析为核心，建立以评论分析实现大数据分析可视化管理。
二、功能、性能以及可靠性要求
（一）爬虫技术
汽车信息评价分析系统通过利用爬虫，获取汽车网汽车评论内容存放入数据库，管理系统对所有评论信息进行分析和可视化处理。网站前台用户可以查看到所有汽车评论信息。
（二）数据库技术
利用MYSQL本地数据库，存放在汽车网爬取到的汽车信息，将汽车的汽车名、汽车图片、价格、评论等信息字段分别存入数据库。在以后的论文内容更新中也要加入数据库。
（三）SSM编程技术
利用IDEA编译器，使用SSM框架编程技术对本系统进行前端与后端的代码
处理。同时连接本地数据库，通过系统内的方法，使管理员可以直接在前端进行论文内容的各种操作。

开发技术

爬虫程序：Anconda3 PyCharm PyMySQL Requests框架
数据分析程序：ssm框架百度echarts EasyUI前端框架

爬虫程序分析

先去用浏览器抓取懂车帝的访问url然后改成python代码抓取网页得到数据

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
from io import BytesIO
from PIL import Imageimport pymysql
import json
from bs4 import BeautifulSoup
import requests"""车辆信息列表页面网址: https://www.dongchedi.com/motor/car_score/api/m/v1/landing_page/get_detail/?series_id=100&data_from=pc_station参数说明:https://www.dongchedi.com/motor/car_score/api/m/v1/landing_page/get_detail/?series_id=100&data_from=pc_station# ajax方式获取车辆详细信息# https://www.dongchedi.com/auto/library/x-x-x-x-x-x-x-x-x-x-x参数说明：clinic_web_c511c49e632a6564：详情参数# 变量命名总结：
# 1.单下划线开头变量：protected
# 2.双下划线开头变量：private
# 3.双下划线开头，双下划线结尾：系统内置变量""""""
参数：page     页码cityName 城市
"""
def __get_car_list_data(page,cityName):web_url = 'https://www.dongchedi.com/motor/brand/m/v6/select/series/?city_name='+cityNameheaders = {'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",'Content-type': "application/json;charset=UTF-8"}data={"offset": page,"limit": 30,"is_refresh": 0,"city_name": "北京"}r = requests.post(headers = headers,url=web_url,data=data)_body = r.textreturn _body"""

数据可视化代码分析

数据可视化借助java的easyui 百度echarts插件

具体实现代码如下：

    @PostMapping("/barCharts")@ResponseBodypublic Map barCharts(){result=new HashMap<String,Object>();try{List<PicCharts> picCharts=carService.barCharts();result.put("code", ResponseCode.SUCCESS_HEAD);result.put("msg","success");result.put("data",picCharts);} catch (Exception e){result.put("code", ResponseCode.EXCEPTION_HEAD);result.put("failure",true);result.put("msg",e.getMessage());e.printStackTrace();}return result;}

很明显能感觉到这是返回json代码给前端进行封装可视化展现

分享给大家希望我的讲解帮助大家学会Python+SSM开发模式