本文数据为博主自己爬取

最新 Python3 爬取前程无忧招聘网 mysql和excel 保存数据

学完可视化,准备自行爬取数据,自行分析。在实践中获得书上没有的知识,源于书本,高于书本。

最新可视化分析前程无忧招聘网

  • 1、数据预处理
  • 2、进行数据清洗
  • 3、数据可视化(pyecharts)

1、数据预处理

将存储在mysql 中的数据进行数据预处理

  • 在jupyter notebook中进行调试


导出至excel 获得初步的数据结果

2、进行数据清洗

部分代码展示

# 构造想要分析的目标岗位,做一个数据筛选
target_job = ['数据分析','电商运营','新媒体运营','会计','财务经理','运营专员','销售助理','人事主管','网络推广专员','市场专员']
index = [df["岗位名"].str.count(i) for i in target_job]
index = np.array(index).sum(axis=0) > 0
job_info = df[index]
job_info.head()

# 公司类型 字段处理
# print(job_info['公司类型'].value_counts())
company_types = ['民营','合资','外资','事业单位','上市','国企','非营利组织','创业','外企代表处','政府机关']
company_types = np.array(company_types)
def rename(x=None, company_types=company_types):name = [i in x for i in company_types]if sum(name)>0:return company_types[name][0]else:return x
job_info['公司类型'] = job_info['公司类型'].apply(rename)
print(job_info['公司类型'].value_counts())
job_info.head()


最终效果

3、数据可视化(pyecharts)


  • 将清洗好的数据进行导入
import pandas as pddf = pd.read_excel('after_cleaning_data.xlsx')
df.head()


部分代码展示------制作图表

  • 饼图 不同学历分布
from pyecharts.charts import Pie
# 饼图  不同学历分布
educations = df['学历'].value_counts()
educations_index = educations.index.tolist()
educations_values = educations.values.tolist()
# educations_list = [(i,j) for i,j in zip(educations_index,educations_values)]
# educations_list    # for test
pie1 = (Pie(init_opts=opts.InitOpts(theme=ThemeType.LIGHT)).add('',data_pair=[(i,j) for i,j in zip(educations_index,educations_values)]).set_global_opts(title_opts={'text':'招收岗位学历分布图'},toolbox_opts=opts.ToolboxOpts(is_show=True),legend_opts=opts.LegendOpts(pos_bottom='5%'))
)
pie1.render_notebook()

  • 不同公司类型的工资水平
# 不同公司类型的工资水平
salary_level = df.groupby("公司类型")["工资水平"].mean()
# print(type(salary_level))
# Series转换为DataFrame
type_salary=pd.DataFrame({'公司类型':salary_level.index,'平均工资':salary_level.values})
type_salary['平均工资'] = type_salary['平均工资'].apply(lambda x :round(x))
# type_salary  for test
bar3 = (Bar(init_opts=opts.InitOpts(theme=ThemeType.LIGHT)).add_xaxis(type_salary['公司类型'].values.tolist()).add_yaxis(series_name='不同类型公司的工资水平',yaxis_data=type_salary['平均工资'].values.tolist()).set_global_opts(toolbox_opts=opts.ToolboxOpts(is_show=True),title_opts={'text':'不同公司类型的工资水平图'},xaxis_opts=opts.AxisOpts(axislabel_opts={'interval':'0'}))
)
bar3.render_notebook()

  • 工作经验与工资水平折线图
from pyecharts.charts import Line
bar5 = (Line(init_opts=opts.InitOpts(theme=ThemeType.DARK)).add_xaxis(ex_sa['工作经验'].values.tolist()).add_yaxis('工资水平',y_axis=ex_sa['工资水平'].values.tolist()).set_global_opts(xaxis_opts=opts.AxisOpts(axislabel_opts={'interval':'0'}),toolbox_opts=opts.ToolboxOpts(is_show=True),title_opts={'text':'工作经验与工资水平折线图'})
)
bar5.render_notebook()

本人目前为了加强可视化,数据清洗能力,会自行爬取数据并进行可视化分析,如果有小伙伴和我一样,关注我,会有新的案例,一起进步。

本文代码可以共享,需要请评论或私聊

Python做出来的数据可视化真香!!相关推荐

  1. python与excel做数据可视化-我在工作中是怎么玩数据的—数据可视化系列教程—Python篇...

    一. 为什么是Python? Python现在已经成为数据科学的语言!基于 Python 代码实现批量化,流程化的数据探索与汇报!按照地产大佬***的话讲--就是重复性的工作直接用Python搞定就可 ...

  2. 毕业设计-基于Python爬虫的疫情数据可视化系统

    基于Python爬虫的疫情数据可视化系统 采用ECharts+Flask+Requests架构: 源码加3105088663

  3. 30行python代码设计_30行Python代码实现3D数据可视化

    原标题:30行Python代码实现3D数据可视化 作者:潮汐 来源:Python技术 欢迎来到 编程教室~ 我们之前的文章中有讲解过不少 Matplotlib 的用法,比如: 之前我们基本都是用它来绘 ...

  4. Python项目实战:数据可视化与股票数据分析-关东升-专题视频课程

    Python项目实战:数据可视化与股票数据分析-333人已学习 课程介绍         本视频内容包括使用Matplotlib绘制图表.MySQL数据库.Python访问数据库和Lambda表达式. ...

  5. Python爬虫实战,pyecharts模块,Python实现中国地铁数据可视化

    前言 利用Python实现中国地铁数据可视化.废话不多说. 让我们愉快地开始吧~ 开发工具 Python 版本:3.6.4 相关模块: requests模块; wordcloud模块; 熊猫模块; n ...

  6. 新书《Python Qt GUI与数据可视化编程》

    经过一年多写作和出版社的编辑加工,我的第二本书<Python Qt GUI与数据可视化编程>马上就正式上架了,敬请关注. 本书介绍在Python中使用PyQt5和其他模块进行GUI和数据可 ...

  7. Python爬取豆瓣+数据可视化

    博客原文和源码下载:Python爬取豆瓣+数据可视化 前言 前段时间应我姐邀请,看了一下Python爬虫.不得不说Python的语法确实简洁优美,可读性强,比较接近自然语言,非常适合编程的初学者上手. ...

  8. python qt5 gui快速编程_现货正版 Python Qt GUI与数据可视化编程 pyqt5教程书籍 pyqt5快速开发与实战Qt5 GUI快速编程 计算机网络程序设计人民邮电出版社...

    热销单品 查看更多 > RMB:85.00 立即购买 RMB:63.50 立即购买 RMB:73.50 立即购买 RMB:49.50 立即购买 RMB:127.80 立即购买 RMB:66.00 ...

  9. Python matplotlib模块实现数据可视化

    Python matplotlib模块实现数据可视化 代码如下: # -*- coding: utf-8 -*- import matplotlib.pyplot as plt import nump ...

  10. 【Python数据处理篇——DataFrame数据可视化】饼图、散点图、折线图、柱形图、直方图

    欢迎访问我搞事情的[知乎账号]:Coffee 以及我的[B站漫威剪辑账号]:VideosMan 若我的笔记对你有帮助,请用小小的手指,点一个大大的赞哦. 关于DataFrame的相关知识,我还进行了汇 ...

最新文章

  1. R语言泊松回归(poisson)模型案例:基于robust包的Breslow癫痫数据集
  2. 使用Python3进行AES加密和解密 输入的数据
  3. 找出有序数组X和Y中所有元素的中位数(X,Y分别含n个元素)(算法导论第三版9.3-8)
  4. 汇编语言:编写code段中的代码,用push指令将a段中的前8个字型数据,逆序存储b段中
  5. 厉精图治的拼音及解释
  6. 深度优先搜索(DFS)
  7. 让apache支持ssl
  8. mysql源码解读——内存管理MEM_ROOT
  9. 全智通A+常见问题汇总解答—A+配件仓库—维修领料—编辑领料单:最后一个仓库无法显示
  10. PS获取图片三种方式
  11. 第11届蓝桥杯本科组校赛
  12. 游戏本怎么选?战神Z7T-DA7NP便宜又强悍,办公游戏两不误
  13. 使用Pytorch实现NLP深度学习
  14. 《AngularJS深度剖析与最佳实践》一1.4 实现第一个页面:注册
  15. 微信入口绑定,微信事件处理,微信API全部操作
  16. 2021年中国农民工总量、外出农民工规模及农民工平均年龄分析[图]
  17. 深入了解电容(三):陶瓷电容MLCC
  18. 关于未将对象引用设置到对象实例简单原理分析,与解决方法
  19. 【MOOC】华中科技大学计算机组成原理慕课答案-第六章-中央处理器(一)
  20. 日期时间选择插件 - laydate.js

热门文章

  1. 计算机应用专业毕业设计模板,计算机应用毕业论文模板范文
  2. SQL 数据库 学习 033 视图
  3. 基于Linux系统PXE启动DOS工具
  4. wireshark数据包分析 中职网络安全
  5. 支付宝小程序获取手机号授权
  6. IMDB TOP250电影介绍(下)
  7. 安装ps提示重新启动计算机,安装Service Pack或执行DCPROMO后,出现错误或服务器重新启动 - Product Support Quick Note (PSQN) - 276184...
  8. 不能创建对象qmdispatch_ActiveX部件不能创建对象:‘dm.dmsoft',代码:800A01AD
  9. 做在线交易你必须知道的关于支付的知识
  10. 讯飞语音离线版本集成