文章目录

  • 1.转置函数 df.T
  • 2.排序和排名 sort_values 、sort_index()、rank()
  • 3.非重复与汇总计数 unique()、value_counts()
  • 4.描述统计 describe()
  • 5.分组统计
#导包，获取数据
import pandas as pd
df=pd.read_csv('DataAnalyst.csv',encoding='gbk')
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6823 entries, 0 to 6822
Data columns (total 19 columns):
city                 6823 non-null object
companyFullName      6823 non-null object
companyId            6823 non-null int64
companyLabelList     6121 non-null object
companyShortName     6823 non-null object
companySize          6823 non-null object
businessZones        4833 non-null object
firstType            6816 non-null object
secondType           6817 non-null object
education            6823 non-null object
industryField        6823 non-null object
positionId           6823 non-null int64
positionAdvantage    6823 non-null object
positionName         6823 non-null object
positionLables       6791 non-null object
bottom               6823 non-null int64
top                  6823 non-null int64
avg                  6823 non-null float64
workYear             6823 non-null object
dtypes: float64(1), int64(4), object(14)
memory usage: 1012.9+ KB
df.head(4)
city companyFullName companyId companyLabelList companyShortName companySize businessZones firstType secondType education industryField positionId positionAdvantage positionName positionLables salary workYear
0 上海 纽海信息技术(上海)有限公司 8581 ['技能培训', '节日礼物', '带薪年假', '岗位晋升'] 1号店 2000人以上 ['张江'] 技术 数据开发 硕士 移动互联网 2537336 知名平台 数据分析师 ['分析师', '数据分析', '数据挖掘', '数据'] 7k-9k 应届毕业生
1 上海 上海点荣金融信息服务有限责任公司 23177 ['节日礼物', '带薪年假', '岗位晋升', '扁平管理'] 点融网 500-2000人 ['五里桥', '打浦桥', '制造局路'] 技术 数据开发 本科 金融 2427485 挑战机会,团队好,与大牛合作,工作环境好 数据分析师-CR2017-SH2909 ['分析师', '数据分析', '数据挖掘', '数据'] 10k-15k 应届毕业生
2 上海 上海晶樵网络信息技术有限公司 57561 ['技能培训', '绩效奖金', '岗位晋升', '管理规范'] SPD 50-150人 ['打浦桥'] 设计 数据分析 本科 移动互联网 2511252 时间自由,领导nic 数据分析师 ['分析师', '数据分析', '数据'] 4k-6k 应届毕业生
3 上海 杭州数云信息技术有限公司上海分公司 7502 ['绩效奖金', '股票期权', '五险一金', '通讯津贴'] 数云 150-500人 ['龙华', '上海体育场', '万体馆'] 市场与销售 数据分析 本科 企业服务,数据服务 2427530 五险一金 绩效奖金 带薪年假 节日福利 大数据业务分析师【数云校招】 ['商业', '分析师', '大数据', '数据'] 6k-8k 应届毕业生

1.转置函数 df.T

#行列转置
df.T
0 1 2 3 4 5 6 7 8 9 ... 6866 6867 6868 6869 6870 6871 6872 6873 6874 6875
city 上海 上海 上海 上海 上海 上海 上海 上海 上海 上海 ... 北京 北京 北京 北京 北京 北京 北京 北京 北京 北京
companyFullName 纽海信息技术(上海)有限公司 上海点荣金融信息服务有限责任公司 上海晶樵网络信息技术有限公司 杭州数云信息技术有限公司上海分公司 上海银基富力信息技术有限公司 上海青之桐投资管理有限公司 上海好体信息科技有限公司 上海安硕信息技术股份有限公司 上海崇杏健康管理咨询有限公司 五五海淘（上海）科技股份有限公司 ... 云联世纪（北京）数据服务有限公司 福建省中天地征信有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司 北京亿盛融华投资管理有限公司
companyId 8581 23177 57561 7502 130876 28095 2002 21863 121208 58109 ... 146872 138882 151898 151898 151898 151898 151898 151898 151898 151898
companyLabelList ['技能培训', '节日礼物', '带薪年假', '岗位晋升'] ['节日礼物', '带薪年假', '岗位晋升', '扁平管理'] ['技能培训', '绩效奖金', '岗位晋升', '管理规范'] ['绩效奖金', '股票期权', '五险一金', '通讯津贴'] ['年底双薪', '通讯津贴', '定期体检', '绩效奖金'] ['美女多', '出国旅游', '不打卡', '带薪年假'] ['年底双薪', '股票期权', '扁平管理', '领导好'] ['岗位晋升', '顶尖团队', '福利优厚', '股票期权'] ['扁平管理', '弹性工作', '岗位晋升', '领导好'] ['股票期权', '带薪年假', '绩效奖金', '岗位晋升'] ... ['弹性工作', '节日礼物', '领导好', '五险一金'] NaN NaN NaN NaN NaN NaN NaN NaN NaN
companyShortName 1号店 点融网 SPD 数云 银基富力 青桐资本 足球魔方 安硕信息（amarsoft） 上海崇杏 55海淘 ... 云联数据 中天地征信 亿盛资本 亿盛资本 亿盛资本 亿盛资本 亿盛资本 亿盛资本 亿盛资本 亿盛资本
companySize 2000人以上 500-2000人 50-150人 150-500人 15-50人 50-150人 150-500人 2000人以上 15-50人 150-500人 ... 少于15人 50-150人 150-500人 150-500人 150-500人 150-500人 150-500人 150-500人 150-500人 150-500人
businessZones ['张江'] ['五里桥', '打浦桥', '制造局路'] ['打浦桥'] ['龙华', '上海体育场', '万体馆'] ['上海影城', '新华路', '虹桥'] NaN ['龙华', '植物园', '上海南站'] ['黄兴公园', '长白新村', '延吉'] ['上海电视台', '南京西路', '人民广场'] ['漕宝路', '万源城', '东兰路'] ... NaN ['德胜门', '新街口', '北太平庄'] NaN NaN NaN NaN NaN NaN NaN NaN
firstType 技术 技术 设计 市场与销售 技术 金融类 技术 产品/需求/项目类 技术 技术 ... 市场与销售 技术 其它 金融类 市场/商务/销售类 市场/商务/销售类 产品/需求/项目类 其他 市场/商务/销售类 金融类
secondType 数据开发 数据开发 数据分析 数据分析 软件开发 天使投资/VC/PE 后端开发 产品设计/需求分析 后端开发 后端开发 ... 销售 后端开发 教育|培训 风控 销售 销售 项目管理 房地产|建筑业 销售 风控
education 硕士 本科 本科 本科 本科 本科 本科 硕士 本科 本科 ... 不限 本科 大专 不限 大专 大专 大专 大专 大专 不限
industryField 移动互联网 金融 移动互联网 企业服务,数据服务 其他 金融 移动互联网,电子商务 金融 移动互联网,医疗健康 电子商务 ... 电子商务,移动互联网 移动互联网,数据服务 金融、教育 金融、教育 金融、教育 金融、教育 金融、教育 金融、教育 金融、教育 金融、教育
positionId 2537336 2427485 2511252 2427530 2245819 2580543 1449715 2568628 2416852 1605795 ... 2465479 2093199 2466098 2465818 2469665 2469682 2469686 2470949 2465839 2471674
positionAdvantage 知名平台 挑战机会,团队好,与大牛合作,工作环境好 时间自由,领导nic 五险一金 绩效奖金 带薪年假 节日福利 在大牛下指导 留用机会,精品投行,优秀团队,氛围轻松 薪资福利待遇好，晋升空间大 健康体检 扁平管理,上升空间大,领导好,弹性工作 向大牛学习，有留司机会 ... 无责底薪+高提成+五险+年底双薪+带薪年假 以解决技术难题为乐趣的工作最有吸引力 薪资高待遇好 这是一个自我追寻的时代来亿盛资本看看吧。 工作自由、法定假日休息 高薪双休五险一金时间自由朝九晚五 高薪五险一金双休朝九晚五带薪年假20天 高薪五险一金双休朝九晚五无加班可培训 高薪&nbsp;无加班&nbsp;&nbsp;双休&nbsp;&nbsp;五险一金&nbsp; 挑战高薪，挑战自我
positionName 数据分析师 数据分析师-CR2017-SH2909 数据分析师 大数据业务分析师【数云校招】 BI开发/数据分析师 助理分析师 数据工程师 数据咨询顾问(2017年毕业) 数据处理工程师（实习生） 数据处理实习生 ... 数据中心场地销售 爬虫数据-实习生 分析师助理 交易员分析师 外汇分析师 金融证券分析师&nbsp;&nbsp;助理 金融证券分析师&nbsp;可培训 金融证券分析师&nbsp;讲师&nbsp;助理 金融证券分析师助理讲师助理 1W五险双休诚聘金融分析师助理可兼职
positionLables ['分析师', '数据分析', '数据挖掘', '数据'] ['分析师', '数据分析', '数据挖掘', '数据'] ['分析师', '数据分析', '数据'] ['商业', '分析师', '大数据', '数据'] ['分析师', '数据分析', '数据', 'BI'] ['实习', '投资', 'FA', '行业研究', '分析师'] ['数据'] ['需求分析', '顾问', '咨询', '咨询顾问', '数据'] ['后端开发', '数据'] ['数据'] ... ['销售', '销售', '数据'] ['爬虫', '数据'] ['分析师', '数据分析'] ['风控', '经理', '行业研究', '分析师'] ['分析师', '资金管理'] ['分析师', '金融', '证券'] ['项目管理', '专员', '助理', '实习生', '风控', '采购', '分析师',... ['分析师', '职业培训', '教育', '培训', '金融', '证券', '股票', ... ['实习生', '主管', '经理', '顾问', '销售', '客户代表', '分析师',... ['分析师', '金融']
salary 7k-9k 10k-15k 4k-6k 6k-8k 2k-3k 10k-15k 7k-14k 5k-7k 4k-8k 2k-4k ... 3k-6k 3k-6k 8K-16K 5K-10K 8K-10K 10K-20K 15K-30K 15K-30K 10K-20K 8K-15K
workYear 应届毕业生 应届毕业生 应届毕业生 应届毕业生 应届毕业生 应届毕业生 应届毕业生 应届毕业生 应届毕业生 应届毕业生 ... 不限 不限 不限 不限 不限 不限 不限 不限 不限 不限

17 rows × 6876 columns

2.排序和排名 sort_values 、sort_index()、rank()

#按字段排序
df.sort_values(by=['positionId','city'],ascending=False)
city companyFullName companyId companyLabelList companyShortName companySize businessZones firstType secondType education industryField positionId positionAdvantage positionName positionLables salary workYear
6330 北京 普信资产管理有限公司 59239 ['节日礼物', '技能培训', '绩效奖金', '岗位晋升'] 龙宝斋财富 2000人以上 ['京广桥'] 开发/测试/运维类 软件开发 本科 金融 2583183 五险一金，年底奖金 大数据风控研发工程师 ['专家', '高级', '软件开发'] 15K-30K 3-5年
6054 北京 普信恒业科技发展（北京）有限公司 3786 ['管理规范', '技能培训', '扁平管理', '弹性工作'] 宜信 2000人以上 NaN 开发/测试/运维类 数据开发 本科 移动互联网,金融 2582910 大牛团队,互联网金融,零食水果,灵活工时 BI数据分析师 ['数据分析', '数据', 'BI', '分析师', '商业智能'] 15k-25k 3-5年
5003 苏州 苏州朗动网络科技有限公司 51527 NaN 朗动网络科技 50-150人 ['独墅湖'] 开发/测试/运维类 数据开发 本科 移动互联网,企业服务 2582554 管理扁平化,福利待遇优,发展前景好 数据工程师 ['数据挖掘', '数据'] 10k-20k 3-5年
6605 北京 北京富通基业投资有限公司 156832 ['节日礼物', '美女多', '帅哥多', '技能培训'] 北京富通基业投资有限公司 50-150人 ['西二旗'] 市场/商务/销售类 销售 不限 金融 2582349 周末双休/高提成/每月员工趴 分析师助理／销售人员 ['顾问', '销售', '分析师'] 4k-6k 不限
4569 杭州 杭州游米信息科技有限公司 57206 ['节日礼物', '专项奖金', '股票期权', '带薪年假'] 杭州游米信息科技有限公司 15-50人 ['长河', '江南', '西兴'] 开发/测试/运维类 后端开发 本科 游戏 2582102 有上线游戏,千万级流水,绩效奖金 数据平台开发工程师 ['中级', '初级', 'web', '数据分析', 'Python', '全栈'] 8k-15k 不限
3687 北京 紫梧桐（北京）资产管理有限公司 138874 NaN 蛋壳公寓 150-500人 ['朝阳门', '东四', '朝外'] 产品/需求/项目类 数据分析 大专 移动互联网 2582053 上班弹性制 发展前景好 BI数据分析实习生 ['数据分析', '实习生', '数据', 'BI', '商业智能'] 2k-3k 不限
3673 北京 完美世界(北京)网络技术有限公司 10369 ['绩效奖金', '五险一金', '带薪年假', '年度旅游'] 完美世界 2000人以上 ['大屯', '北苑', '亚运村'] 运营/编辑/客服 运营 本科 移动互联网,游戏 2582044 办公环境好 优秀团队 福利多多 数据编辑 ['内容', '编辑'] 10k-20k 不限
6756 北京 完美世界(北京)网络技术有限公司 10369 ['绩效奖金', '五险一金', '带薪年假', '年度旅游'] 完美世界 2000人以上 ['大屯', '北苑', '亚运村'] 运营/编辑/客服 运营 本科 移动互联网,游戏 2582044 办公环境好 优秀团队 福利多多 数据编辑 ['内容', '编辑'] 10k-20k 不限
3918 广州 广州市亿博信息技术有限公司 149488 NaN 亿博信息 50-150人 ['琶洲', '新港'] 开发/测试/运维类 数据开发 大专 移动互联网 2581993 双休，五险一金，节假日福利 需求分析师 ['数据分析', '需求分析', '分析师'] 8k-13k 1-3年
1724 北京 北京东方国信科技股份有限公司 16875 ['大数据软件', '技能培训', '节日礼物', '年底双薪'] 东方国信 2000人以上 ['望京', '来广营'] 开发/测试/运维类 数据开发 本科 数据服务 2581982 六险一金、双休、年终奖、北京工作居住证 数据开发工程师 ['中级', '大数据', '数据库', '数据'] 7k-13k 1-3年
5400 北京 北京东方国信科技股份有限公司 16875 ['大数据软件', '技能培训', '节日礼物', '年底双薪'] 东方国信 2000人以上 ['望京', '来广营'] 开发/测试/运维类 数据开发 本科 数据服务 2581982 六险一金、双休、年终奖、北京工作居住证 数据开发工程师 ['中级', '大数据', '数据库', '数据'] 7k-13k 1-3年
512 上海 上海恒格信息科技有限公司 124007 NaN 上海恒格信息 50-150人 ['东方路', '八佰伴', '潍坊'] 产品/需求/项目类 数据分析 大专 移动互联网,数据服务 2581968 一起奋斗 大数据架构师/Hadoop ['大数据', '架构师', 'hadoop', '数据'] 15k-25k 3-5年
172 上海 上海前隆金融信息服务有限公司 24873 ['绩效奖金', '年终分红', '五险一金', '带薪年假'] 前隆金融（手机贷） 500-2000人 ['外滩', '东外滩', '周家嘴路'] 金融类 风控 本科 金融 2581963 牛人多，平台大 数据建模 ['建模', '数据'] 20k-30k 1-3年
110 上海 上海星艾网络科技有限公司 34331 ['结婚生育红包', '社团活动经费', '免费晚餐', '上门推拿'] 么么直播 50-150人 ['万源城', '静安新城', '漕宝路'] 运营/编辑/客服 运营 不限 移动互联网,社交网络 2581935 老板逗逼,大牛云集,弹性时间,福利暖心 数据分析主管 ['数据', '数据分析'] 6k-8k 1-3年
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
1645 北京 迪希希埃（北京）互联网数据研究中心 28992 ['绩效奖金', '年终奖金', '带薪年假', '办公手机'] DCCI互联网数据中心 50-150人 ['国展', '左家庄', '三元桥'] 设计 用户研究 本科 企业服务,数据服务 178547 人才流动机制、弹性工作、福利、定期体检 数据分析师 ['分析师', '数据分析', '数据'] 4k-6k 1-3年
5552 北京 迪希希埃（北京）互联网数据研究中心 28992 ['绩效奖金', '年终奖金', '带薪年假', '办公手机'] DCCI互联网数据中心 50-150人 ['国展', '左家庄', '三元桥'] 设计 用户研究 本科 企业服务,数据服务 178547 人才流动机制、弹性工作、福利、定期体检 数据分析师 ['分析师', '数据分析', '数据'] 4k-6k 1-3年
796 上海 上海中通吉网络技术有限公司 23348 ['绩效奖金', '五险一金', '带薪年假', '免费班车'] ZTO-express 2000人以上 NaN 技术 DBA 大专 电子商务 175853 人性化管理+亲情1+1+预上市公司 需求分析师 ['分析师', '需求分析'] 10k-20k 5-10年
3277 北京 宝宝树（北京）信息技术有限公司 70 ['商业医疗保险', '股票期权', '带薪年假', '扁平管理'] 宝宝树 500-2000人 ['团结湖', '朝阳公园', '三里屯'] 技术 后端开发 本科 社交网络 171511 内部发展空间大 期权 扁平化架构管理 高级数据分析工程师 ['数据分析', '数据'] 20k-35k 5-10年
6449 北京 宝宝树（北京）信息技术有限公司 70 ['商业医疗保险', '股票期权', '带薪年假', '扁平管理'] 宝宝树 500-2000人 ['团结湖', '朝阳公园', '三里屯'] 技术 后端开发 本科 社交网络 171511 内部发展空间大 期权 扁平化架构管理 高级数据分析工程师 ['数据分析', '数据'] 20k-35k 5-10年
4110 广州 优视科技有限公司 2202 ['年度分红', '年度奖金', '股票期权', '每年2次加薪'] 阿里巴巴移动事业群-UC 2000人以上 ['员村', '天河公园', '棠下'] 设计 用户研究 本科 移动互联网 148830 待遇高福利好、五险一金、 前景好 、五天 高级数据分析师 ['分析师', '数据分析', '数据'] 16k-25k 5-10年
2687 北京 北京缘路科技有限公司 285 ['家属免费团建', '股票期权', '10天年假', '带薪出境游'] 口碑旅行 15-50人 ['中关村', '北京大学', '苏州街'] 技术 后端开发 本科 移动互联网,旅游 130334 百分比期权 全球首款移动决策引擎 带薪旅游 数据抓取工程师 ['数据'] 15k-30k 3-5年
2297 北京 北京陌陌科技有限公司 129 ['岗位晋升', '帅哥多', '管理规范', '技能培训'] 陌陌 150-500人 ['望京', '大山子', '花家地'] 产品 产品经理 本科 社交网络 127572 参与见证最有趣的社交产品陌陌的设计 数据产品经理 ['产品经理', '产品', '数据'] 10k-18k 1-3年
5538 北京 北京陌陌科技有限公司 129 ['岗位晋升', '帅哥多', '管理规范', '技能培训'] 陌陌 150-500人 ['望京', '大山子', '花家地'] 产品 产品经理 本科 社交网络 127572 参与见证最有趣的社交产品陌陌的设计 数据产品经理 ['产品经理', '产品', '数据'] 10k-18k 1-3年
1917 北京 上海安硕信息技术股份有限公司 21863 ['岗位晋升', '顶尖团队', '福利优厚', '股票期权'] 安硕信息（amarsoft） 2000人以上 NaN 技术 企业软件 本科 金融 120777 职业发展前景良好 需求分析师 【北京】 ['分析师', '需求分析'] 8k-16k 1-3年
5420 北京 上海安硕信息技术股份有限公司 21863 ['岗位晋升', '顶尖团队', '福利优厚', '股票期权'] 安硕信息（amarsoft） 2000人以上 NaN 技术 企业软件 本科 金融 120777 职业发展前景良好 需求分析师 【北京】 ['分析师', '需求分析'] 8k-16k 1-3年
2306 北京 北京陌陌科技有限公司 129 ['岗位晋升', '帅哥多', '管理规范', '技能培训'] 陌陌 150-500人 ['望京', '大山子', '花家地'] 产品 产品经理 本科 社交网络 108569 六险一金 有竞争力的薪资 优美办公环境 数据产品经理 ['产品经理', '产品', '数据'] 10k-18k 1-3年
5539 北京 北京陌陌科技有限公司 129 ['岗位晋升', '帅哥多', '管理规范', '技能培训'] 陌陌 150-500人 ['望京', '大山子', '花家地'] 产品 产品经理 本科 社交网络 108569 六险一金 有竞争力的薪资 优美办公环境 数据产品经理 ['产品经理', '产品', '数据'] 10k-18k 1-3年
3832 北京 北京字节跳动科技有限公司 62 ['扁平管理', '弹性工作', '大厨定制三餐', '就近租房补贴'] 今日头条 2000人以上 ['知春路', '双榆树', '大钟寺'] 技术 DBA 本科 移动互联网,数据服务 100561 过亿用户+优厚薪资期权+三餐+住房补 数据抓取和处理（高级）工程师 ['数据'] 20k-40k 不限
6669 北京 北京字节跳动科技有限公司 62 ['扁平管理', '弹性工作', '大厨定制三餐', '就近租房补贴'] 今日头条 2000人以上 ['知春路', '双榆树', '大钟寺'] 技术 DBA 本科 移动互联网,数据服务 100561 过亿用户+优厚薪资期权+三餐+住房补 数据抓取和处理（高级）工程师 ['数据'] 20k-40k 不限
1007 深圳 深圳市珍爱网信息技术有限公司 6718 ['发展上升型', '朝阳行业', '创业氛围浓厚', '年终分红'] 珍爱网 2000人以上 ['南头', '科技园', '桂庙路口'] 职能 高端职能职位 本科 社交网络,生活服务 80307 业务分析，自由度高，项目有发展前景。 数据分析师 ['分析师', '数据分析', '数据'] 8k-15k 1-3年

6876 rows × 17 columns

#对单列排序
df.positionId.sort_values()

1007      80307
6669     100561
3832     100561
5539     108569
2306     108569
5420     120777
1917     120777
5538     127572
2297     127572
2687     130334
4110     148830
6449     171511
3277     171511
796      175853...   3673    2582044
6756    2582044
3687    2582053
4569    2582102
6605    2582349
5003    2582554
6054    2582910
6330    2583183
Name: positionId, Length: 6876, dtype: int64

#按索引排序
>>>df.sort_index()
city companyFullName companyId companyLabelList companyShortName companySize businessZones firstType secondType education industryField positionId positionAdvantage positionName positionLables salary workYear
0 上海 纽海信息技术(上海)有限公司 8581 ['技能培训', '节日礼物', '带薪年假', '岗位晋升'] 1号店 2000人以上 ['张江'] 技术 数据开发 硕士 移动互联网 2537336 知名平台 数据分析师 ['分析师', '数据分析', '数据挖掘', '数据'] 7k-9k 应届毕业生
1 上海 上海点荣金融信息服务有限责任公司 23177 ['节日礼物', '带薪年假', '岗位晋升', '扁平管理'] 点融网 500-2000人 ['五里桥', '打浦桥', '制造局路'] 技术 数据开发 本科 金融 2427485 挑战机会,团队好,与大牛合作,工作环境好 数据分析师-CR2017-SH2909 ['分析师', '数据分析', '数据挖掘', '数据'] 10k-15k 应届毕业生
2 上海 上海晶樵网络信息技术有限公司 57561 ['技能培训', '绩效奖金', '岗位晋升', '管理规范'] SPD 50-150人 ['打浦桥'] 设计 数据分析 本科 移动互联网 2511252 时间自由,领导nic 数据分析师 ['分析师', '数据分析', '数据'] 4k-6k 应届毕业生
3 上海 杭州数云信息技术有限公司上海分公司 7502 ['绩效奖金', '股票期权', '五险一金', '通讯津贴'] 数云 150-500人 ['龙华', '上海体育场', '万体馆'] 市场与销售 数据分析 本科 企业服务,数据服务 2427530 五险一金 绩效奖金 带薪年假 节日福利 大数据业务分析师【数云校招】 ['商业', '分析师', '大数据', '数据'] 6k-8k 应届毕业生
4 上海 上海银基富力信息技术有限公司 130876 ['年底双薪', '通讯津贴', '定期体检', '绩效奖金'] 银基富力 15-50人 ['上海影城', '新华路', '虹桥'] 技术 软件开发 本科 其他 2245819 在大牛下指导 BI开发/数据分析师 ['分析师', '数据分析', '数据', 'BI'] 2k-3k 应届毕业生
5 上海 上海青之桐投资管理有限公司 28095 ['美女多', '出国旅游', '不打卡', '带薪年假'] 青桐资本 50-150人 NaN 金融类 天使投资/VC/PE 本科 金融 2580543 留用机会,精品投行,优秀团队,氛围轻松 助理分析师 ['实习', '投资', 'FA', '行业研究', '分析师'] 10k-15k 应届毕业生
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
6865 北京 佰润明辉（北京）投资有限公司 121899 NaN 佰润明辉 150-500人 ['团结湖', '朝阳公园', '三里屯', '团结湖', '朝阳公园', '三里屯'] 金融 投融资 不限 金融,移动互联网 1702627 五险一金 年终奖 领导nice 发展空间大 金融二级市场证券分析师／交易员／操盘手 零基础带薪培训 ['分析师', '金融', '证券'] 15k-30k 不限
6870 北京 北京亿盛融华投资管理有限公司 151898 NaN 亿盛资本 150-500人 NaN 市场/商务/销售类 销售 大专 金融、教育 2469665 工作自由、法定假日休息 外汇分析师 ['分析师', '资金管理'] 8K-10K 不限
6871 北京 北京亿盛融华投资管理有限公司 151898 NaN 亿盛资本 150-500人 NaN 市场/商务/销售类 销售 大专 金融、教育 2469682 高薪双休五险一金时间自由朝九晚五 金融证券分析师&nbsp;&nbsp;助理 ['分析师', '金融', '证券'] 10K-20K 不限
6872 北京 北京亿盛融华投资管理有限公司 151898 NaN 亿盛资本 150-500人 NaN 产品/需求/项目类 项目管理 大专 金融、教育 2469686 高薪五险一金双休朝九晚五带薪年假20天 金融证券分析师&nbsp;可培训 ['项目管理', '专员', '助理', '实习生', '风控', '采购', '分析师',... 15K-30K 不限
6873 北京 北京亿盛融华投资管理有限公司 151898 NaN 亿盛资本 150-500人 NaN 其他 房地产|建筑业 大专 金融、教育 2470949 高薪五险一金双休朝九晚五无加班可培训 金融证券分析师&nbsp;讲师&nbsp;助理 ['分析师', '职业培训', '教育', '培训', '金融', '证券', '股票', ... 15K-30K 不限
6874 北京 北京亿盛融华投资管理有限公司 151898 NaN 亿盛资本 150-500人 NaN 市场/商务/销售类 销售 大专 金融、教育 2465839 高薪&nbsp;无加班&nbsp;&nbsp;双休&nbsp;&nbsp;五险一金&nbsp; 金融证券分析师助理讲师助理 ['实习生', '主管', '经理', '顾问', '销售', '客户代表', '分析师',... 10K-20K 不限
6875 北京 北京亿盛融华投资管理有限公司 151898 NaN 亿盛资本 150-500人 NaN 金融类 风控 不限 金融、教育 2471674 挑战高薪，挑战自我 1W五险双休诚聘金融分析师助理可兼职 ['分析师', '金融'] 8K-15K 不限

6876 rows × 17 columns

#新建一个字段，用companyId字段的排名号，同组取最小值排名方式
df['rank']=df.companyId.rank(method='min')
df.sort_values('companyId')
city companyFullName companyId companyLabelList companyShortName companySize businessZones firstType secondType education industryField positionId positionAdvantage positionName positionLables salary workYear rank
1630 北京 北京欧应科技有限公司 43 ['五险一金', '扁平化管理', '创业型企业', '岗位晋升'] 唯医网 150-500人 ['东大桥', 'CBD', '朝外'] 设计 数据分析 硕士 移动互联网 2100781 五险一金 津贴补助 晋升空间 管理规范 数据分析师 ['分析师', '数据分析', '数据'] 8k-15k 1-3年 1.0
2064 北京 北京创锐文化传媒有限公司 53 ['技能培训', '节日礼物', '季度奖金', '岗位晋升'] 聚美优品 2000人以上 ['东直门', '海运仓', '东四'] 市场与销售 市场/营销 本科 电子商务 2345435 发展空间大、绩效奖品、节日福利 数据分析 ['数据分析', '数据'] 10k-20k 1-3年 2.0
2178 北京 北京创锐文化传媒有限公司 53 ['技能培训', '节日礼物', '季度奖金', '岗位晋升'] 聚美优品 2000人以上 ['东直门', '海运仓', '东四'] 产品 产品经理 本科 电子商务 1666634 餐补+下午茶+绩效奖金+节日福利+晋升空间大 数据产品经理 ['产品经理', '产品', '数据'] 15k-25k 1-3年 2.0
5485 北京 北京创锐文化传媒有限公司 53 ['技能培训', '节日礼物', '季度奖金', '岗位晋升'] 聚美优品 2000人以上 ['东直门', '海运仓', '东四'] 产品 产品经理 本科 电子商务 1666634 餐补+下午茶+绩效奖金+节日福利+晋升空间大 数据产品经理 ['产品经理', '产品', '数据'] 15k-25k 1-3年 2.0
4682 成都 北京创锐文化传媒有限公司 53 ['技能培训', '节日礼物', '季度奖金', '岗位晋升'] 聚美优品 2000人以上 NaN 技术 运维 本科 电子商务 1793663 五险一金，餐补，带薪年假，零食 大数据运维 ['大数据', '运维', '数据'] 15k-20k 3-5年 2.0
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
4912 西安 北京天晓科技有限公司 157418 ['年底双薪', '绩效奖金', '五险'] 天晓科技 50-150人 ['郭杜'] 开发/测试/运维类 软件开发 本科 数据服务,其他 2574676 这是实现你人生价值最好的平台 云计算、大数据(Hadoop\Spark) 高级软件工程师 ['软件开发'] 10k-20k 3-5年 6868.0
4907 西安 北京天晓科技有限公司 157418 ['年底双薪', '绩效奖金', '五险'] 天晓科技 50-150人 ['郭杜'] 开发/测试/运维类 数据开发 本科 数据服务,其他 2574688 这是实现你人生价值最好的平台 云计算、大数据数据分析师 ['数据分析', '算法', '数据挖掘', '大数据', '数据', '分析师'] 8k-15k 3-5年 6868.0
1629 北京 北京云合文化传媒有限公司 157426 NaN 北京云合文化传媒有限公司 15-50人 NaN 产品/需求/项目类 数据分析 本科 数据服务,移动互联网 2574813 一年两次公平公正的竞选机制 数据分析师 ['数据分析', '数据', '分析师'] 6k-12k 1-3年 6871.0
5582 北京 北京信立达医药科技有限公司 157453 NaN 北京信立达 15-50人 ['学院路'] 其他 服务业 本科 医疗健康 2578326 五险一金，双休 数据管理 ['医疗', '数据'] 4k-8k 1-3年 6872.0
1802 北京 北京信立达医药科技有限公司 157453 NaN 北京信立达 15-50人 ['学院路'] 其他 服务业 本科 医疗健康 2578326 五险一金，双休 数据管理 ['医疗', '数据'] 4k-8k 1-3年 6872.0
4763 南京 南京蔚思盾财务管理咨询有限公司 157647 ['绩效奖金', '午餐补助', '交通补助', '带薪年假'] 蔚思盾 少于15人 ['洪武路'] 综合职能类 财务 本科 金融,企业服务 2578503 五险一金、带薪年假、节日福利、绩效奖金等 财务分析师 ['财务', '分析师'] 5k以上 3-5年 6874.0
3580 北京 量子数聚（北京）科技有限公司 157665 NaN 量子数聚 50-150人 ['世纪城'] 产品/需求/项目类 数据分析 本科 数据服务 2579118 晋升空间大 周末双休 公司前景好 优秀团队 分析师助理 ['企业信用风险分'] 2k-4k 不限 6875.0
4723 成都 成都鸿易盛企业管理咨询有限公司 157744 NaN 成都鸿易盛 50-150人 ['人民北路'] 市场/商务/销售类 销售 不限 金融、电子商务 2580536 环境优美，工作氛围轻松，充满激情的团队 网络销售/客服/分析师助理 ['金融', '实习生', '在线', '经理', '销售'] 3K-6K 不限 6876.0

6876 rows × 18 columns

3.非重复与汇总计数 unique()、value_counts()

#字段非重复值
>>>df.city.unique()

array(['上海', '深圳', '北京', '广州', '杭州', '成都', '南京', '武汉', '西安', '厦门', '长沙','苏州', '天津'], dtype=object)

#汇总计数
>>>df.city.value_counts()

北京    4177
上海     980
深圳     527
杭州     407
广州     335
成都     135
南京      83
武汉      69
西安      51
苏州      37
厦门      30
长沙      25
天津      20
Name: city, dtype: int64

4.描述统计 describe()

参考：https://www.cnblogs.com/zhoulixiansen/p/10533286.html

#描述统计
>>>df.describe()
companyId positionId rank
count 6876.000000 6.876000e+03 6876.000000
mean 56473.470477 2.188696e+06 3425.300175
std 48416.947813 4.472044e+05 1987.766396
min 43.000000 8.030700e+04 1.000000
25% 10003.000000 2.049360e+06 1719.750000
50% 46668.000000 2.352736e+06 3438.000000
75% 101076.000000 2.495215e+06 5154.000000
max 157744.000000 2.583183e+06 6876.000000 
#单字段描述统计
>>>df.companyId.describe()

count      6876.000000
mean      56473.470477
std       48416.947813
min          43.000000
25%       10003.000000
50%       46668.000000
75%      101076.000000
max      157744.000000
Name: companyId, dtype: float64

#计算平局值
>>>df.mean()

companyId     5.647347e+04
positionId    2.188696e+06
rank          3.425300e+03
dtype: float64

#字段求和
>>>df.sum()

city                 上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海上海...
companyFullName      纽海信息技术(上海)有限公司上海点荣金融信息服务有限责任公司上海晶樵网络信息技术有限公司杭州...
companyId                                                    388311583
companyShortName     1号店点融网SPD数云银基富力青桐资本足球魔方安硕信息（amarsoft）上海崇杏55海淘莉...
companySize          2000人以上500-2000人50-150人150-500人15-50人50-150人15...
education            硕士本科本科本科本科本科本科硕士本科本科本科本科本科本科硕士本科硕士本科本科本科本科硕士本科...
industryField        移动互联网金融移动互联网企业服务,数据服务其他金融移动互联网,电子商务金融移动互联网,医疗健...
positionId                                                 15049471471
positionAdvantage    知名平台挑战机会,团队好,与大牛合作,工作环境好时间自由,领导nic五险一金 绩效奖金 带薪...
positionName         数据分析师数据分析师-CR2017-SH2909数据分析师大数据业务分析师【数云校招】BI开...
salary               7k-9k10k-15k4k-6k6k-8k2k-3k10k-15k7k-14k5k-7k4...
workYear             应届毕业生应届毕业生应届毕业生应届毕业生应届毕业生应届毕业生应届毕业生应届毕业生应届毕业生应...
rank                                                       2.35524e+07
dtype: object

#方差
>>>df.var()

companyId     2.344201e+09
positionId    1.999918e+11
rank          3.951215e+06
dtype: float64

#累加
>>>df.companyId.cumsum()

0            8581
1           31758
2           89319
3           96821
4          227697
5          255792
6          257794...    6866    386957517
6867    387096399
6868    387248297
6869    387400195
6870    387552093
6871    387703991
6872    387855889
6873    388007787
6874    388159685
6875    388311583
Name: companyId, Length: 6876, dtype: int64

5.分组统计

#将companyId字段均匀分成4组，标签本别为abcd
>>>df['bins']=pd.cut(df.companyId,bins=4,labels =list('abcd'))
>>>df['bins']=pd.cut(df.companyId,bins=[0,5,20,9999999999],labels =['0~5','5~20','20~'])

#等频分箱
>>>pd.qcut()

【Python数据科学】基础函数相关推荐

  1. python数据科学系列：numpy入门详细教程

    导读 python数据科学基础库主要是三剑客:numpy,pandas以及matplotlib,每个库都集成了大量的方法接口,配合使用功能强大.平时虽然一直在用,也看过很多教程,但纸上得来终觉浅,还是 ...

  2. 【Python数据科学快速入门系列 | 06】Matplotlib数据可视化基础入门(一)

    这是机器未来的第52篇文章 原文首发地址:https://robotsfutures.blog.csdn.net/article/details/126899226 <Python数据科学快速入 ...

  3. 《Python数据科学指南》——1.16　使用lambda创造匿名函数

    本节书摘来自异步社区<Python数据科学指南>一书中的第1章,第1.16节,作者[印度] Gopi Subramanian ,方延风 刘丹 译,更多章节内容可以访问云栖社区"异 ...

  4. python数据科学手册_小白入门Python数据科学

    前言 本文讲解了从零开始学习Python数据科学的全过程,涵盖各种工具和方法 你将会学习到如何使用python做基本的数据分析 你还可以了解机器学习算法的原理和使用 说明 先说一段题外话.我是一名数据 ...

  5. python数据科学入门_干货！小白入门Python数据科学全教程

    前言本文讲解了从零开始学习Python数据科学的全过程,涵盖各种工具和方法 你将会学习到如何使用python做基本的数据分析 你还可以了解机器学习算法的原理和使用 说明 先说一段题外话.我是一名数据工 ...

  6. python3 array为什么不能放不同类型的数据_小白入门Python数据科学全教程lt;一gt;...

    前言 本文讲解了从零开始学习Python数据科学的全过程,涵盖各种工具和方法 你将会学习到如何使用python做基本的数据分析 你还可以了解机器学习算法的原理和使用 说明 先说一段题外话.我是一名数据 ...

  7. 人工智能写小说python_1月下旬值得一读的10本技术新书（人工智能、C++、Python数据科学等）！文末有福利！...

    1月下旬,阿里云云栖社区 联合 图灵教育 为大家带来十本技术书籍(人工智能.C++.Python数据科学等).以下为书籍详情,文末还有福利哦! 书籍名称:<C++性能优化指南> 内容简介 ...

  8. python书籍推荐：Python数据科学手册

    所属网站分类: 资源下载 > python电子书 作者:today 链接:http://www.pythonheidong.com/blog/article/448/ 来源:python黑洞网 ...

  9. Python 数据科学入门教程：机器学习：回归

    Python 数据科学入门教程:机器学习:回归 原文:Regression - Intro and Data 译者:飞龙 协议:CC BY-NC-SA 4.0 引言和数据 欢迎阅读 Python 机器 ...

  10. 使用python构建向量空间_使用Docker构建Python数据科学容器

    人工智能(AI)和机器学习(ML)最近真的火了,并驱动了从自动驾驶汽车到药物发现等等应用领域的快速发展.AI和ML的前途一片光明. 另一方面,Docker通过引入临时轻量级容器彻底改变了计算世界.通过 ...

最新文章

  1. 编译原理——语言处理程序
  2. JVM运行时对它所管理的内存划分区域（为面试准备）
  3. 为什么要用!DOCTYPE声明
  4. 每天30分钟:成功有效的学习方法
  5. UE4从4.15移植到4.16
  6. 计算机网络构成ppt,计算机网络体系结构ppt课件.ppt
  7. 牛刀：开发商不差钱不等于房价不暴跌 (转载)
  8. 深入了解帆软报表系统的启动过程一
  9. 深入动态人脸识别小场景应用，2019年或将迎来爆发期
  10. 宋宝华：Linux文件读写（BIO）波澜壮阔的一生
  11. VBA按行读取TXT文本文件
  12. python123练习六+练习七
  13. 数据预处理之无量纲化、缺失值处理（三）
  14. GNSS/INS组合导航（2）-加速度计选型参数解析
  15. CSS 第007篇 字体font
  16. python的return详解。
  17. Excel 中的协方差阵
  18. 最新行业薪资排行榜：IT行业超13万，稳居第一！
  19. SSMS(Microsoft SQL Server Management Studio 18)
  20. win7 x64 PL/SQL连接Make sure you have the 32 bits Oracle Cient italled.问题解决

热门文章

  1. Java类成员默认访问控制权限是default
  2. win server 服务器型号,云服务器 win server常用版本
  3. 怎样解决Windows Update当前无法检查更新的问题
  4. Java中的SSM框架指的什么？有哪些优点？
  5. 输入一行字符，统计其中有多少个单词，单词之间用空格分隔开。
  6. 波士顿矩阵模型：产品定位
  7. 手撸SSO单点登录（四）登录验证-首次登录
  8. 英语口语练习系列-C25-冒险-课堂用语-葬我
  9. 自用的 Latex公式/markdown语法 输入备忘录
  10. Origin2021科研绘图神器