Task01-数据加载及探索性数据分析

pandas 的数据结构：

基本概念：轴（Axis）和标签（Label）

数据框（DataFrame）的数据结构（存储二维数据）

数据框的 row 和 column 是 Axis，行索引和列名称是 Label

序列（Series）的数据结构（存储一维数据）

序列是一堆结构，DataFrame的每一列都是一个序列，序列结构只有行索引，没有列名称。序列包含数据和行索引

切片：

iloc 和 loc 都是对数据切片处理，只不过输入参数形式不一样

文件名.loc [ [ 行数 ]，[ 列的名称] ]

文件名.loc [ [ 行数 ]，[ 列数] ]

在数据分析中要养成一种思维：选取出对研究结果有价值的列数自由组合，用描述性统计总结样本的数字特征。

1.1载入数据

1.1.1任务一：导入numpy和pandas
import numpy as np
import pandas as pd

1.1.2任务二：载入数据

（1）相对路径载入

df=pd.read_csv('train.csv')
必须将数据与jupyter文件放在同一路径下

（2）绝对路径载入

df=pd.read_csv('E:/暑期学习/动手学数据分析/第一单元项目集合/train.csv')

拓展1：TSV与CSV的区别： 1）从名称上即可知道，TSV是用制表符（Tab,'\t'）作为字段值的分隔符；CSV是用半角逗号（','）作为字段值的分隔符； 2）IANA规定的标准TSV格式，字段值之中是不允许出现制表符的。3) CSV形式相比较TSV形式更常见。

文本文件读取：

1、使用read_table来读取txt文本文件

pandas.read_table(数据文件名, sep=’\t’, header=’infer’, names=None,index_col=None, dtype=None, engine=None, nrows=None)

2、使用read_csv函数来读取csv、tsv、txt文件

pandas.read_csv(数据文件名, sep=’,’, header=’infer’, names=None, index_col=None,dtype=None, engine=None, nrows=None)

Excel文件读取

pandas.read_excel(文件名, sheetname=0, header=0, index_col=None, names=None, dtype=None)

文本文件存储

DataFrame.to_csv(path_or_buf=None, sep=’,’, na_rep=”, columns=None, header=True,index=True,index_label=None,mode=’w’,encoding=None)

Excel文件储存

DataFrame.to_excel(excel_writer=None, sheetname=None'’, na_rep=”, header=True,index=True, index_label=None, mode=’w’, encodin

其他注意事项：

os.getcwd() 查看当前工作目录
read_csv 从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为逗号，read_csv中每一个字符串作为一列，所以输出格式为 [891 rows x 12 columns]
read_table 从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为制表符（“ \t ”），read_table中每一行字符串为一列，输出格式为 [891 rows x 1 columns]
通过读取时改变分隔符参数，可以让他们效果一样。
del , drop(inplace = True) , drop(inplace = False)是不同程度的删除数据。drop(inplace = False) 是最轻程度的删除数据，它只是返还视图，并不改变DataFrame的存储空间。del 函数和drop(inplace = True) 删除指定列，改变DataFrame的存储空间，并不改变原数据
当数据量特别大，我们需要只想读取其中一部分或对数据进行逐块处理时，需要进行逐块读取

参考文章：

动手学数据分析-Task01：数据加载及探索性数据分析

动手学数据分析task01 数据加载及探索性数据分析_小小小泥鳅的博客-CSDN博客

动手学习数据分析（一）——数据探索性分析相关推荐

数据探索性分析_探索性数据分析
数据探索性分析 When we hear about Data science or Analytics , the first thing that comes to our mind is Mod ...
竞赛入门-数据探索性分析(EDA)
竞赛入门-数据探索性分析总览数据科学库 Numpy Scipy Pandas 可视化库 matplotlib seaborn missingno库载入数据数据总揽数据检测缺失值检测异常值 ...
机器学习的第一个难点，是数据探索性分析
作者 | 陆春晖责编 | 寇雪芹头图 | 下载于视觉中国当我们在进行机器学习领域的学习和研究时,遇到的第一个难点就是数据探索性分析(Exploratory Data Analysis).虽然从各 ...
#数据挖掘--第1章：EDA数据探索性分析
#数据挖掘--第1章:EDA数据探索性分析一.序言二.EDA的意义三.EDA的流程一.序言本系列博客面向初学者,只讲浅显易懂易操作的知识.包含:数据分析.特征工程.模型训练等通用流程.将 ...
python实现二手汽车价格预测（一）初始数据探索性分析
python实现二手汽车价格预测(一)初始数据探索性分析零基础入门数据挖掘的 EDA-数据探索性分析部分,带你来了解数据,熟悉数据,和数据做朋友. 一.EDA目标 EDA的价值主要在于熟悉数据集, ...
关于二手车交易预测的数据探索性分析
关于二手车交易预测的数据探索性分析我们为什么要进行数据分析呢?这是我摘自一个博客的一个答案,希望能给您帮助:探索性数据分析(Exploratory Data Analysis,简称EDA),摘抄网上 ...
Kaggle泰坦尼克号数据机器学习实战：从缺失值处理、数据探索性分析、组合特征生成到多模型构建
Kaggle泰坦尼克号数据机器学习实战:从缺失值处理.数据探索性分析.组合特征生成到多模型构建泰坦尼克号的沉没是历史上最为人熟知的海难事件之一. 1912 年 4 月 15 日,在她的处女航中,泰坦 ...
数据探索性分析（EDA）常用方法大合集
EDA(Exploratory Data Analysis),全名为数据探索性分析,是通过了解数据集,了解变量间的相互关系以及变量与预测值之间的关系,从而帮助我们后期更好地进行特征工程和建立模型,是数 ...
天池二手车交易价格预测Task2-赛题理解与数据探索性分析（EDA）
一.赛题理解 1.1赛题概述赛题以预测二手车的交易价格为任务,该数据来自某交易平台的二手车交易记录,总数据量超过40w,包含31列变量信息,其中15列为匿名变量.为了保证比赛的公平性,将会从中抽取1 ...

动手学习数据分析（一）——数据探索性分析