分组每一组数据最开始添加一行，内容与每组第二行一致

量化工作中经常遇到的一个问题：有每一天以每分钟为颗粒度的交易数据，但是每天的9:30没有数据，需要每一天添加一个9:30的数据，开盘和收盘价格等于9:31的数据。

因为数据量非常大，人工每天手动添加不仅耗时耗力，而且容易出错。本文记录下使用Excel和Python处理实际工作中这类问题的方法。

Excel处理

Excel处理思路：首先要保证每一天开始时添加一个空白行，然后空白行数据等于下一行数据内容。

使用IF函数和FIND函数等将9:31的数据一行标记为1，=IF(ISERROR(FIND("09:31:00",A3)),"",1)
公式无法直接查找，将biaoji这一列复制为值
选中biaoji列，查找和选择中有"定位条件"（快捷键Ctrl+G），选择常量选中这一列标记为1的行
选中了标记1的所有行，鼠标右击插入整行
数值填充列(close,open列）一样逻辑：选中整列，Ctrl+G定位空值，输入公式=C3(下一行),Ctrl+Enter全部填充
时间time列进行处理

示例：
上证50分钟涨跌幅数据

Python处理

import pandas as pddf = pd.read_excel('上证50分钟涨跌幅数据.xlsx')df['date'] = pd.to_datetime(df['time'],format='%Y-%m-%d')
from datetime import datetime
df['date_'] = df['time'].apply(lambda x:datetime.strptime(x[:10],'%Y-%m-%d'))
#dataframe分组并在每一组第一行前创建新行，其他字段数值填充为第一行数值，日期减少一分钟
def augment_group(group):first_row = group.iloc[[0]]first_row['date'] -= pd.Timedelta(minutes=1) return first_row.append(group)#df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
(df.groupby('date_', as_index=False, group_keys=False).apply(augment_group).reset_index(drop=True))

分组每一组数据最开始添加一行，内容与每组第二行一致相关推荐

python解决数据框中添加一行或者一列(DataFrame的行列处理)
1.解决数据框中添加一行(给定值) ###原数据框data_Peak_2 = pd.DataFrame({"Peak_density": np.ndarray.tolist(hma ...
shell - 在文本中的前一行或后一行添加一行内容，指定行前后增加一行内容
linux的sed工具是十分强大的,能很容易的实现在某关键词的前一行或后一行增加内容.今天在批量修改tomcat的日志时就用到了该功能. 一.在某行的前一行或后一行添加内容具休操作如下: #匹配行前 ...
R语言ggplot2可视化：ggplot2可视化散点图并使用geom_mark_circle函数在数据簇或数据分组的数据点周围添加圆圈进行注释（自定义圆圈的大小）
R语言ggplot2可视化:ggplot2可视化散点图并使用geom_mark_circle函数在数据簇或数据分组的数据点周围添加圆圈进行注释(自定义圆圈的大小) 目录
R语言ggplot2可视化：ggplot2可视化散点图并使用geom_mark_ellipse函数在数据簇或数据分组的数据点周围添加椭圆（ellipse）进行注释（对椭圆包围的区域进行着色为阴影区域）
R语言ggplot2可视化:ggplot2可视化散点图并使用geom_mark_ellipse函数在数据簇或数据分组的数据点周围添加椭圆(ellipse)进行注释(对椭圆包围的区域进行着色为阴影区域) ...
pandas为dataframe添加新的数据行（rows）、在dataframe后面纵向添加一行数据（数据为列表list形式）、列有不匹配将会使用NA值进行填补
pandas为dataframe添加新的数据行(rows).在dataframe后面纵向添加一行数据(数据为列表list形式).列有不匹配将会使用NA值进行填补目录
DataGridView添加一行数据、全选、取消全选、清空数据、删除选中行
.net 2005下的Windows Form Application,一个DataGridView控件和4个Button,界面设置如下: 代码如下,有注解,相信大家都看得明白: using Syst ...
jsp 动态添加一行数据_大数据从入门到深入：JavaEE 之动态网页开发基础 JSP的数据交互（3）...
1.7 JSP实战 1.7.1 需求说明 : 采用model 1模式开发数据库表的增删改查业务假设数据库有一张表叫person表,完成person表的页面级别的查询全部添加修改删除功能 ...
js 给json添加新的字段，或者添加一组数据，在JS数组指定位置删除、插入、替换元素...
JS定义了一个json数据var test={name:"name",age:"12"};需要给test再添加一个字段,需要什么办法,可以让test的值为{na ...
给DataTable中添加一行数据
给DataTable中添加一行数据一.如果该DataTable有两列,列的名称是Name,Age,且该DataTable的名称是dt; DataTable dt = new DataTable(); ...

分组每一组数据最开始添加一行，内容与每组第二行一致

Excel处理

Python处理

分组每一组数据最开始添加一行，内容与每组第二行一致相关推荐

最新文章

热门文章