Java读取pkl文件_theano csv到pkl文件
我正在尝试将一个pkl文件从csv起点加载到theano中
import numpy as np
import csv
import gzip, cPickle
from numpy import genfromtxt
import theano
import theano.tensor as T
#Open csv file and read in data
csvFile = "filename.csv"
my_data = genfromtxt(csvFile, delimiter=',', skip_header=1)
data_shape = "There are " + repr(my_data.shape[0]) + " samples of vector length " + repr(my_data.shape[1])
num_rows = my_data.shape[0] # Number of data samples
num_cols = my_data.shape[1] # Length of Data Vector
total_size = (num_cols-1) * num_rows
data = np.arange(total_size)
data = data.reshape(num_rows, num_cols-1) # 2D Matrix of data points
data = data.astype('float32')
label = np.arange(num_rows)
print label.shape
#label = label.reshape(num_rows, 1) # 2D Matrix of data points
label = label.astype('float32')
print data.shape
#Read through data file, assume label is in last col
for i in range(my_data.shape[0]):
label[i] = my_data[i][num_cols-1]
for j in range(num_cols-1):
data[i][j] = my_data[i][j]
#Split data in terms of 70% train, 10% val, 20% test
train_num = int(num_rows * 0.7)
val_num = int(num_rows * 0.1)
test_num = int(num_rows * 0.2)
DataSetState = "This dataset has " + repr(data.shape[0]) + " samples of length " + repr(data.shape[1]) + ". The number of training examples is " + repr(train_num)
print DataSetState
train_set_x = data[:train_num]
train_set_y = label[:train_num]
val_set_x = data[train_num+1:train_num+val_num]
val_set_y = label[train_num+1:train_num+val_num]
test_set_x = data[train_num+val_num+1:]
test_set_y = label[train_num+val_num+1:]
# Divided dataset into 3 parts. split by percentage.
train_set = train_set_x, train_set_y
val_set = val_set_x, val_set_y
test_set = test_set_x, val_set_y
dataset = [train_set, val_set, test_set]
f = gzip.open(csvFile+'.pkl.gz','wb')
cPickle.dump(dataset, f, protocol=2)
f.close()
当我通过Thenao(作为DBN或SdA)运行生成的pkl文件时,它预先训练得很好,这让我觉得数据存储正确 .
但是,当涉及到微调时,我收到以下错误:
epoch 1, minibatch 2775/2775, validation error 0.000000 %
Traceback (most recent call last):
File "SdA_custom.py", line 489, in
test_SdA()
File "SdA_custom.py", line 463, in test_SdA
test_losses = test_model()
File "SdA_custom.py", line 321, in test_score
return [test_score_i(i) for i in xrange(n_test_batches)]
File "/usr/local/lib/python2.7/dist-packages/theano/compile/function_module.py", line 606, in __call__
storage_map=self.fn.storage_map)
File "/usr/local/lib/python2.7/dist-packages/theano/compile/function_module.py", line 595, in __call__
outputs = self.fn()
ValueError: Input dimension mis-match. (input[0].shape[0] = 10, input[1].shape[0] = 3)
Apply node that caused the error: Elemwise{neq,no_inplace}(argmax, Subtensor{int64:int64:}.0)
Inputs types: [TensorType(int64, vector), TensorType(int32, vector)]
Inputs shapes: [(10,), (3,)]
Inputs strides: [(8,), (4,)]
Inputs values: ['not shown', array([0, 0, 0], dtype=int32)]
Backtrace when the node is created:
File "/home/dean/Documents/DeepLearningRepo/DeepLearningTutorials-master/code/logistic_sgd.py", line 164, in errors
return T.mean(T.neq(self.y_pred, y))
HINT: Use the Theano flag 'exception_verbosity=high' for a debugprint and storage map footprint of this apply node.
10是我的批次的大小,如果我改为批量大小为1,我得到以下内容:
ValueError: Input dimension mis-match. (input[0].shape[0] = 1, input[1].shape[0] = 0)
我认为我在制作pkl时错误地存储了标签,但我似乎无法发现正在发生的事情或为什么更改批处理会改变错误
希望你能帮忙!
Java读取pkl文件_theano csv到pkl文件相关推荐
- Java - 读取Excel并转CSV格式
Java - 读取Excel并转CSV格式 一. 案例 一. 案例 1.pom依赖: <dependency><groupId>com.monitorjbl</group ...
- txt doc rtf html,JAVA读取WORD,EXCEL,PDF,TXT,RTF,HTML文件文本内容的方法示例.docx
JAVA读取WORD,EXCEL,PDF,TXT,RTF,HTML文件文本内容的方法示例 JAVA读取WORD,EXCEL,PDF,TXT,RTF,HTML文件文本内容的方法示例??2012-06-2 ...
- R—读取数据(导入csv,txt,excel文件)
R-读取数据(导入csv,txt,excel文件) 转自:http://www.cnblogs.com/zhangduo/p/4440314.html 导入CSV.TXT文件 read.table函数 ...
- java读取、写入保存、遍历ini文件配置数据
全栈工程师开发手册 (作者:栾鹏) java教程全解 java读取ini配置文件,将数据写入ini文件,遍历ini文件 需要引入org.dtools.javaini包,下载 测试代码 public s ...
- java+读取source资源_如何从JavaJAR文件中读取资源文件?
如何从JavaJAR文件中读取资源文件? 我试图从一个单独的JAR文件中访问一个XML文件,这个JAR是作为桌面应用程序运行的.我可以获得我需要的文件的URL,但是当我将它传递给FileReader( ...
- char 转换 二进制 java_使用Java读取二进制文件并将其转换为char文件 - java
我正在尝试读取可以在here中找到的shortcod文件二进制文件. 我用来打印此文件内容的方法: public void read3RegularGraphs( String pathFile ) ...
- JAVA读取X.509格式的cer公钥文件信息
读取cer文件信息 (1) x.509格式标准 (2)代码片段 (3)结果展示 对应关系图 (1) x.509格式标准 版本号 序列号 签名算法 颁发者 证书有效期 开始日期 终止日期 主题 主题公钥 ...
- java读取多层zip压缩包中的xml文件内容
项目背景:系统数据对接,删量对方返回一个Base64的字符串,转文件后为zip,而且zip里面还会含有zip文件,最终才会存在xml文件记录有删量标识. 解决方法: 1.先将Base64转为文件. i ...
- JAVA读取excel表格中的数据,.xlsm文件或者.xlsx文件。
首先第一步引入jar包或者引入依赖.用的是springboot测试环境.所以我引用的依赖: <dependency><groupId>org.apache.poi</gr ...
最新文章
- python建站与java建站有何不同_详解模板建站和定制建站的不同之处
- 打孔怎么定位_红米K40将要发布,采用居中打孔屏,极窄边框设计
- 《风暴英雄》里那些超棒的游戏设计
- 在Android中afinal框架下实现sqlite数据库版本升级的办法
- ios服务器需要开启ipv6的支持,针对iOS审核要求为应用兼容IPv6
- 剑指前端(前端入门笔记系列)——数组(基本语法)
- python获取url的json数据_通过url获取json数据并在python中使用(simplejson)
- java高质量图片压缩
- Tarjan边的双联通
- vue 子组件给父组件传值
- 【Python3 爬虫】12_代理IP的使用
- 向日葵RCE后续利用之本地提权
- 开源代码审查工具Sonarqube简单使用
- 皮皮虾无水印解析源码实战
- python读取excel一行一行的读取_python读取excel数据
- 被华策、欢瑞等甩下,唐人影视往日荣光已成回忆?
- The e200z4 MMU 学习笔记
- ERROR Plumber found unhandled error: Error in plugin gulp-htmlmin
- ubuntu linux安装中文输入法+汉化(超详细过程)
- MeRL:强化学习分配奖励机制的新方法
热门文章
- 更优雅的字符串print——pprint库的使用
- php目录文件加密,PHP文件加密流程
- 浪漫七夕节文案、海报,进来自取。
- 【JSTL】foreach循环
- 触控板无法在 MacBook 上运行?9种有效的修复方法
- 【用websocket的注意了!】https下浏览器只允许使用wss协议,不允许使用ws协议!注意了!
- 计算机毕业设计PHP的桌游信息管理系统(源码+程序+VUE+lw+部署)
- python从含有汉字和数字的字符串中提取数字部分
- api.now is not a function
- 解决C#提示导入密钥文件失败的问题