使用Darknet训练您自己的数据集(YOLOV 3)
使用Darknet训练您自己的数据集(YOLOV 3)
分享使用Darknet训练自己数据集的经验。并出色完成了POC的任务 aotflow-http://www.aotflow.com
你们可以按照下面的步骤来制作你们的AI识别模型。
环境:
系统:Ubunut 18 & CUDA 10.2
硬件:
Intel(R)core(TM)i5-3570 CPU@3.40GHz
NVIDIA GeForce GTX 1060 6GB
[LOL,我可以借这个硬件给你训练你自己的数据集,免费!LOL]
1.下载Darknet:
git clone https://github.com/pjreddie/darknet
cd darknet
2.修改darknet文件夹上的Makefile:
在Systemenv上安装CUDA:
vim ~/.bashrc
在最后面插入内容:
export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
在Darknet文件夹中,修改Makefile:
vim Makefile
GPU=1 #如果是用GPU是 1,CPU 是 0
CUDNN=1 #如果是用CUDNN是1,否则是0
3.编译Darknet的源代码:
make
注意:如果OpenCV的错误或GPU问题,尝试使用CPU返回#2修改Makefile文件。
4.下载权重文件:
wget https://pjreddie.com/media/files/yolov3.weights
使用权重文件,进行测试一下识别的模型:
./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg
如果打印出成功的识别信息,说明安装没有问题。
5.用LabelImg制作VOC数据集
使用Labellmg工具标记对象。把参数保存在工具上进行保存,同时,该工具将生成XML文件和图像。
6.建立VOC数据集
在VOC文件夹上创建文件夹:
Annotations/
JPEGImages/
ImageSets/Main
使用下在面的代码进行生成数据:
g.py:
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import joinsets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]classes = ["cocola", "sprite"]def convert(size, box):dw = 1./size[0]dh = 1./size[1]x = (box[0] + box[1])/2.0y = (box[2] + box[3])/2.0w = box[1] - box[0]h = box[3] - box[2]x = x*dww = w*dwy = y*dhh = h*dhreturn (x,y,w,h)def convert_annotation(year, image_id):in_file = open('Annotations/%s.xml'%(image_id))out_file = open('labels/%s.txt'%(image_id), 'w')tree=ET.parse(in_file)root = tree.getroot()size = root.find('size')w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):difficult = obj.find('difficult').textcls = obj.find('name').textif cls not in classes or int(difficult) == 1:continuecls_id = classes.index(cls)xmlbox = obj.find('bndbox')b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))bb = convert((w,h), b)out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')wd = getcwd()for year, image_set in sets:if not os.path.exists('labels/'):os.makedirs('labels/')image_ids = open('ImageSets/Main/%s.txt'%(image_set)).read().strip().split()list_file = open('%s_%s.txt'%(year, image_set), 'w')for image_id in image_ids:list_file.write('JPEGImages/%s.jpg\n'%(image_id))convert_annotation(year, image_id)list_file.close()
g1.py
import os
import randomtrainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')for i in list:name = total_xml[i][:-4] + '\n'if i in trainval:ftrainval.write(name)if i in train:ftest.write(name)else:fval.write(name)else:ftrain.write(name)ftrainval.close()
ftrain.close()
fval.close()
ftest.close()
复制文件到darknet目录下 ,在执行:
cat 2007_train.txt 2007_val.txt > train.txt
将会产生:train.txt 文件
7.修改vo.data文件:
vim cfg/voc.data
classes= 2 # modify your classes data.
train = train.txt
valid = 2007_test.txt
names = data/voc.names
backup = backup
8.修改voc.names
vim data/voc.names
cocola
sprite
9.修改yolov3-vo.cfg文件:
# Testing
# batch=1 # this part is for test network
# subdivisions=1
# Trainingbatch=32 #this part is for trainsubdivisions=16
[convolutional]
size=1
stride=1
pad=1
filters=21 # 3*(class+5),i will train 2 classes. so is 21
activation=linear[yolo]
mask = 6,7,8
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
classes=2 #edit classes for 2
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1
10.下载darkent权重文件:
wget https://pjreddie.com/media/files/darknet53.conv.74
11.开始训练你自己数据集的慢长之旅。
修改你的训练次数:
vim cfg/yolov3-voc.cfg
打开文件并修改如下:
[net]# Testing#batch=1#subdivisions=1# Training
batch=64
subdivisions=16
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1learning_rate=0.001
burn_in=1000
max_batches = 2000 # setup max iteration, setup 20000 for this PCc
policy=steps
steps=40000,45000
scales=.1,.1
12.开始正式训练:
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.7
如果因为你的内存太小被kill了,查看一下backup目录面的文件,在续着来训。:
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_10000.weights
如果出现下面的这些模型在你的目录中,只能等了。。
yolov3-voc.backup yolov3-voc_300.weights
yolov3-voc_800.weights
yolov3-voc_100.weights yolov3-voc_400.weights
yolov3-voc_900.weights
yolov3-voc_10000.weights yolov3-voc_500.weights
yolov3-voc_final.weights
yolov3-voc_200.weights yolov3-voc_600.weights
yolov3-voc_20000.weights yolov3-voc_700.weights
这个训练看电脑的配置和显卡,如果是用CPU来训练要很久。我用我的显卡进行训练,大约使用了1天(24~27小时)来完成这个训练。
如果你们想测试训练,可以来远程借我的电脑来训练一下。免费的,哈哈。
我的电子邮件是sunny.guan(at)aotflow.com
13.测试您的模式和测试数据集。
修改它:
vim cfg/yolov3-voc.cfg
修改下面内容:
[net]
# Testing
batch=1
#uncomment this 2 line
subdivisions=1
# Training
# comment this 2 line
#batch=64
#subdivisions=16
运行测试:
./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_final.weights /tmp/3-4.png
结果是:
Loading weights from backup/yolov3-voc_final.weights...Done!
/tmp/3-4.png: Predicted in 0.045171 seconds.
cocola: 100%
cocola: 95%
free(): invalid next size (fast)
Aborted (core dumped)
如果你去这里。
恭喜你。您已经将自己的数据集训练成用于对象检测的AI模式。
如果你们训练你们的数据集很慢。你可以和我联系。我分享我的服务器给你训练你自己的数据。在我的地址下面查一查。
当你做这个过程。有任何问题。请咨询我。
我的电子邮件是:sunny.guan(At)aotflow.com,请替换(At)到@
在下面添加公司广告:-LOL.
奥托飞是IT咨询服务提供商,也是新技术应用的倡导者。
咨询服务:项目咨询及产品设计。
外包服务:Java/GO/Python/PHP/C/C++/Android/IOS
硬件和嵌入式开发:ARM/STM 32/PCB布局/C++/GO
人工智能开发:目标检测/人脸识别/实时跟踪等。
网站:http://www.aotflow.com
业务联系:info@aotflow.com
使用Darknet训练您自己的数据集(YOLOV 3)相关推荐
- 构建 Darknet 分类器 (Tiny Darknet) 训练数据集 (color recognition 颜色识别/color classification 颜色分类)
构建 Darknet 分类器 (Tiny Darknet) 训练数据集 (color recognition 颜色识别/color classification 颜色分类) 1. CompCars_C ...
- Windows下使用Darknet训练自己的数据集(模型:yolov4-tiny、数据集:垃圾分类)
本文章主要介绍如何使用Darknet在windows下训练自己的数据集,其中模型使用的是yolov4-tiny,数据集使用的是自己垃圾分类数据集(需要的自取:在我上传的资源中有) PS:这是我的第一篇 ...
- Windows下使用Yolov3(GPU)训练+测试自己的数据集
Windows下使用Yolov3(GPU)训练+测试自己的数据集 1.配置Yolov3 参考:Windows下使用darknet.exe跑通Yolov3 Window10+VS2017+CUDA10. ...
- darknet 训练流程
1.darknet编译 git clone https://github.com/pjreddie/darknet.git cd darknet 修改Makefile GPU=1 #加GPU CUDN ...
- darknet训练yolov4模型
darknet训练yolov4模型 文章目录 darknet训练yolov4模型 安装darknet环境安装部署 准备数据集打标签(以识别篮球为例) 分离数据集与测试集 下载预训练模型 重定ancho ...
- CV之NS之VGG16:基于预训练模型VGG16训练COCO的train2014数据集实现训练《神奈川冲浪里》风格配置yml文件
CV之NS之VGG16:基于预训练模型VGG16训练COCO的train2014数据集实现训练<神奈川冲浪里>风格配置yml文件 目录 一.训练 1.<神奈川冲浪里>风格 2. ...
- mmdetection训练自己的COCO数据集及常见问题
训练自己的VOC数据集及常见问题见下文: mmdetection训练自己的VOC数据集及常见问题_不瘦8斤的妥球球饼的博客-CSDN博客_mmdetection训练voc 目录 一.环境安装 二.训练 ...
- mmdetection训练自己的VOC数据集及常见问题
训练自己的COCO数据集及常见问题见下文: mmdetection训练自己的COCO数据集及常见问题_不瘦8斤的妥球球饼的博客-CSDN博客 目录 一.环境安装 二.训练测试步骤 三.常见问题 bat ...
- mmdetectionV2.x版本 训练自己的VOC数据集
mmdetectionV2.x版本 训练自己的VOC数据集 1 首先根据规范的VOC数据集导入到项目目录下,如下图所示: mmdetection ----mmdet ----tools ----con ...
最新文章
- 拼接图像亮度均匀调整_液晶拼接屏如何才能达到更好的显示效果
- JDK源码解析-Runtime类
- 【数据结构与算法】之深入解析“分数加减运算”的求解思路与算法示例
- VMware vSAN紧盯虚拟化应用
- exp导出excel oracle_如何从Oracle快速导出数据到Excel
- 阿里大数据神预测 胜率仅5.9%中国却1:0胜韩国
- c语言中buf内容怎么给指针,C语言 指针的使用
- python 字符串replace函数_01-Python里字符串的常用操作方法--replace()函数
- js中 NaN、 null 及 undefined 的区别(转载)
- 20145302张薇 《信息安全系统设计基础》第0周学习总结
- NetScaler的cookieinsert和sourceip联合保持机制
- 转载——yum源的超级简单配置
- 含泪整理最优质策略塔防游戏源代码素材,你想要的这里都有
- 华为OJ编程 动态规划类
- ubuntu19 磁盘分区管理及磁盘挂载
- 案例:电商放大镜写法
- 通过分析134家企业征信牌照机构可见企业征信备案之难
- 南京邮电大学操作系统实验五:Windows平台多进程共享内存通信
- C++设计模式 | 四种创建型模式——简单工厂模式、工厂方法模式、抽象工厂模式、单例模式...
- 人生必读的100本好书
热门文章
- cv2.ADAPTIVE_THRESH_GAUSSIAN_C作用是什么
- 云场景实践研究第12期:有货
- 公众号数据回采:小白如何从0开始做公众号运营?
- CAD软件2023最新版本-新功能解析
- ros下启动robotiq-2f85电爪
- 中国各省区块链政策竞争力指数TOP10(2020年10月)|链塔月榜
- Apache Shiro 反序列化漏洞 [org.apache.shiro.web.mgt.CookieRememberMeManager]
- python 数据分析 实际案例-Python数据分析案例实战
- Shell脚本,循环语句用于减少程序代码冗余和重复,for语句,while语句,使用let进行变量自增
- CTFshow单身杯 部分wp