海量简单数据不想用SQL？试试高效的嵌入式数据库Berkeley DB JE吧！

2024-06-11 08:00:46

如果你有海量的数据，这些数据相对比较简单，且没有复杂的关系，关键的是你不想用像MySQL和SQLServer那样的数据库，你只想在程序中处理这些数据，那么，Berkeley DB也许是一个非常好的选择！

Berkeley DB（BDB）是一个高效的嵌入式数据库编程库，C语言、C++、Java、Perl、Python、Tcl以及其他很多语言都有其对应的API。Berkeley DB可以保存任意类型的键/值对（Key/Value Pair），而且可以为一个键保存多个数据。Berkeley DB支持让数千的并发线程同时操作数据库，支持最大256TB的数据，广泛用于各种操作系统，其中包括大多数类Unix操作系统、Windows操作系统以及实时操作系统。

Berkeley DB在06年被 Oracle 收购了，现在我们在 Oracle 网站上会看到： BerkeleyDB、BerkeleyDB XML 和 BerkeleyDB JAVA Edition 这个三个东东。简单的说最开始 BerkeleyDB 是只有 C 语言版本的，但是 JAVA 也可以使用，只不过需要通过 JNI 调用，效率可能有点影响。后来出了 JAVA Edition ，用纯 JAVA 实现了一遍，也就是我们看到的 BerkeleyDB JAVA Edition (简称 JE )。

JE是一个通用的事务保护的，100％纯Java（JE不作任何JNI调用）编写的嵌入式数据库。因此，它为Java开发人员提供了安全高效的对任意数据的存储和管理。

JE 适合于管理海量的，简单的数据。其中的记录都以简单的键值对保存，即 key/value对。由于它操作简单，效率较高，因此受到了广泛的好评。

JE官网：http://www.oracle.com/technetwork/database/database-technologies/berkeleydb/overview/index.html

一些特性：

1. 大型数据库的支持：它支持从1到数百万级的数据量，数据库的大小限制基本上受限于你的硬件支持。
2. 多线程，多进程支持：JE读写操作都可以是多线程，使用记录级锁定为线程应用程序提供高并发性。此外，JE使用死锁超时检测的机制来确保不会有两个线程无限期的死锁。JE允许多个进程访问同一个DB，但在这种情况下， Berkeley 只允许一个线程进行写操作，读操作随意。
3. 事务：原子性，可恢复，隔离性。
4. 内存Cache：为了减少IO操作提高性能，将数据暂存在内存里面。
5. 索引。

简单读写操作

海量简单数据不想用SQL？试试高效的嵌入式数据库Berkeley DB JE吧！相关推荐

Berkeley DB的sql实现
常常有人问 Oracle Berkeley DB " 我如何在 Berkeley DB 中进行 ?" 因此,我们此处将介绍如何在 Oracle Berkeley DB 中实施众多您 ...
数据库原理与应用（SQL Server）笔记第二章简单数据查询
文章目录前言一.SELECT 子句 (一)投影指定的列和投影全部列 (二)AS子句修改查询结构的列标题例题1 (三)TOP谓词限制结果集中的行数 (四)INTO子句将结果插入新表中例题2 (五 ...
配置数据引擎(BDE、SQL Link)的简单方法 /制做快速按钮条的方法/建立临时表的方法
配置数据引擎(BDE.SQL Link)的简单方法在数据库程序分发时,需要携带数据引擎(BDE.SQL Link),并且在客户端安装完程序后还需要配置数据引擎,如用户名(username).密码 ...
药品监管系统架构揭秘：海量溯源数据存储与查询...
前言在刚刚过去的2018年,"毒疫苗"事件再次触及了大众的敏感神经,因为十年前的"毒奶粉"事件还历历在目.我们急需创建一个全国性的药品(食品)监控追踪体系.与 ...
药品监管系统架构揭秘：海量溯源数据存储与查询
前言在刚刚过去的2018年,"毒疫苗"事件再次触及了大众的敏感神经,因为十年前的"毒奶粉"事件还历历在目.我们急需创建一个全国性的药品(食品)监控追踪体系.与 ...
如何高效存储海量GPS数据
摘要: GPS数据使用越来越广,但如何高性能存储海量GPS数据仍然具有挑战,本文会介绍一种非常适合存储GPS数据的存储系统:阿里云NoSQL数据库TableStore,同时会介绍多个不同场景的技术方案 ...
Python 批量处理 Excel 数据后，导入 SQL Server
作者 | 老表来源 | 简说Python 1.前言 2.开始动手动脑 2.1 拆解+明确需求 2.2 安装第三方包 2.3 读取excel数据 2.4 特殊数据数据处理 2.5 其他需求 2.6 完 ...
面试官：海量无序数据，寻找第 K 大的数，越快越好
最近在参加阿里云举办的<第三届数据库大赛创新上云性能挑战赛--高性能分析型查询引擎赛道>,传送门: https://tianchi.aliyun.com/competition/entra ...
海量无序数据寻找第 K 大的数
前言最近在参加阿里云举办的<第三届数据库大赛创新上云性能挑战赛--高性能分析型查询引擎赛道>,传送门:https://tianchi.aliyun.com/competition/ent ...
sql 执行顺序_10个简单步骤，完全理解SQL
点击上方SQL数据库开发,关注获取SQL视频教程 SQL专栏 SQL数据库基础知识汇总 SQL数据库高级知识汇总多年前收藏在笔记中的一篇文章,今天偶然翻出,重读了一遍,依然大有收获.分享出来,大家一 ...

最新文章

热门文章