本地缓存timeout java_1, 本地缓存的实现以及遇到的问题
先分享下我基于MAP实现的一个本地缓存
packageorg.hjb.component;importjava.lang.ref.SoftReference;importjava.util.Map;importjava.util.concurrent.ConcurrentHashMap;importjava.util.concurrent.TimeUnit;importorg.apache.logging.log4j.LogManager;importorg.apache.logging.log4j.Logger;/*** 本地缓存
*
* 何锦彬 2017.02.24*/
public classLocalMemory {//数据
static classCacheData {//过期时间
privateLong invalidTime;privateObject data;publicLong getInvalidTime() {returninvalidTime;
}public voidsetInvalidTime(Long invalidTime) {this.invalidTime =invalidTime;
}publicObject getData() {returndata;
}public voidsetData(Object data) {this.data =data;
}
}private static Logger logger = LogManager.getLogger(LocalMemory.class);//存储本地缓存数据.用软引用避免OutOfMemoryError
static Map> localData = new ConcurrentHashMap>();public static final int MAX_SIZE = 10000;public static final int WARN_VALUE = 8000;/***@paramkey
* 缓存KEY
*@paramvalue
* 缓存数据
*@paramtimeOut
* 超时时间,单位秒*/
public static voidput(String key, Object value, Long timeOut) {if (localData.size() >=WARN_VALUE) {
logger.warn("注意:本地缓存已经达到临界值,size:" +localData.size());
}if (localData.size() >MAX_SIZE) {
logger.error("超出最大值:" +localData.size());return;
}
CacheData cacheData= newCacheData();long now =System.currentTimeMillis();long invalidTime = now + (timeOut * 1000);
cacheData.setData(value);
cacheData.setInvalidTime(invalidTime);
SoftReference refCacheData = new SoftReference(cacheData);
localData.put(key, refCacheData);
}public static finalObject get(String key) {
SoftReference referenceData =localData.get(key);if (referenceData == null) {
logger.debug("未找到数据,key => {}", key);
}
CacheData cacheData=localData.get(key).get();if (cacheData == null) {
logger.debug("未找到数据,key => {}", key);
}
Long invalidTime=cacheData.getInvalidTime();if (invalidTime == null) {return null;
}long now =System.currentTimeMillis();if (now >invalidTime) {//清除缓存
localData.remove(key);return null;
}returncacheData.getData();
}public static void put(String key, Object value, longtime, TimeUnit unit) {
put(key, value, unit.toSeconds(time));
}public static void main(String[] args) throwsInterruptedException {
String key= "test";
Object value= "hello world";
LocalMemory.put("test", value, 1l);
System.out.println(LocalMemory.get(key));
Thread.sleep(2000);
System.out.println(LocalMemory.get(key));
}
}
本地缓存
优势:
1,易用,只是比map多了个过期时间,有超时的概念
2,用软引用,可防止对JVM的堆对象造成out memory
3, 相对集中缓存不需要进行网络开销,消除RPC
缺点:
1,用的是堆内存。会对JVM的垃圾回收造成影响
2,大小控制只能是通过KEY值的存储数量控制,无法通过控制内存占用大小
3,缺少监控方面的设计
4,没有缓存的移除,定期清除失效缓存
5,缓存穿透的问题,当缓存失效时间时,大量访问到了缓存的传统,压到数据库去了
对于3,4问题可以用google的guava
对于1,ehcache可以用JAVA的直接内存.
对于直接内存这部分不好实现,JAVA只提供了个ByteBuffer.allocateDirect(capacity)的方法去应用直接内存,也就意味着要存入直接内存必须先把整个对象序列号成byte再放入直接内存。
但这样每次都需要序列号与反序列化的开销,而且得全量加载的堆内存引起垃圾回收。ehcache有直接用native方法实现
踩过的坑:
缓存失效
当缓存出现失效, 瞬间大量访问压到了DB,造成DB的压力
解决:
1,不用失效时间来触发缓存的更新
1, 后台定时刷新最新内容到本地缓存,不依靠失效时间来触发。
2, 结合广播通知模式(如 redis)+本地缓存更新进行更新缓存,而不是通过失效来触发(目前系统主要就是这个模式,待加上案例分享)
当然,两种进行结合效果更好,
WEB服务器不停监控redis的访问,同时定时轮询,覆盖缓存中的内容
2,通过控制进入DB操作的线程数进行控制
如, 通过重入锁的,tryLock的condition,condition,阻塞超时方法,通知等进行控制(待加上案例分享)
缓存穿透
当访问不存在的KEY时,一直传入到数据库层面去,压到DB,造成DB的压
解决:
1, 添加计数器,如当一个KEY的次数达到了10次后, 在缓存总加入该KEY,进行null的返回
2, 是否符合KEY的规则 + Bloom Filter, 用redis的bitmap存数组,对已存在的值进行hash存入(如果是ID,直接存,不需要hash,准确率100%)。 如果访问的有bit位置为0的,必定不存在
返回同一对象地址
本地缓存读取后的修改,会相互影响的问题
解决:
如果需要修改,返回对象需要进行深度clone
欢迎关注我的公众号,重现线上各种BUG, 一起来构建我们的知识体系
本地缓存timeout java_1, 本地缓存的实现以及遇到的问题相关推荐
- php缓存数据到本地缓存,本地缓存localStorage的使用方法
本篇文章的使用方法来自于实际开发,详细介绍AppCan手机框架本地缓存localStorage的使用方法. 在手机应用中,存储本地数据是必不可少的功能,例如我们可以在手机中存储用户自定义设置.传递数据 ...
- 本地缓存防止缓存击穿_防止缓存爆炸的快速提示
本地缓存防止缓存击穿 在很多情况下,您都可以从应用程序中的常用对象缓存中受益,特别是在面向Web和微服务的环境中. 您可以在Java中执行的最简单的缓存类型可能是引入一个私有HashMap,在计算对象 ...
- guava缓存数据到本地_扩展Guava缓存以溢出到磁盘
guava缓存数据到本地 缓存使您可以轻松地显着加速应用程序. Java平台的两种出色的缓存实现是Guava缓存和Ehcache . 尽管Ehcache功能丰富得多(例如其Searchable API ...
- 浏览器缓存原理以及本地存储
作为一名前端工作人员,前端的缓存知识是必须掌握的,因为一个网站打开网页的速度直接关系到用户体验,用户粘度,而提高网页的打开速度有很多方面需要优化,其中比较重要的一点就是利用好缓存,缓存文件可以重复利用 ...
- java 项目做多级缓存_【开源项目系列】如何基于 Spring Cache 实现多级缓存(同时整合本地缓存 Ehcache 和分布式缓存 Redis)...
一.缓存 当系统的并发量上来了,如果我们频繁地去访问数据库,那么会使数据库的压力不断增大,在高峰时甚至可以出现数据库崩溃的现象.所以一般我们会使用缓存来解决这个数据库并发访问问题,用户访问进来,会先从 ...
- 分布式缓存redis+本地缓存Caffeine:多级缓存架构在行情系统中的应用
多级缓存架构在行情系统中的应用 一 为什么要有多级缓存 二 多级缓存架构 三 代码实现 @PreHeat 注解 CacheAspect 定时任务执行器PreheatTask LocalCacheSer ...
- 探讨下如何更好的使用缓存 —— 集中式缓存Redis的BitMap存储、管道与事务、以及与本地缓存一起构建多级缓存
大家好,又见面了. 通过前面的文章,我们一起剖析了Guava Cache.Caffeine.Ehcache等本地缓存框架的原理与使用场景,也一同领略了以Redis为代表的集中式缓存在分布式高并发场景下 ...
- js——浏览器缓存(http缓存)和本地存储
http缓存链接 http缓存的好处: 事先代码准备: 创建一个http服务 在集成终端中,输入node app.js启动服务 此时,在浏览器中输入localhost:3000,结果如下 新建一个in ...
- ASP.NET Core 缓存技术 及 Nginx 缓存配置
前言 在Asp.Net Core Nginx部署一文中,主要是讲述的如何利用Nginx来实现应用程序的部署,使用Nginx来部署主要有两大好处,第一是利用Nginx的负载均衡功能,第二是使用Nginx ...
最新文章
- JSTL fmt标签格式化日期时分秒显示为00:00:00和12:00:00问题
- 科学通报:合成微生物群落的构建与应用
- android自定义布局的使用!
- windows下使用svn命令行
- java字符流解析_Java IO(四):字符流详解
- ​如何在图书馆收获一段爱情?​
- 调查显示超四成人“讨厌”大数据
- 《Python绝技:运用Python成为顶级黑客》 用Python进行取证调查
- 由儿时的游戏打保猜最广想到的
- 【图像分割】基于matlab模糊聚类算法FCM图像分割【含Matlab源码 084期】
- 【Linux-Windows】海康网络相机开启ONVIF协议
- 吉林大学超星MOOC学习通高级语言程序设计 C++ 实验04 数组及其在程序设计中的应用(2021级)(2)
- 记:一次意外JTAG使用引发对于STM32内核的了解
- 音视频编解码技术之音频编码基本概念介绍
- BERYL和COMPIZ FUSION的安装与使用
- 板载SoC与插槽CPU
- React 18的基本使用
- param name=allowScriptAccess value=never/是什么意思
- PID控制------伯德图原理
- IP电话与普通电话的区别