先说说我目前的需求和困境吧:

1.导出订单这个功能相信大家都不陌生,数据量大,业务复杂。现在产品需要导出一个月的数据,大概2w条左右,查询接口调用的是java提供的api。

2.查询2000条数据该接口需要30+秒,而服务器的超时时间是30秒,因此超时在所难免。1w条数据每1000条一次,单个curl请求,耗时60-78秒,curl_multi请求,45.78-52秒。

3.此时并没有做完业务逻辑,用户的信息需要在返回的结果中根据uid在此查询数据库,某些字段还需要做判断,因此,需要等待rest结果并处理逻辑。

4.处理的数据结果,经过遍历之后组装到excel单元格,占用大量内存。

现在说说我自己的想法:

1.客户端发起“导出”动作,服务发送查询操作,并生成excel文件保存到服务器端。

2.在客户端发出动作之后,最好立即返回,不等待结果回馈客户,直接告诉客户,半个小时之后再去下载。

3.下载直接从服务器上拉去生成的excel文件。

我的困惑:

如何做到客户发起请求并立即返回,还要服务器做业务逻辑,处理查询,字段组装等过程?请各位大神帮我指点一二,谢谢你们!

补充一点:

原本想使用cron job的,但是东西越来越多,服务器并不是很宽裕,上面部署这很多服务,这些事自己内部使用的,效率不要求很高。

因为app端显示的很多东西都是定时任务,比如商品加精等,太多了,所以,目前不想使用cron job。而且在java代码中使用spring的task执行很多任务。

回复内容:

先说说我目前的需求和困境吧:

1.导出订单这个功能相信大家都不陌生,数据量大,业务复杂。现在产品需要导出一个月的数据,大概2w条左右,查询接口调用的是java提供的api。

2.查询2000条数据该接口需要30+秒,而服务器的超时时间是30秒,因此超时在所难免。1w条数据每1000条一次,单个curl请求,耗时60-78秒,curl_multi请求,45.78-52秒。

3.此时并没有做完业务逻辑,用户的信息需要在返回的结果中根据uid在此查询数据库,某些字段还需要做判断,因此,需要等待rest结果并处理逻辑。

4.处理的数据结果,经过遍历之后组装到excel单元格,占用大量内存。

现在说说我自己的想法:

1.客户端发起“导出”动作,服务发送查询操作,并生成excel文件保存到服务器端。

2.在客户端发出动作之后,最好立即返回,不等待结果回馈客户,直接告诉客户,半个小时之后再去下载。

3.下载直接从服务器上拉去生成的excel文件。

我的困惑:

如何做到客户发起请求并立即返回,还要服务器做业务逻辑,处理查询,字段组装等过程?请各位大神帮我指点一二,谢谢你们!

补充一点:

原本想使用cron job的,但是东西越来越多,服务器并不是很宽裕,上面部署这很多服务,这些事自己内部使用的,效率不要求很高。

因为app端显示的很多东西都是定时任务,比如商品加精等,太多了,所以,目前不想使用cron job。而且在java代码中使用spring的task执行很多任务。

2种,一种就是使用脚本去跑。还有一种就是接收到前端请求之后直接返回或是让它超时,php可以继续执行的显示设置脚本set_time_limit(0);,php-fpm的话可以fastcgi_finish_request(),返回之后继续执行,apache可以设置ignore_user_abort();

不过后面一种方式php-fpm的话会阻塞php接收请求,有可能导致正常用户无法访问网站,因为那个是随机分配的,如果nginx连接到那个长时间的进程的就阻塞了。

建议还是用php脚本的方式来执行,可以使用队列,也可以使用shell去调用php脚本来执行

可以通过队列导出

可以满足你的需求,下图为我的导出

或者你也可以选择简单点的,用Linux计划任务执行

前台提交导出请求,你将导出的请求添加到数据库任务表里,并返回给客户端正在执行导出等信息,然后linux计划任务对任务表查询到新任务并进行导出,导出完成后修改当前任务为已完成,这应该不是特别复杂了

同学,你听说过cron job 么?

你可以借助分布式任务队列

比如说gearman, rabbitmq 异步的处理

为啥不用天生异步的nodejs实现呢

本条技术文章来源于互联网,如果无意侵犯您的权益请点击此处反馈版权投诉

本文系统来源:php中文网

php生成excel到服务器,php如何异步生成excel文件并保存到服务器相关推荐

  1. 附件文件无法保存到服务器,可能是目录属性设置问题,请与管理员联系,Discuz不能上传过大文件的解决办法...

    烈火网(LieHuo.Net)教程今天论坛附件无法上传,进服务器去查看,后来发展所有DISCUZ论坛都无法上传附件,这个问题很严重,应该说非常之严重,上网找解决方案没有找到,去discuz论坛提问,斑 ...

  2. 服务器如何与手机互传文件,两个云服务器怎么互传文件

    两个云服务器怎么互传文件 内容精选 换一换 本文介绍了云监控CES各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验. 假如您有两个Web应用,需要部署在两个弹 ...

  3. gta5一直正在连接到服务器,《GTA5》修改HOST文件连接R星服务器方法介绍

    <GTA5>修改HOST文件连接R星服务器方法介绍 2015-11-04 10:36:55来源:贴吧编辑:评论(0) <GTA5>中很多反映遇到登陆R星服务器很慢或者连接不上的 ...

  4. java下载文件到服务器_java代码实现上传文件到文档服务器、下载文档服务器文件...

    需要完成下载->修改->上传这三个步骤 平台有提供对应的api吗? /** 首先我们来理解下关于文档的api 文档相关api都在这2个package下面 package :com.just ...

  5. 服务器怎么用u盘传文件进去_云服务器无法使用USB设备?一文读懂如何在云服务器上使用优盘...

    操作场景 RemoteFx 是 Windows RDP 桌面协议升级版,RDP 8.0起可以使用 RemoteFx 来使用 USB 重定向,将本地 USB 设备通过 RDP 的数据通道重定向到远程桌面 ...

  6. linux服务器上的项目读取本地文件,java访问linux服务器读取文件路径

    java访问linux服务器读取文件路径 内容精选 换一换 通过ADC将文件传输到Host.参见准备环境完成环境配置.以运行用户登录安装Toolkit组件的服务器.执行命令,将A.java文件传输到H ...

  7. php远程下载文件并保存到服务器

    适合用于小程序下载文件 核心方法 /*** 下载文件到服务器* addtime 2020年8月28日 18:38:43*/ function getFile($url, $save_dir = '', ...

  8. java上传文件并保存到服务器----大文件上传

    一般的文件上传(不依赖spring) /*** 保存文件** @param path 文件绝对路径* @param fileBytes 文件字节数据* @throws ApiServiceExcept ...

  9. php生成excel到服务器,yii phpexcel自动生成文件保存到服务器上

    yii phpexcel自动生成文件保存到服务器上 最近再整一个报表任务,每天必须把表导出来按excel格式发送邮件给管理员,利用phpexcel把表保存到服务器上,然后再通过phpmailer发送就 ...

最新文章

  1. python读取excel-python读写Excel
  2. 关于.framework 文件过大 移除包内对i386 x86_64 的支持
  3. MAPREDUCE的实战案例
  4. boost::king_ordering用法的测试程序
  5. Google Maps地图投影全解析
  6. macOS Big Sur正式版发布!Big Sur安装失败?更新时卡住了怎么办?
  7. sqltype java_【SQL参考】SQL数据类型与JAVA中type的对应
  8. html5新增表单控件和表单属性
  9. CCNP精粹系列之十三-----OSPF路由汇总
  10. php centos mysql_Linux+Apache+PHP+MySQL服务器环境(CentOS篇)
  11. Http网络传递参数中文乱码问题解决办法
  12. 55. 时间服务器 : NTP 服务器
  13. 模糊控制-模糊性知识的表示问题
  14. 安装java的心得体会_java实训心得体会范文
  15. Booksir路线:先成材,再成功,警察到书生的传奇(转载)
  16. 号码认证平台有哪些?号码认证平台费用?
  17. textarea 中的内容自动换行
  18. weex android 图标,U乐网址 -官网
  19. vulnhub靶场,FirstBlood
  20. 鸿蒙系统能不能用在手机,【图片】华为鸿蒙系统的厉害之处在于 你可能非用不可 !【手机吧】_百度贴吧...

热门文章

  1. 人脸皮肤高清xyz贴图库分享
  2. 人口密度修正后的全球疫情热力图,看各国疫情严重程度
  3. Redis系列-存储篇list主要操作函数小结
  4. [Java]利用jsoup爬取易查分
  5. 传国宝玺 第三部 巴山藏宝洞 第三十四章 千魂魈
  6. Linux内核Ramdisk(initrd)机制【转】
  7. 字符串连接 (c语言)
  8. 电信业服务流程设计--用例图
  9. 腾讯云申请免费SSL证书
  10. 《华为数据之道》-第7章 打造“数字孪生”的数据全量感知能力