爬虫，HTTP HTTPS协议解析

一、基于爬虫解决方案的不足

1. 爬虫解决方案是面向数据响应的，爬虫系统在订单响应后工作，必须有订单请求后的响应结果才能捕获订单；商超系统使用的 HTTP 协议是无状态的通信协议，由多个请求响应对组成，各请求的响应对是否属于一
次会话，爬虫系统是无从得知的。

2. 爬虫方案面临大量间接响应的订单数据，多数商超的订单编号、订单头(供货时间、地点等)、订单体(各商品规格、数量等) 并不在一次请求中获得，而是分为多个请求，多个响应到达的顺序也不确定，响应内容格式也不统一(JSON、JAVASCRIPT、PDF 等)，爬虫方案是不生效的；如果要获取完成有效的订单，则需要商超系统方面提供可用的开发接口。

二、基于HTTP HTTPS协议解析方案

1. 前期工作相对比较困难，需要了解学习HTTP，HTTPS协议相关内容，需要分析cookies文件等等。

2. 突破HTTP HTTPS协议后，可以实时在线管理会话，避免反复登录。

3.数据获取更准确，效率更高，可以应对复杂界面，分页，滚动条，条件筛选，ajax动态加载等各种情况。支持批量操作，打印，下载，导出等。

4.方便与第三方系统对接。

5.验证码自动识别，无人值守，全自动抓取数据。

三、实现与技术特性

引言

如果您的企业还在为了商超、卖场、电商渠道大量的订单而不断加大人员投入；如果您的企业还在为了大量订单录入失误而导致的后果买单；如果您的企业还在绞尽脑汁如何完善各项订单数据……

全渠道商超自动抓单管理系统（OMS）应用于全渠道商超、卖场、电商的订单抓取，实现跨平台的订单抓取、订单核验、ERP系统录入自动化，系统支持多平台、多店铺、全渠道系统采购订单、验收单、结算单等业务单据的统一管理。

关键字：商超订单、卖场订单、电商订单、自动抓单、OMS、SAP 商超订单、订单统一管理、电商订单管理

一、系统概述

全渠道商超自动抓单管理系统订单集中管理为核心，系统支持多平台、多店铺、全渠道系统采购订单、验收单、结算单等业务单据的统一管理。本软件可以帮助快消品行业企业节约人力成本，高效获取商超订单，自动接入企业ERP系统，提高订单的准确率，提升订单处理效率。

全渠道商超自动抓单管理系统将手工下载订单、核验输入、录入订单的重复操作实现无人值守自动化运行，从而解决了商超卖场订单下载录入工作量大，卖场POS销量分析工作量大，卖场库存实时跟踪等问题，减少人为操作失误导致的不必要损失。

全渠道商超自动抓单管理系统作为快消品行业智能营销的先行者，积极拥抱人工智能，充分利用业界领先的PRA、OCR技术赋能新营销，实现快消品行业企业高效、协同、一站式的订单管理需求，加速快消品企业业务流程数字化运营。

二、适用场景

商超、卖场渠道(解决人工重复性工作、大量业务单据操作)

卖场订单频繁、下载量大，手工处理来自多个商超、卖场渠道的订单及业务单据困难；人工成本高昂，数据准确性差。
支持永辉超市、大润发、家乐福、沃尔玛、物美超市、麦德龙、人人乐、红旗连锁、丹尼斯、步步高、永旺、卜峰连锁等30多家知名商超渠道。

电商平台（多渠道、多店铺订单管理，电子面单线下处理)

个人信息保护法出台后，电商平台数据断供，订单加密及订单传送接口关闭，导致企业需要租用聚石塔或着购买API，增加订单数据获取成本。
支持淘宝、天猫、京东、速卖通、抖音等电商平台，自动抓取购买信息，商品信息，库存信息，物流信息等，实现线下打印电子面单功能。

ERP系统对接(SAP、金蝶、用友等主流ERP系统集成)

传统的模式下，采用手工在ERP系统中进行订单录入、价格审核的方式效率低；订单多、品项多的情况极容易导致企业人工成本高昂，数据可靠性差。
自动抓单任务按计划无人值守执行，通过接口在ERP系统中自动生成销售订单、外向交货单，核对验收单、结算单等；业务单据的生产统一、准确、高效，支持价格、数量异常订单预警提示，提高订单执行效率。

三、实施方法

全渠道商超自动抓单管理系统开箱即用的无人值守抓单管理，快速定制的特定数据抓取，高扩展性的ERP系统集成支持。

管理员在系统后台配置好商超、卖场、电商的“登录网址、登陆用户名、登陆密码”等基本信息后即可根据计划任务一键抓取各订单、验收单等业务单据，抓取的订单同步可以直接进入企业ERP系统；系统支持高扩展性的客户化开发，支持快速定制特定网站数据抓取，包含“订单、实销、库存”等，还可以扩展对账单、退货单等单据抓取。

提升业务效率、降低人力成本：无人值守、自动、高效的获取商超订单，节约人力成本资源。
提高订单处理质量：提高订单处理的响应时间，实现多平台、多店铺、全渠道业务单据的统一管理；提供精准的、有效的营销决策数据。
ERP系统集成对接：ERP系统的无缝对接，实现销售订单业务数据的自动生成，例如，在SAP ERP系统中自动生成销售订单、外向交货单等。
减少人工操作错误：系统全自动无人值守运行，验证码自动识别，不需要人工录入，挑战100%的准确率，省人、省事、省时。

四、技术特性

全渠道商超自动抓单管理系统基于面向网络侦听技术，采用Java 及C语言开发的OMS网关服务器实现无人值守数据获取业务数据，主要技术特性说明如下：

规格和开发：

OMS网关服务器捕获和识别在线数据；
技术连接器：Web、UI自动化RPA、Java、基于TesseractOCR识别平台；
验证码自动识别验证器；
统一管理平台，统一数据格式。

主要技术特性：

OMS网关服务器向用户端提供配置参数和各商超的HTTPS企业证书，确保能够获取、转发用户端获取的订单数据，系统解析各商超原始订单数据；
抓单系统调用ERP接口，创建ERP系统内业务凭证；
OMS网关服务器记录用户端相关业务单据提交、审核、打印等操作日志，实现可审计、追溯、排障的运维体系；
基于B/S架构，OMS网关服务器提供用户端的自动更新服务。

五、SAP ERP集成

全渠道商超自动抓单管理系统 OMS 支持无人值守抓取的业务单据自动进入企业ERP或进销存系统（包括 SAP ERP，Oracle EBS，金蝶、用友、鼎捷、速达等），生成相应的销售订单及业务单据。

系统平台支持与 SAP ECC、S/4 HANA 系统的无缝衔接，在 SAP 系统中自动生成销售订单、外向交货单，核对验收单、结算单等SD 模块业务操作，有效的简化企业商超订单管理工作流程，保证订单数据处理的统一、准确、高效，实现跨系统、组织的协同管理，提升企业营销效率。

No	SAP集成系统功能	功能说明
1	支持导入同一商超渠道的同一订单时预警提示（重复订单的导入提示）。	SAP ERP端订单导入程序对于采购订单编号的处理（对订单编号进行处理，生成满足SAP ERP系统要求的订单编号，NRIV表）。
2	支持月底开单时可以选择开单月份导入。	SAP ERP批量或单条修改订单生成日期和定价日期的功能。
3	支持售达方和送达方不一样时，可以自动识别：例如商超名称、门店名称的判断。	增加商超配置表模版导入功能，维护售达方及送达方关系。
4	支持订单的价格获取来源于ERP，自定义税率。	在SAP ERP系统中，增加物料价格，OA中价格审批后，要及时同步到SAP ERP系统中。
5	支持所有商超系统价格可以手动调整，捆绑装和裸装可以选择。	在SAP ERP系统中，增加物料价格维护项；提示此条码对应多个物料号，用户可以手工录入或选择其中某一个物料号。
6	支持商超送货后验收单与送货单核对。	SAP ERP系统中，新增功能数据核对；没有明细数据的单据仅能核对总金额，有明细数据（即采购订单编号）的单据，可以逐条核对。
7	订单单位处理：抓单导入时，单位可以自动修改为SET件。	在抓取数据时，处理物料单位变更为SET；仓位需要事先配置好，系统会自动识别。；
8	订单分拆处理：如一张订单有13个单品，则需要6个单品一张导入SAP，SAP这边要生成三张订单；订单上的仓位需要导入到SAP系统装运下的卸货点。	在SAP ERP系统中，增加单张订单先拆分成两个，及后续的二次分拆功能。
9	系统打印单处理：导入订单后可以批量打印及部分订单可以添加备注。	在系统中，增加smartforms打印功能，及添加备注信息。
10	SAP 系统中订单自动生成过程中，增加库存地点选择。	方便库存管控。

六、案例介绍

项目背景：

某大型食品生产企业向20余家商超平台直供产品，商超平台业务单据涉及订单、结算单、验收单，ERP系统为 SAP S/4 HANA系统。
销售内勤主要工作是定期将商超平台的订单下载打印，然后将数据手工录入到 SAP ERP系统（创建销售订单，外向交货单、验收单等业务）。
商超订单约1200单/天，销售内勤团队人数30余名，随着业务的高速发展，工作量大幅增加，逐渐暴露出订单处理质量差、工作效率低、人工成本高等问题。

业务挑战：

为应对节假日促销订单及突发订单，需要大量销售内勤人员支持；由于产品SKU、门店数量众多，导致企业对于销售内勤的依赖性较强，人力成本费用高昂。
需要员工时刻监控商超系统，并且不时手动执行订单的查询、下载、打印。
手工在SAP ERP系统中创建销售订单耗时、繁琐，涉及订单价格差异检查、门店、仓库匹配等，及容易出错。

价值收益：

系统全过程无人值守运行，解放劳动力，降低人工成本。
每天每人可节省约6小时处理时间，销售内勤团队人员数量缩减近9成，有效的提高了订单处理效率。
避免人为录入和处理数据而引发的错误，管理人员仅需对异常订单进行审核和处理，有效的降低了订单错误率。
减少员工重复劳动时间，减少人为的错误机会。