安徽省烟草行业数据统计口径调整试点
工作总结
一、项目背景
目前行业统计报表按企业“工作日”进行核算。两打三扫业务操作实时回传到国家局,国家局数据加工每日在00:05分开始,加工数据范围限定为24:00之前收到的所有数据。国家局对每日数据进行加工时,部分企业仍处于生产、销售操作,24:00时后上报国家局部分数据处于“临时缺失”状态,需等要到第二天加工时间后第三天更新发布该日完整数据,与第二天发布数据不一致。
局领导提出了统计数据每日发布要“以数据一致性为基准”的要求。为了解决“按工作日采数、按自然日看数”的问题,拟通过将统计时段定义为自然日(0:00 - 24:00时),以此为核算标准,将数据采集、加工口径和数据使用要求结合起来,既满足行业及时用数要求,又保障日加工数据的完整性和一致性。
二、升级内容
本次升级针对全行业(国家局及工商企业)决策管理系统的服务端和分拣中心,其他业务环节客户端操作均不作调整。 升级方式:利用stma_deploy程序的升级向导,完成自动更
新。未重新部署应用包。
升级内容:服务端应用程序和数据库。具体如下:
三、功能变化
统计口径调整前后差异主要体现在两方面:决策管理系统版本及统计应用页面数据统计口径。除此之外,新版本一并修正工商业企业决策管理系统存在缺陷。
1. 决策管理系统版本差异
决策管理系统版本差异:升级前为5.5.0.0,升级后为5.6.0.0。
图1 升级前决策管理系统版本V5500
图2 升级后决策管理系统版本V5600
2. 统计应用页面统计口径差异
1) 工业生产打码环节
a) 生产补码以实际在产量单据确认操作时填写提交补打码量时的标准时间作为补码数据的业务日期。
b) 生产报废以报废扫描单据处理时的标准时间作为统计数据的业务日期。
c) 记录排产日期,作为数据核对依据。
d) 年底提前生产卷烟,产量核算到次年1月1日。
e) 调整前打码单据和统计数据业务日期取客户端回送的排产日期, 跨零点生产的仍然取前一天作为单据和统计数据业务日期。调整后打码单据和统计数据业务日期取接收处理时标准时间,跨零点处理的同一班次的打码数据,将同一班次按照处理时标准时间的自然日拆分为两个单据、两部分统计数据 。
f) 跨季度生产注意事项:当季度最后一日如存在跨24:00
时生产情
况,系统将自动进行拆分。零点前打码数据核算为上季度产量,占用上季度生产计划;零点后打码数据核算为下一季度产量,占用下一季度生产计划。
2) 扫描环节
a) 扫描单据补充时,补充数据的业务日期以实际补充操作时的标准时间作为统计数据的业务日期。
b) 扫描单据报废时,报废数据的业务日期以实际报废操作时的标准时间作为统计数据的业务日期
c) 调整前扫描单据和统计数据业务日期取客户端回送的扫描日期,非实时单据和统计数据业务日期由人为选择。调整后单据和统计数据业务日期取处理单据时的标准时间,非实时单据和统计数据业务日期取填报提交操作时的标准时间。
3) 商业分拣打码环节
a) 分拣打码数据补充时取补充操作时的标准时间作为统计数据的业
务日期。
b) 调整前分拣打码单据和统计数据业务日期取客户端回送的订单开
始打码日期,跨零点分组回送的分拣数据仍然取前一天作为单据
和统计数据业务日期 。调整后打码单据和统计数据业务日期取接收处理时标准时间,跨零点分组回送的同一订单,按照处理时标准时间的自然日拆分为两条订单数据、两部分统计数据
四、注意事项
1.计划升级时间
此次统计口径调整整体升级时间计划在2015.2.1—2015.3.31之间。
2.计划切换时间
新口径计划在20xx年4月1日零点进行行业统一切换,口径切换前,系统仍然按照原有的逻辑进行数据核算,口径切换后,按照新口径进行数据核算,新口径启动时须确保当日业务结束,并且数据处理完成,以保障数据核算清晰。
3.数据对比
由于统计口径调整,原数采数据与统计应用数据对比页面将不再适用。
4.业务影响
为适应新统计口径,且与内部业务系统不冲突,部分单位可能考虑重新分配班次或分拣业务时间,应及时了解并记录。
5.跨年数据
如遇12月31日分拣日期的数据,分别在12月31日和次年1月1日打码,打码量会统计到12月31日,不跨年。
6.数据异常
可能由于断电、断网、管理机异常等原因,单据不能当天处理,系统恢复后,数据只能统计到系统处理日期内。
附件1:试点升级期间问题记录
1. 合肥市公司
1) 市公司stmacmbas_commerce验证页面有如下提示:视图不存在、配置项值不正确。
处理:视图不存在,为脚本错误,开发修改脚本解决,如下图,脚本多了一个VIEW。
配置项值不正确,为配置项中ip为127.0.0.1,修改为本机管理机ip
2)更新历史数据超时。
处理:由于历史数据量过大,执行语句超时,采用手动分批次更新。
3)升级后,统计应用待确认单据,分拣打码数据打开效率低。 处理:开发对其优化,由原1分钟打开页面,提高到20秒以内。
2. 安徽省局
1)省局审核报送模块-自然日与工作日对应关系页面打开报错404。
处理:该jsp在部署包中不存在,中软开发上传jsp后正常打开。
2) SaveasExcel 按钮问题。
处理:开发对其修改,目前此问题已经解决。
3) 上报数据时提示两级数据不一致。
处理:开发对程序进行了修改,以前两个小时同步一次数据,修改为15分钟同步一次。
3. 安徽工业企业
1)升级过程中,更新数据库表失败;
处理:缺少建表语句中指定的表空间,修改语句,指定为已存在表空间。
2)待确认页面报错;
处理:升级后数据库表已更新,视图未更新,开发人员重建视图解决。
3)数据查询页面,数据显示不完整,只显示一条记录 处理:程序查询语句错误,修改程序中的查询语句。
附件2:分拣中心测试报告
1. 前期准备
1) 安装分拣中心5032。
2) 导入模拟订单,订单日期为20xx年3月2日。
3) 导入可用码端并进行手工关联。
2. 测试目的
1) 验证不跨天分拣回送解析是否正常,调整、删除批次等功能是否正常。
2) 验证跨天分拣回送解析是否正常,调整、删除批次等功能是否正常。
3. 测试过程
1) 不跨天分拣,下图可以看出软件时间取的是国家局标准时间,与本地时间无关。
a) 首先分拣一部分数据,分拣完毕后回送数据;
b) 管理机上查询数据已回送完毕。
c) 然后进行调整分拣线操作。
d) 调整完毕后继续分拣
e) 分拣完毕后回送任务并查询数据正确。
f) 再次导入订单测试批次删除功能是否正常,打一部分数据并进行订单删除,数据回送数
据到管理机,查看后发现数据正常。
1) 跨天分拣在客户端操作是一样的,只是在管理机页面显示的时候有差异,如下图所示:
一个批次分解成了两天数据,不再按照分拣日期来归类统计量,而是按照管理机的解析日期来进行归类,跨零点的分拣打码量算第二天的销量。
4. 测试总结
1) 分拣中心升级到503X版本之后功能正常,不影响企业调整,删
除等操作。
2) 数据库批次、订单、线路的本地更新时间取的时间统一修改为了
国家局标准时间,这样就避免了时间不一致的现象。
3) 软件本身的按钮时间还是取系统本地时间,比如工控机如果要打
前一天订单,还是要在参数设置里面修改订单日期。
4) 软件本身升级对客户打码到条业务影响不大,对统计应用上报量
操作影响较大,如果不涉及跨天业务则无影响。