包钢科技

炼钢原料物流数据可视化的研究与实现

PDF下载

王宏 , 钱松 , 赵菲

包钢科技 | 专家论坛 2025,51(2): 1-4

收起

包钢科技 | 专家论坛 2025, 51(2): 1-4

炼钢原料物流数据可视化的研究与实现

全屏

王宏, 钱松, 赵菲

作者信息

内蒙古新联信息产业公司,内蒙古包头 014010

王宏(1965-),男,内蒙古凉城县人,硕士,正高级工程师,现从事信息化研究与应用工作。

Study and Realization of Data Visualization for Raw Materials and Logistics of Steelmaking

Hong Wang, Song Qian, Fei Zhao

Affiliations

Inner Mongolia Xinlian Information Industry Co., Baotou 014010, Inner Mongolia Autonomous Region, China

出版时间: 2025-04-25

文章导航

摘要

收起

伴随着钢铁企业信息化建设的推进,各生产工艺流程环节产生的数据量大幅增长,尤其是钢铁原料物流数据,展现出了广泛性、关联性、多样性、动态性和复杂性。为了充分地挖掘数据的价值,针对某钢厂的炼钢原料物流数据,利用大数据平台,采用ETL数据抽取技术与个性数据汇聚开发相结合的方式,成功构建了原料数据仓库,并实现了炼钢原料数据的可视化管理及深度分析,同时圆满完成对钢铁企业原料物流信息数据的挖掘处理分析。

关键词

数据大屏 / 可视化管理 / 数据治理 / 钢铁原料物流

Abstract

收起

With the advancement of information construction for iron and steel enterprises, the data volume generated in various production technology process links is increased significantly, especially the data for raw materials and logistics of iron and steel, which shows universality, relevance, diversity, dynamism and complexity. In order to explore data values fully, the data warehouse of raw materials is successfully established, visualization management and deep analysis for raw material data of steelmaking are realized as well as mining, processing and analysis of data for raw materials and logistics of iron and steel enterprises are completed successfully with the big data platform, combining the ETL(extract, transform, load) data extraction technology with converging and developing personalized data aiming at the data for raw materials and logistics of steelmaking for a steel mill.

Key words

large data screen / visualization management / data governance / raw materials and logistics of iron and steel

引用本文

王宏, 钱松, 赵菲. 炼钢原料物流数据可视化的研究与实现. 包钢科技, 2025 , 51 (2) : 1 -4 .

Hong Wang, Song Qian, Fei Zhao. Study and Realization of Data Visualization for Raw Materials and Logistics of Steelmaking[J]. Science & Technology of Baotou Steel, 2025 , 51 (2) : 1 -4 .

正文

收起

伴随着钢铁企业信息化建设的不断推进,各生产工艺流程中产生的数据量大幅增长,尤其是钢铁原料物流数据,其广泛性、联系性、多样性、动态性和复杂性特征日益凸显。原料物流作为钢铁企业物流的核心组成部分,不仅具备这些共性特点,还因其生产用料需求量大、品类品种繁多、管理流程复杂等特征而显得尤为重要。因此,采用高效的物流管理方法及系统,对于钢铁企业而言,意味着巨大的降本增效潜力^[1]。然而,当前钢铁企业在原料物流管理工作仍高度依赖员工的经验判断,这种人工决策方式在及时性和有效性上存在不确定性,导致业务处理效果波动较大,有时甚至可能引发新的问题。

1 目的及研究方向

收起

本文的研究旨在运用数据治理方法与先进的数据管理工具,以提升钢铁企业炼钢原料物流管理的整体效能。通过对包钢股份公司的物流管理业务及信息化建设水平进行深入调研,针对其原料物流数据的特性,本研究基于Oracle数据库的实际使用和数据治理的理念,借助大数据平台(H3CDataEngine),采用ETL数据抽取技术与个性化数据汇聚开发相结合的方式,面向物流管理应用需求,重构了数据逻辑结构进行数据的汇聚处理有效打破了原有的“信息壁垒”和“信息孤岛”现象。这一方法使得我们能够及时、准确、全面地获取原料物流全过程的状态及各类相关信息,将原本杂乱无章的数据有效地提炼并归集为所需信息,进而探寻并发现其中潜在的规律。本研究成功建立了适用于包钢股份的炼钢原料数据仓库,实现了炼钢原料数据的可视化管理及深度分析,完成了对钢铁企业原料物流信息数据的处理工作,为企业决策提供有力支持。

通过对企业实际原料物流管理的深入分析,我们认识到,要实现炼钢原料物流数据的可视化管理,必须将炼钢原料的采购信息、计划信息、使用信息以及仓储信息等多个方面紧密联系起来。因此,该系统的建设重点明确聚焦于炼钢原料物流数据仓库的构建以及原料物流数据的可视化管理展示这两大核心部分。

2 建立数据仓库

收起

2.1 原料物流数据治理及抽取

通过对包钢股份炼钢原料物流数据及管理业务的深入分析,我们总结出了以下几个显著特点:

(1)炼钢原料物流业务所产生的数据量极为庞大,然而,这些数据在经营分析和业务管控方面的应用却相对有限,存在较大的数据利用潜力未被挖掘。

(2)炼钢原料物流的业务数据分散存储在包钢股份的ERP系统、钢联物流系统、门禁管理系统、检化验系统等多个独立运行的信息系统中。由于这些系统的开发商各不相同,数据接口标准也不统一,导致数据串接工作异常复杂,进而使得物流数据的应用难度大幅增加。

(3)目前,业务数据的处理主要依赖手工方式,操作人员需要手动进行数据处理和主观分析。这种方式不仅工作量巨大,而且效率低下,同时,报表、工作记录等数据载体的人为出错概率也较高,导致数据的安全性极低,存在较大的风险隐患。

2.1.1 数据治理

针对炼钢原料物流数据所展现的特点,我们明确了数据治理的核心目标:提升数据质量^[2],确保数据安全,并实现业务数据资源的共享。这一目标的设定旨在为有效建立数据仓库奠定坚实基础,进而为原料物流业务的决策分析提供坚实的数据支撑。

围绕炼钢原料物流数据管理及分析的业务要求,我们深入进行了数据治理工作。在治理过程中,我们严格遵循数据生命周期进行管控^[3],并始终坚持“两个一”的核心原则。

具体而言,“一套指标”方面,我们紧密结合炼钢原料物流业务的实际情况,构建了原料物流管理的指标体系。针对指标清单及其定义,我们进行了统一规划和管理,并对关键指标实现了逻辑上的统一,例如计算公式的标准化。该体系中涵盖了炼钢工艺原料的指标清单,并对炼钢工艺原料的数据指标模型进行了统一管理,实现了对炼钢工艺原料指标的逻辑统一。通过指标的统一,我们能够设计有效的计算规则,并通过BI和数据可视化技术进行呈现,从而解释用户行为及业务的变化,最终达到可视化管理的目的。

在“一个平台”方面,我们在统一平台上规范了原料物流业务的数据对象清单,并对数据字典表进行了标准化处理。我们搭建了炼钢原料物流数据管理模型平台,根据业务的实际需求设计了数据管理模型,并通过大数据平台实现了模型的设计。这一平台明确了逻辑数据模型,使其能够涵盖整个原料业务范围,并具有定义清晰、适应性强、冗余少、易扩展、易存储等特性^[4]。为处理炼钢工艺原料的逻辑,我们专门搭建了炼钢工艺原料的逻辑模型。同时,我们也明确了物理数据模型,主要是明确了原料物流数据各维度的业务规则和技术规则,以及数据可视化展示界面中对数据生命周期的要求及策略。图1为数据管理模型平台中的指标列表截屏图。

2.1.2 数据抽取过程

数据抽取、转换与装载是构建数据仓库过程中的核心环节。这一流程涉及从源数据中抽取所需信息,随后根据数据仓库的逻辑数据模型要求进行数据转换,并最终按照物理数据模型的规定将数据装载到数据仓库中。这一过程不仅繁琐且耗时,通常需要占据开发数据仓库总工作量的70%,凸显了其在数据仓库建设中的关键地位及挑战性^[5]。

炼钢原料耗用数据ETL(Extract, Transform, Load)流程描述,如图2所示。

炼钢原料耗用数据的ETL流程是一个至关重要的数据处理环节,它紧密关联着炼钢生产的各个方面。此流程涵盖从炼钢生产相关的源系统中提取数据、对数据进行转换和清洗,以及将处理后的数据加载到目标系统(例如数据仓库或数据分析平台)中。以下是该流程的详尽描述:

(1)数据提取(Extract)

从与炼钢生产紧密相关的源系统中,我们提取了原料耗用的详细数据。这些源系统不但涵盖了生产执行系统(MES)、企业资源规划(ERP)系统,还涵盖其他与炼钢生产息息相关的业务系统。

提取的数据内容广泛,包括原料的具体类型、耗用的精确数量、生产的日期、生产批次、以及成本中心等关键信息,这些信息对于炼钢工艺的监控和优化至关重要。

(2)数据转换与清洗(Transform & Clean)

我们对提取的数据进行了转换处理,以确保数据的格式、命名规则以及度量单位与目标系统保持高度一致,从而满足炼钢工艺分析的需求。

在数据清洗阶段,我们彻底清除了重复、错误或不一致的记录,以确保数据的准确性和完整性。这一步对于提高炼钢原料耗用数据的可信度至关重要。

根据目标系统的数据模型要求,我们可能对数据进行了聚合或拆分,以便更准确地反映炼钢工艺中的原料耗用情况。

(3)数据加载(Load)

经过转换和清洗后的数据被精心加载到目标系统中,如数据仓库或专门的数据分析平台,为炼钢工艺的优化提供有力支持。

在数据加载过程中,我们严格执行了数据验证和质量控制检查,以确保数据的准确性和一致性。这一步对于确保炼钢原料耗用数据的可靠性至关重要。

(4)流程监控与优化

我们对ETL流程的执行情况进行了全面的监控,这涵盖了数据提取(Extract)、转换(Transform)和加载(Load)的数据加载速度及准确度。这一关键步骤对于及时识别并解决潜在问题至关重要,它确保了数据仓库的可靠性和数据质量的持续性。

根据监控结果和炼钢工艺的实际需求,我们对流程进行了持续的优化和调整,以提高数据处理效率和准确性。这一步对于确保炼钢原料耗用数据的及时性和有效性至关重要。

借助炼钢原料耗用数据的ETL流程,企业得以更加高效地对原料耗用情况进行管理与分析,从而为生产决策及优化措施提供坚实的数据支撑。此流程不仅确保了数据的精确性和一致性,还极大地提升了数据质量与可靠性,为炼钢工艺的持续改进与创新发展奠定了牢固的基石。

在数据抽取过程中,发现还是存在信息汇聚不完整的问题,因此继续结合个性数据汇聚开发,主要是采用MVC模式通过Java语言完成针对个性数据进行定制汇聚的功能,如图3,实现构建数据完整的原料物理数据仓库。

例如在钢铁材料指标的数据重构时,首先取得转炉工艺站每炉的铁水和废钢投料值(ERP系统OJO21表)和铸机工艺站每炉的产出钢水产量值(ERP系统OJO29表),将其统一换算成kg,经ETL过程存储到数据仓库炉号信息汇总表中(数仓UF_LGDAS_HRD表),然后在数据仓库中将投入量和产量以账务日期进行汇总将结果存储至日数据汇总表(数仓UF_LGDAS_HZR表),最后取得钢铁料指标表(数仓UF_LGDAS_SJZB表)的指标计划值,与在数据仓库计算规则中计算钢铁料的实际指标值进行对比,将实际值、计划值对比结果存储到数据仓库账务日汇总表(数仓V_LGDAS_RZB表)。以此类推,实现以日指标为呈现维度的炼钢原料耗用数据重构。

3 原料物流数据可视化展示

收起

3.1 数据来源

经过数据治理及个性数据汇聚开发后,炼钢原料物流数据被妥善存储于数据仓库中。此举有效规避了多元多类型数据的输入和复杂的数据集成处理,确保业务人员在实际运用时,能够避免因数据处理繁琐而降低在线数据分析功能的效率。

3.2 原料物流可视化管理系统

通过对数据仓库中的炼钢原料物流数据进行细致处理,包钢股份公司利用商业智能工具,成功制作出满足业务实际需求的数据分析展示系统,实现了数据的可视化呈现,实现了如下功能:

3.2.1 物流信息监控

炼钢原料物流的管理人员需全面深入地掌握各关键指标节点的核心数据,而我们所研发的系统则能对这些信息进行高效管控(图4),以直观且丰富的方式展现原料物流的各类信息,从而为分析决策提供有力支持,实现业务的预警与预测,并支撑原料物流管理业务的多元化应用。这有助于公司管理者全面把握全局信息,做出更加明智的决策。

3.2.2 明细和分析图表实时查看

系统赋能包钢股份炼钢原料业务管理人员,使其在实际使用过程中能够通过在线方式,实现实时访问与查询系统集成的明细图表和分析图表。在业务管理的实际运作中,该系统能够充分发挥数据治理模块和数据展示模块的优势,有效利用数据可视化成果,为业务管理提供有力支持。

4 炼钢原料物流数据可视化的重要意义

收起

炼钢原料物流数据可视化对于提升企业管理效率与竞争力具有重要意义。具体而言,其意义体现在以下几个方面:

(1)增强数据理解:通过将抽象的原料物流数据转换为直观的图形化表达,有助于工作人员更快掌握数据核心信息和特点,发现数据背后的趋势和规律。

(2)优化决策过程:数据可视化使管理者能够更准确地了解原料物流状况,从而做出更加精准的决策,提高决策的准确性和有效性。

(3)提升生产效率:可视化技术帮助识别生产过程中的瓶颈和问题,及时采取措施进行改进,进而提高生产效率。

(4)降低管理成本:自动化的数据分析和可视化展示减少了人力需求,降低了管理成本,同时提高了工作效率。

5 结论

收起

通过运用数据治理技术,成功实现了炼钢原料物流管理过程的可视化,便于业务管理人员更好地把握整体情况,实现高效管理,为企业整体决策管理提供有力支持。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

沈禹. 大型钢铁企业原料物流管理[D]. 上海: 同济大学, 2009.

[2]

(美) (美)索雷斯(Soaves.S.)著, 匡斌译. 大数据治理[M]. 北京: 清华大学出版社, 2014.

[3]

王宏志. 大数据分析原理与实践[M]. 北京: 机械工业出版社, 2017.

[4]

张静. OLAP在炼钢生产物流系统中的应用研究[D]. 石家庄: 河北科技大学, 2010.

[5]

於双月, 王飞, 张瑞强. 生产监控可视化系统的搭建与应用[J], 装备制造技术, 2021(2):203-206,235.

2025年第51卷第2期

PDF下载

114

引用本文

BibTeX

文章信息

接收时间：2024-10-10
首发时间：2025-10-22
出版时间：2025-04-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-10-10

基金

作者信息

内蒙古新联信息产业公司,内蒙古包头 014010

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/bgkj/CN/1187669717197144583

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT