广东省某能源公司作为新能源发电企业,专注清洁电力开发与技术应用,并始终致力于通过数据驱动提升运营效率与智能化水平。公司业务核心围绕发电生产全流程管控、设备可靠运维、发电效能优化、合规经营及数据价值挖掘展开,其场站物理布局分散(多地处偏远区域)、数据类型多元(实时控制、传感器、视频、台账等)、数据量呈爆发式增长(泛在感知设备部署),且对数据可靠性、业务连续性要求极高。
在数据存储实践方面,深信服为其构建了一套基于超融合架构的集中式时序数据管理平台(4台存算一体节点,构建统一的块存储池),目前已完成实时采集并存储分布全国20余个新能源风、光发电场站的生产运行数据,总数据点规模约100万点,更新频率1秒至15分钟,全面覆盖发电功率、设备状态、环境监测等关键指标。
本方案的核心技术优势主要体现在:
1、新能源发电的场站多分布在偏远地区,传统集中存储需将所有数据回传至总部,不仅带来网络带宽压力,还导致实时控制数据时延过高。而构建的分布式块存储资源池,可满足业务不同IO负载要求,提高IO性能,其中4k随机读场景可达到百万IOPS,大块混合读写的平均时延从 4ms 降低到 2ms ,吞吐效率提升 50% 左右。
2、新能源发电属关键基础设施,数据丢失 / 业务中断将直接导致发电停机、经济损失甚至监管处罚,传统存储存在“单控制器故障、整柜瘫痪”的单点风险,且异地灾备方案部署复杂、成本高。深信服提供全方位的数据保护能力,涵盖硬件级的亚健康检测能力、多副本能力,软件级的快照、备份、归档能力,以及方案级的两地三中心、云容灾能力。
技术方案创新点
1、自适应条带数:为了保证最优的I/O性能效果,存储池默认条带数会根据存储卷结构进行自适应。
2、热力图算法:根据访问时间和访问次数智能识别存储池中冷、热数据,提高关键数据在缓存层中的命中率,提高IO性能。
3、性能Qos:支持以虚拟磁盘的粒度配置性能QoS,可配置“高性能”、“默认性能”和“低性能”三种存储策略,满足混合业务不同IO负载场景下,防止常规业务挤占高性能业务性能。
4、IO无索化:传统的存储架构采用I/O锁机制,随着时序数据采集I/O深度的增大,即并发度的增加,线程之间的抢锁会变得越来越严重,降低性能。本方案存储架构采用IO流水线技术,缩短关键I/O路径,结合协程和异步I/O技术自由调度减少阻塞,实现了I/O无锁化。随着I/O深度的增大,即并发度的增加,I/O性能可以保持比例增加,提升存储框架性能。
5、基于SPDK的Turbo加速:SPDK是Intel提供的高性能存储开发套件,对应用软件的IO性能进行加速。分布式存储池对SPDK接入虚拟存储做了深度优化,单深度IO直接在轮询线程上下文访问,减少一次线程切换开销;多深度IO将IO切换到流水线线程上;大块IO按照128KB切分为多个IO请求并发处理,性能提升50%左右。
从业务需求角度,分布式块存储与新能源发电业务的深度融合,支撑了业务效率提升、价值挖掘及可持续发展,具体价值体现在:从架构上消除单点故障,实现核心生产数据的低时延、高可靠存储,从存储层面保障发电生产全流程的连续性,降低因数据丢失 / 业务中断导致的经济损失。一套分布式块存储集群替代传统多套存储系统,减少硬件采购、机房空间、电力消耗成本;统一的资源池与运维平台,实现数据的统一管理、统一监控,降低运维人力成本(减少 50% 以上的存储运维工作量)。全量业务数据汇聚至统一的分布式块存储资源池,消除传统多套系统的数据孤岛,为功率预测、能效分析、碳计量、设备故障预警等数据分析业务提供统一的数据底座,支撑 AI / 大数据技术在新能源发电中的应用,提升发电效率、降低运维成本。分布式块存储的弹性横向扩展特性,支持新能源发电单位新增场站、新增储能、新增感知设备的快速接入,无需对现有存储架构做大幅改造,实现 “业务扩张到哪,存储跟进到哪”,提升业务发展的敏捷性。