云孚行业大模型平台,打造安全可控的行业大模型

云孚行业大模型平台YFLLM是云孚科技依托哈工大社会计算与信息检索研究中心，基于业内领先的大模型技术打造而成的一站式全流程行业大模型平台，旨在帮助企业高效打造安全可控的行业大模型，实现数字化转型和智能化升级。

试用申请：

https://yunfutech.com/products/yfllm

云孚行业大模型平台YFLLM分为三层：通用大模型基座、模型应用工程组件、大模型应用构建，上层应用包括知识管理、智能问答、智能写作、开源情报。下图是云孚行业大模型YFLLM系统架构图：

通用大模型基座层主要包括：指令微调工具、强化学习工具、数据工程工具、分布式训练框架、优化加速器、长度优化器。

模型应用工程组件层主要包括：知识组件、精准化组件、轻量化组件。

大模型应用构建层主要包括：场景化/行业化增强、工作流嵌入、服务封装。

云孚行业大模型平台YFLLM提供了行业大模型构建、部署和调优的完备工具链，旨在帮助企业快速构建安全、轻量、精准的行业模型，以满足不同行业场景下的需求。

数据标注

提供完备的数据标注工具链，可极大提高数据标注效率，及时获取用户反馈，高效构建数据飞轮，对模型效果进行持续迭代优化，从而更好赋能应用产品。

定制训练

基于基础模型构建应用导向模型系统，为客户提供多样化的模型能力服务。提供继续预训练、指令微调、强化学习等一系列训练工具支持对私有数据进行学习，在基座模型的基础上，用户可根据计算资源、数据量、数据更新周期、业务问题种类等多个因素，针对不同行业或场景深度优化模型。

插件机制

提供应用程序接口、数据库接口等插件，支持大模型与已有业务系统快速对接，具有用自然语言的方式调取外部工具的能力，解决实时数据更新等问题。

云孚行业大模型平台YFLLM模型底座是由哈工大和云孚科技联合研发的活字大模型，采用了分组设定数据采样权重，拼接短样本提高效率，调整参数提升训练稳定性等技术用于大模型训练，效果优异，在MMLU测试集上，与ChatGLM等模型效果持平。此外，活字大模型针对企业客户重点关注的安全性进行了深度优化，不遵循指令比例和有害比例显著低于同类模型，也支持灵活适配其他大模型。

云孚行业大模型平台YFLLM目前提供了智能问答、智能写作等通用组件，可快速应用于企业知识库问答、报告写作、标书写作等场景。

智能问答

基于大模型技术打造，融合DocQA、NL2SQL等多种问答技术的一站式智能问答系统。具有完备的文档解析功能，基于用户私有文件进行问答，并能够进行字符级别的答案溯源，减轻大模型幻觉问题。

智能写作

基于云孚行业大模型技术打造，针对长文写作场景深度优化，可根据文章标题一键生成目录，再根据目录一键生成正文，能够基于用户已有及开源素材进行撰写，文章字数无上限帮助企业和个人用户有效提升写作效率和质量。

安全

私有化部署：全栈自主研发，支持在本地服务器上进行私有化部署，全面覆盖模型训练周期，能解决ChatGPT等大模型需要联网访问的问题，保证数据安全性及用户隐私。

使用微服务架构：易扩容、易扩展、易集成、易二次开发，全面覆盖应用、开发、调优、反馈等全训练周期。

精准

使用素材合成、内容溯源、迭代反馈等技术，利用外部知识和自动反馈改进大型语言模型，有效解决模型幻觉问题。

在模型序列长度方面，使用了注意力分块并行和多尺度解码器等方法减少内存开销，提升序列长度。

轻量

在模型轻量化方面，使用多种量化技术压缩模型，同时增强模型推理效率、降低内存占用，支持边缘设备的部署运行。