大模型应用开发平台,在模型生产环节,帮助客户模型微调中数据处理难微调过程不可控的难题,在模型应用开发过程,解决开源RAG中编排能力差、知识识别不准确、智能体编排门槛高等问题,最终帮助客户快速完成大模型应用落地。
GPU细粒度和负载均衡的智能调度,自动选择合适节点资源用于任务运行,显著提升资源利用率与任务性能
通过定义设备插件规范与制定多元异构芯片接入标准,广泛兼容各类软硬件,无需为特定芯片或系统重复开发,实现对多元算力的统一管理与调度
通过OCR、版面分析等技术,自动从多格式文档中批量提取高质量文本;融合大模型能力,对内容进行知识抽取与数据衍生,快速构建适用于大模型微调的专业数据集,显著提升企业数据资产的准备效率
内置覆盖公文、代码、数学、安全等多元领域的5万条中文问答数据,用户可直接调用,大幅节省数据准备时间,保障微调效果均衡可靠
通过可视化界面构建微调任务,方便用户快速便捷进行大模型微调,降低使用门槛。支持全参数微调和LoRA微调,仅需配置少量基本参数或高级参数;提供基于Tensorboard的全方位多角度的微调任务监控
支持对内部及第三方LLM服务进行统一封装与管理,提供标准化、可观测的单一访问入口。用户无需关注模型来源与部署细节,通过统一URL与令牌即可调用所有模型,极大降低集成与运维复杂度
提供多维度服务观测能力,为服务性能调优、成本分摊与资源规划提供数据依据,实现精细化运营
支持15种文档格式构建企业知识库,支持文档版面分析、文字和表格抽取、图片理解,全面覆盖企业私有数据类型的知识库构建能力
支持多种检索方式,满足不同场景的检索需求,支持生成结果引用溯源
提供通用模式和工作流模式两种智能体构建方式,兼顾灵活性和可控性,实现AI应用的零代码、低代码开发
支持多端发布和应用的运营统计,便于用户在不同业务环境中快速集成和调用
模块 | 功能项 | 描述 |
数据管理 | 数据管理 | 通过数据集管理、数据下载和数据处理的能力,实现对数据的统一管理 |
模型工坊 | 模型开发 | 构建交互式AI开发环境,能够以Jupyter、Webshell等在线环境进行交互开发 |
模型微调 | 基于界面化配置微调任务,实现低代码的大模型微调 | |
模型评估 | 通过创建评估任务,实现对大模型的能力评估 | |
模型部署 | 基于模型、镜像和分布式推理三种方式,实现对大模型的统一部署,并能够进行弹性扩缩容 | |
服务聚合 | 统一管理内外部接入大模型服务接口,给用户提供统一使用入口 | |
应用开发 | 智能体管理 | 以表单形式配置智能体,可对模型、Prompt、开场白、知识库、MCP、工具和推荐问题等配置项进行设置;能够通过简单的拖拽操作进行工作流编排 |
知识库 | 基于文档知识库和FAQ知识库,实现RAG | |
数据库 | 可连接mysql 、PostgresSQL、mariadb、Oracle、SQL Server、达梦等类型的数据库,实现NL2SQL。 | |
MCP | 通过多种方式接入MCP server,实现对MCP工具的统一管理 | |
提示工程 | 通过对提示词的增删改,实现对提示词的统一管理,并预置了提示词模板 | |
应用评估 | 可创建多种评估方式的评估任务,实现对智能体应用的能力评估 | |
在线对话 | 能够分别与模型、智能体应用进行在线对话 | |
系统管理 | 用户管理 | 通过对用户、用户组和角色的增删改,实现对平台用户的灵活管理 |
资源组管理 | 能够按节点划分不同的资源组,实现对资源组的统一管理 | |
集群监控 | 可按不同层级的监控信息查看集群整体运行情况 |
有任何关于驱动、固件、手册等售后问题,请发邮件给我们:
7*24小时服务邮箱service@maginfra.com