什么是 Neocloud？

什么是 Neocloud 云服务商?  

Neocloud 是指专为 AI 工作负载提供支持的专业云基础设施服务商。借助高性能硬件计算加速器（主要为 GPU），这些服务商可满足企业、模型构建者及超大规模云服务商在内的各类组织对 AI 应用的多样化与高要求需求。  

Neocloud 平台覆盖从大规模训练与微调到推理的完整 AI 生命周期，并提供按需访问、预订实例及平台即服务等灵活消费模式。 

随着 AI 应用加速落地，Neocloud 云服务商同时满足公有云弹性与专用 AI 基础设施性能特性的需求。 

AI 云基础设施模式：云、超大规模云服务商与 Neocloud

随着 AI 从实验走向生产环境，云市场已发展为三种不同的模式。虽然这些模式通常在多云策略中共存，但在技术与业务需求上具有明显差异。 

传统云

传统云服务商（无论是托管型还是区域型）往往采用通用 CPU 中心化架构，侧重抽象能力与多租户支持。 尽管灵活性较高，但虚拟化开销导致的虚拟化损耗及网络瓶颈，可能制约大规模 AI 训练任务的效率。 

超大规模云服务商

超大规模云服务商指具备全球化规模和集成服务能力的超大规模云服务商，例如 AWS、Azure 和 GCP。为满足 AI 需求，他们现已推出专门的消费模式：

• 预订实例：以固定期限方式预订专属 AI 资源栈，为持续推理等稳定工作负载降低成本。 
• 无服务器 AI (PaaS)：通过全托管平台对底层基础设施进行全面抽象化封装，开发者可按 Token 或请求量付费。 
• 利弊权衡：这类平台虽然使用便捷，但脱胎于通用架构，往往无法媲美专用 AI 架构所具备的原生性能与可预测性。 

Neocloud

Neocloud 从底层构建，专为 GPU 即服务 (GPU-as-a-Service) 而设计。 其更强调原始性能与硬件可视性，而非服务的广泛性。 

• AI 优先架构：利用高密度 GPU 集群及 RDMA、RoCE 等高性能网络架构处理大规模“东西向”流量。 
• 性能优势：通过提供物理主机接入与 400G/800G 网络能力，满足模型训练的超高带宽与可预测低时延需求，实现更快速的训练周期。 

在面对多种选择时，企业始终将核心优先级聚焦于：确保 AI 基础设施具备高性能、安全性与易管理性，而不受 GPU 部署位置影响。 

Neocloud 运作方式：Neocloud 基础设施的核心技术支柱

为实现确定性性能，Neocloud 基础设施摆脱通用云的高度抽象化架构，转而聚焦于三个紧密集成的层级：

1. AI 优化计算能力

Neocloud 通过最小化“虚拟化损耗”，优先提升原始吞吐能力。 

• 物理主机/最小虚拟化服务器：保障 GPU 硬件资源无损耗调用。 
• 高密度节点：通常每个节点配置 4–8 块 GPU（如 NVIDIA H100/B200），支持大规模并行计算。 
• 硬件可视性：深入洞察硬件拓扑结构，助力 PyTorch、TensorFlow 等框架实现更好的性能调优。 

2. 高性能 AI 网络能力

网络能力是 Neocloud 平台的核心差异化优势。Neocloud 服务商通常部署两种不同的网络。

• 前端网络：用于管理与用户访问的标准以太网。 
• 高性能后端/交换矩阵网络：采用无损以太网或 InfiniBand，用于 GPU 间同步。  

该双网络架构是 AI 集群的标志性特征。由于 AI 训练依赖持续同步（集体通信），网络架构必须具备零丢包能力以承载大规模“东西向”流量。 

• 高带宽网络架构：利用 400G 和 800G 以太网，避免节点间数据传输瓶颈。 
• 低延迟拓扑：采用无阻塞主干-枝叶架构，实现集群近线性扩展能力。 
• 高级协议：采用远程直接内存访问 (RDMA) 与 RoCE，使 GPU 可直接访问彼此的内存，消除 CPU 开销并降低时延。 

3. 解耦而且安全的基础设施

现代 Neocloud 基础设施采用模块化设计，以保持灵活性与安全性。 

• 独立扩展：计算、存储与网络可根据工作负载需求分别扩展。 
• 开放标准：广泛采用开放网络操作系统，以实现最大化硬件灵活性。 
• 工作负载隔离：结合身份感知访问与网络分段机制，保护高价值 AI 模型与数据安全。 

Neocloud 消费与部署模式

Neocloud 服务商通过多样化商业模式，为企业提供 AI 基础设施。这些服务通常分为三种主要模式，在可扩展性、成本、性能和数据本地化之间实现平衡。 

1. 预订实例（专用或共享 AI IaaS）

该模式面向具有可预测、长周期 AI 工作负载的企业和组织，此类工作负载包括大规模模型训练或持续推理任务。 

• 专属 AI 集群：企业可预订完整 GPU 集群资源，在固定期限内（通常 1–3 年）专用于单一客户。 
• 性能一致性：通过使用专属 AI 技术栈，企业可实现稳定一致的性能表现与容量保障。 
• 成本效益：对于稳态工作负载，相比按需计费模式，该模式可显著降低成本。 

2. 按需实例（共享型公有 AI IaaS）

这种“按需付费”模式使企业能够从共享资源池中按需获取 AI 优化计算资源，例如 GPU 和 TPU。 

• 弹性 AI 容量：适用于实验、开发、测试及需求不稳定的突发型工作负载。 
• 最大灵活性：企业按实际使用资源付费（按小时或分钟计费），无需长期承诺。 
• 云运营模式：服务商负责管理并保障底层多租户基础设施安全，使客户专注于自身 AI 软件栈。 

3. 无服务器平台（托管式 AI PaaS）

在该模式下，云服务商完全屏蔽基础设施管理，使企业能够通过托管平台与 API 使用 AI 功能。 

• 简化运营：服务商统一负责资源配置、弹性扩展和全生命周期管理。 
• 按使用量计费：客户可按运行时长、请求次数或 Token 用量付费，非常适合应用集成和弹性扩展。 
• 聚焦推理：该模式非常适合将模型部署到生产环境，尤其适用于优先考虑简化运营的场景。 

混合集成层

无论采用哪种消费模式，混合 AI 扩展能力始终是部署中的关键因素。Neocloud 环境需通过安全的 WAN 或 SD-WAN 连接，与企业现有环境集成。这可确保企业本地站点与云端 AI 集群之间无缝协同，支持安全的混合模型开发和数据流转。 

Neocloud 的优势与价值

Neocloud 服务商针对 AI 基础设施面临的特定挑战打造服务，为企业工作负载带来多项关键优势。 

加快模型训练

Neocloud 平台采用确定性架构，减少 GPU 节点之间的同步延迟。这种架构可缩短大模型训练周期，加快获得洞察的速度，并减少基础设施资源浪费。 

提高 GPU 利用率

通过最大限度减少网络波动和“邻居干扰”效应，Neocloud 服务商确保其 Neocloud 基础设施能够保持稳定一致的 GPU 吞吐量。更高的 GPU 利用率可直接提升企业的成本效益。 

基础设施透明度

与高度抽象化的超大规模云服务不同，Neocloud 服务商通常能够提供对硬件拓扑和网络特性的更深层可视性。这种透明性使技术团队能够更好地优化其分布式工作负载。 

可扩展性能与简化运营

Neocloud 服务商利用高带宽以太网网络架构与精心设计的拓扑架构，支持近线性的性能扩展。该专用设计简化了前端与后端网络的统一管理。 

聚焦 AI 优化

由于 Neocloud 服务商天生具备 AI 原生属性，其平台所有决策均围绕 AI 工作负载特性进行优化，而非通用 IT 需求。 

局限性与考量

尽管 Neocloud 平台在性能方面具备优势，但其并非传统云平台的全面替代方案。 

服务组合更聚焦

超大规模云服务商提供丰富的托管服务，包括无服务器函数、托管数据库、分析平台以及全球内容分发服务。

Neocloud 通常聚焦于基础设施层 AI 服务，而非完整的应用生态系统。这使其在更广泛的综合性应用场景中灵活性相对有限。 

地域覆盖范围

与全球超大规模云服务商相比，许多 Neocloud 服务商的运营区域较少。对数据驻留要求严格的企业和组织，需要谨慎评估服务可用性。 

运营成熟度

习惯于平台即服务 (PaaS) 模型的团队，可能需要补充相关技术能力，以管理更底层的基础设施能力，例如网络拓扑感知或分布式训练优化。 

集成复杂性

将 Neocloud AI 集群与传统 IT 系统相结合的混合架构，需要安全连接、策略统一以及谨慎的工作负载部署决策。

未来与新兴趋势

随着 AI 模型规模与复杂度不断增长，基础设施需求也将持续演进。以下趋势正在共同塑造 Neocloud 架构的未来：

• GPU ASIC 创新
• 广泛应用更高速以太网网络架构
• 更广泛采用开放网络软件以提升运营灵活性
• AI 专用安全控制与策略自动化集成
• AI 训练与大规模推理环境融合

随着 AI 的持续进步，包括多模态系统与基于智能体的架构，Neocloud、客户以及更分布式互联的 AI 系统之间将需要更紧密的协同。Neocloud 未来可能在更广泛的分布式多云策略中，提供差异化的专属性能层级。