
DeepSpeed
DeepSpeed是一个由微软开发的开源深度学习优化库,它通过多种技术手段来加速训练,包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed is a deep learning optimization library that makes distributed training easy, efficient, and effective.
具有长序列、多模态、单模型、大数据等特点的超大规模语言模型,基于其通用的表示能力与推理能力,能够进行多轮交互,打造更便捷流畅的用户体验。






