在大模型推理与训练中，归一化操作（如 LayerNorm、RMSNorm） 是每一层都需要执行的关键组件。为了优化整体吞吐和延迟， …

近期使用fastapi（业务）+推理引擎（模型）的方式给我们自己设计的聊天平台提供api，由于推理引擎与业务隔离，所以我就分别测试 …

目录 引言 基础概念区分 并发原理分析 GIL 详解和影响 应用场景对比分析 实际案例：并发下载网页 总结和实践建议 扩展阅读与参 …

万元级别成本部署DeepSeek-R1 结论：3月5号，0.2.3版本的KTransformers支持了Unsloth的1.58/ …

场景复现：在本地电脑通过堡垒机连接到远程 Windows 资产，在远程系统上使用 pythonw 或者start启动基于Flask …

在大模型时代，由于Scaling law的存在，扩展模型参数一直是大部分时间的追求，但是硬件不满足我们无止境的扩大下去，所以MoE …

DeepSpeed 是一个由微软开发的深度学习优化库，旨在通过提供高效的并行化技术、内存优化和通信优化，来加速和扩展大规模模型的训 …

数据并行 数据并行是指将数据集划分成多个子集，然后将这些子集分发到不同的计算设备上，每个设备上都拥有模型的完整副本。每个设备独立地 …

ZeRO（Zero Redundancy Optimizer）是属于DeepSpeed训练优化库中的一种用于大规模分布式深度学习的 …

LoRA 的核心思想是冻结预训练模型的原始权重，并在需要微调的权重矩阵上引入两个低秩矩阵（一个降维矩阵和一个升维矩阵）。具体来说， …