NVIDIA® CUDA® 深度神经网络库（cuDNN）是一款 GPU 加速的深度神经网络基础算子库。cuDNN 为标准操作（如前向和反向卷积、注意力、矩阵乘法（matmul）、池化和归一化）提供高度优化的实现。 下载 cuDNN 库 下载 cuDNN 前端 ( GitHub) cuDNN 也可以通过下方的包管理器之一进行下载。 安装 cuDNN 前端 API 加速学习： cuDNN 提供了针对 Tensor Core 优化的内核，在计算密集型操作中实现最佳性能，并为不同问题规模挑选合适的内核提供启发式算法。 加速学习： cuDNN 提供了针对 Tensor Core 优化的内核，在计算密集型操作中实现最佳性能，并为不同问题规模挑选合适的内核提供启发式算法。 融合支持： cuDNN 支持将计算密集型和内存密集型操作进行融合。常见的通用融合模式通常通过运行时内核生成实现，特殊的融合模式则使用预编写的优化内核。 融合支持： cuDNN 支持将计算密集型和内存密集型操作进行融合。常见的通用融合模式通常通过运行时内核生成实现，特殊的融合模式则使用预编写的优化内核。 表达性算子图 API： 用户可以将计算定义为张量上的操作图。cuDNN 库既有直接的 C API，也有开源的 C++ 前端以提升使用便利性。大多数用户选择前端作为使用 cuDNN 的入口。 表达性算子图 API： 用户可以将计算定义为张量上的操作图。cuDNN 库既有直接的 C API，也有开源的 C++ 前端以提升使用便利性。大多数用户选择前端作为使用 cuDNN 的入口。 该代码使用 cuDNN 与 PyTorch 集成，实现了带有偏置的批量矩阵乘法。 cuDNN Graph API 描述的操作图示例 先进行 ConvolutionFwd（卷积前向），随后执行包含两个操作的有向无环图（DAG）。 完整指南说明了 cuDNN 前端和后端的安装与使用。 示例展示了 Python 和 C++ 前端 API 的使用方法。 了解如何在 cuDNN 9 中使用缩放点积注意力（SDPA）加速 transformer。 NVIDIA Blackwell 上的 cuDNN 了解 cuDNN 针对 NVIDIA Blackwell 微缩放格式的全新／更新 API 以及如何使用这些 API 进行编程。 深度学习神经网络广泛应用于计算机视觉、对话式 AI 以及推荐系统，并推动了诸如智能驾驶与智能语音助手等突破性进展。NVIDIA 的 GPU 加速深度学习框架显著缩短了这些技术的训练时间，将数天的训练过程缩短到数小时。 cuDNN 为云端、嵌入式设备和智能驾驶汽车中的深度神经网络提供高性能、低延迟的推理基础库。 加速 attention 训练／预填、卷积和矩阵乘法（matmul）等计算密集型操作 加速 attention 训练／预填、卷积和矩阵乘法（matmul）等计算密集型操作 优化如 attention 解码、池化、softmax、归一化、激活、逐点操作、张量变换等内存密集型操作 优化如 attention 解码、池化、softmax、归一化、激活、逐点操作、张量变换等内存密集型操作 支持计算密集型与内存密集型操作的融合 支持计算密集型与内存密集型操作的融合

提供运行时融合引擎，可为常见融合模式在运行时生成内核 提供运行时融合引擎，可为常见融合模式在运行时生成内核 针对如融合 attention 等重要专用模式进行优化 针对如融合 attention 等重要专用模式进行优化 根据具体问题规模应用启发式算法，选择合适的实现 根据具体问题规模应用启发式算法，选择合适的实现 cuDNN Graph API 与融合 cuDNN Graph API 设计用于表达深度学习中的常见计算模式。cuDNN 图将操作表示为节点、张量表示为边，这与典型深度学习框架中的数据流图类似。 通过 Python/C++ 前端 API （推荐）以及底层 C 后端 API（用于旧用例或不适合 Python/C++ 的特殊场景），均可便捷地访问 cuDNN Graph API。 支持将受内存限制的操作灵活地融合到矩阵乘法（matmul）和卷积的输入与输出中 支持将受内存限制的操作灵活地融合到矩阵乘法（matmul）和卷积的输入与输出中 提供如 attention 与卷积归一化等模式的专用融合 提供如 attention 与卷积归一化等模式的专用融合 针对不同问题规模，提供最佳实现的启发式预测 针对不同问题规模，提供最佳实现的启发式预测 开源 Python/C++ 前端 API 开源 Python/C++ 前端 API cuDNN 加速了广泛使用的深度学习框架，包括 PyTorch、JAX、Caffe2、Chainer、Keras、MATLAB、MxNet、PaddlePaddle 和 TensorFlow。 NeMo 是一个端到端的云原生框架，开发者可用其构建、自定义并部署拥有数十亿参数的生成式 AI 模型。 NVIDIA TensorRT™ TensorRT 是用于高性能深度学习推理的软件开发工具包。 深度学习框架通过高级编程接口为设计、训练和验证深度神经网络提供构建模块。 NCCL 是为高带宽、低延迟、GPU 加速网络设计的通信库。 加入 NVIDIA 开发者计划 NVIDIA 认为可信的 AI 是共同的责任，并已建立相关政策与实践，助力广泛的 AI 应用开发。当根据我们的服务条款下载或使用模型时，开发者应与其支持的模型团队协作，确保所用模型符合相关行业和应用场景要求，并预防产品被误用的风险。 如需报告安全漏洞或 NVIDIA AI 相关问题，请访问官方渠道。 下载 cuDNN 库 下载 cuDNN 前端 ( GitHub)