什么是CUDNN？和CUDA有哪些關聯

什么是CUDNN

NVIDIA cuDNN是一個深度神經網絡的GPU加速庫，它性能、易用性和低內存開銷。NVIDIA cuDNN可以與更高級別的機器學習框架集成，如谷歌的Tensorflow和加州大學伯克利分校流行的Caffe軟件。簡單的插件設計使開發人員能夠專注于設計和實現神經網絡模型，而不是簡單地優化性能，同時在GPU上實現現代高性能并行計算。

適用于所有常見卷積的Tensor Core加速，包括2D，3D，分組，深度可分離以及使用NHWC和NCHW輸入和輸出進行擴張

針對計算機視覺和語音模型的優化內核，包括ResNet，ResNext，SSD，MaskRCNN，Unet，VNet，BERT，GPT-2，Tacotron2和WaveGlow

支持FP32，FP16和TF32浮點格式以及INT8和UINT8整數格式

4d張量的任意維排序，跨距和子區域意味著可以輕松集成到任何神經網絡實現中

加速任何CNN架構上的融合操作

cuDNN在Windows和Linux上受數據中心和移動GPU中的Ampere，Turing，Volta，Pascal，Maxwell和Kepler GPU體系結構支持。

cuDNN是一個基于CUDA的深度學習GPU加速庫，通過它可以在GPU上完成深度學習的計算。它相當于一個工作的工具，例如，它是一把扳手。但CUDA這個工作臺，在買來的時候并沒有附帶扳手。要在CUDA上運行一個深度神經網絡，你必須安裝cuDNN，就像你要擰一個螺母，就必須把扳手買回來。這將使GPU能夠在深度神經網絡上工作，與CPU相比，工作速度要快得多。