神经网络引擎 – NNEngine – Neural Network Engine

神经网络引擎：轻松部署AI模型

NNEngine插件支持ONNX格式，通过蓝图节点即可加载运行AI模型，实现人体检测、姿态估计、人脸识别等功能，支持GPU加速与运行时优化，性能卓越。

只需调用几个蓝图节点，你就能加载并运行最前沿的人工智能。

该插件支持 ONNX（开放神经网络交换），这是一种广泛使用的开源机器学习模型格式。

性能是我们的首要考虑。

该插件支持运行时的模型优化和在各种硬件上的GPU加速，同时该插件本身也经过优化。

• 人类检测
• 人体姿态估计
• 人脸检测
• 面部标志估计
• 眼动追踪

使用单一RGB摄像头。

另外，示例项目包括

是可用的。

与CUDA和TensorRT一起使用的前提条件

配合CUDA和TensorRT使用，

• 你需要禁用 NNERuntimeORT 插件，该插件自 UE5.5 起默认启用（这是因为该插件和 NNERuntimeORT 使用不同版本的 ONNX 运行时）。

• 你需要安装以下版本的CUDA、cuDNN和TensorRT。

cuDNN 和 TensorRT 的版本在 RTX30** 系列及其他版本中有所不同。我们只测试了GTX1080Ti、RTX2070、RTX3060Ti和RTX3070。其他则未被检测。

除RTX30**系列（RTX20**、GTX10**）以外的版本

• CUDA： 11.0.3
• cuDNN：8.0.2（2020年7月24日），适用于CUDA 11.0
• TensorRT： 7.1.3.4 for CUDA 11.0

RTX30**系列版本

• CUDA： 11.0.3
• cuDNN：8.0.5（2020年11月9日），适用于CUDA 11.0
• TensorRT： 7.2.2.3 for CUDA 11.0

• CUDA：11.4.2 适用于 Linux x86_64 Ubuntu 18.04
• cuDNN：8.2.4（2021年9月2日），适用于CUDA 11.4，Linux x86_64
• TensorRT：8.2.3.0（8.2 GA 更新2）适用于Linux x86_64，CUDA 11.0-11.5

建议在 TensorRT 中缓存 TensorRT 时添加以下环境变量：

• “ORT_TENSORRT_ENGINE_CACHE_ENABLE”，并将其值设为“1”。
• “ORT_TENSORRT_CACHE_PATH”，并将其值设置为你想保存缓存的任意路径，例如“C：\temp”。