Cross-platform accelerated machine learning. Built-in optimizations speed up training and inferencing with your existing technology stack. ONNX Runtime AI (https://onnxruntime.ai/) 是一個由微軟開發的開源機器學習推理平台。它專注於優化和加速來自各種框架（例如 ONNX、PyTorch 和 TensorFlow）的機器學習模型的推論。

ONNX Runtime AI 提供：

  • 高性能： 高效的推論，利用多個後端（例如 CPU、GPU 和 FPGA）實現最佳性能。
  • 跨平台： 支援 Windows、Linux、MacOS 和雲端平台。
  • 易於使用： 簡單的 API 和工具，簡化模型部署和推論。
  • 客製化： 可擴充的架構，允許用戶自定義並整合自定義算子和後端。

ONNX Runtime AI 廣泛應用於：

  • 邊緣裝置： 低功耗裝置上的機器學習推論。
  • 雲端服務： 擴充雲端部署的機器學習推論。
  • 模型優化： 加速和優化機器學習模型的效能。
  • 研究與開發： 探索和評估機器學習模型的推論能力。