PyTorch profiler custom backend Ops

在pytorch这个最流行的AI框架上注册新的后端已经成为了部分芯片推理模型的重要方式,可以极大的减少研发芯片专属的推理引擎的花费,只需要注册一个新的后端,然后在算子库中实现自己的硬件强相关的算子实现,就可以用最少的精力开始算子正确性等的验证,而不需要等完整的芯片编译器完工。

tech

Pytorch知识记录

tech

Pytorch自定义后端精度调试

本文以某自定义 NPU 后端为例,方法论适用于任何基于 PrivateUse1 机制实现的自定义 PyTorch 后端的精度调试。

tech