MLIR文件推理解析BUG

Viewed 677
DEBUG

目前TPU-MLIR已经支持MLIR文件推理验证，在推理程序执行之前，存在MLIR文件的两次解析校验工作如下：

需要使用MLIR解析工具ParseSourceFile函数解析文件，获取Module对象，进而对Module Region遍历获取其中的内容进行推理工作。

我注意到TPU层SubnetDivide Pass会新增子函数调用模块，我对该Pass完成之后的文件推理工作感兴趣，着手自己修改源码。首先选择截断SubnetDivide之后的所有Pass：

之后考虑在Python模块中新增一个验证函数validate_final_mlir重用mlir推理函数如下：

以上就是在Python端修改的全部代码，但是我获得了图二中ParseSourceFile函数报出的错误，新增的子函数无法找到如下：

我了解到当前系统不支持该文件的推理，因此尝试了一些解决方案。
首先通过debug版本gdb调试定位问题，发现当前项目对于MLIR的解析函数模块文件Parse以静态链接库形式封装，无法进入。因此通过MLIR官方源码复现问题，定位到该问题是由于CallOp引用的函数Symbol：subfunc_0在ModuleOp的SymbolTable中无法找到,该文件解析成功但验证CallOp的接口函数验证Symbol使用错误。
通过在MLIR官方平台编译，允许未注册Dialect和Operation的上下文环境，成功通过解析器函数解析获取了ModuleOp对象。因此认为final MLIR文件无问题，考虑到是当前平台调用的问题，但通过排查函数调用路径，我并没有获得任何发现。
我也尝试在MLIR社区和MLIR开发人员沟通此项问题，链接如下：
https://discourse.llvm.org/t/create-funop-in-mlir-file-mlir-parse-bug/70423
被告知该文件无问题，除此之外，我还做了新建pybind模块，调整函数插入方式，修改子网划分源码中op创建相关的工作，但都不能解决该解析器解析错误的问题，因此我希望在这里获得一些帮助，如果需要其他问题细节我可以继续补充。

RRRRice1
2 Answers

我对该Pass完成之后的文件推理工作感兴趣，着手自己修改源码。首先选择截断SubnetDivide之后的所有Pass

TPU-MLIR现在不支持对final.mlir的推理（interpreter目前只支持对main函数的推理，同时限制main函数是一个basic block），final.mlir中出现了function call， 以及其他的for loop（layer group）语意，这些都是不支持的。可以通过增强ModuleInterpreter.cpp来实现对final.mlir的推理。

MattLu1

是的，后续IR文件出现了很多新的Op，Module的Region也变的更加复杂，可以通过增强interpreter来处理复杂的情况，但目前的问题在推理开始之前的校验部分，使用的是官方API，是否有详细的处理建议，感谢

RRRRice•

可以贴一下你的mlir文件。我测试如下：

  1. 在python/test下，使用：./test_onnx.py --case TorchRoiAlign --chip bm1684x 得到TorchRoiAlign_f32_final.mlir
  2. 在 pymlir.cpp:85行（module_ = parseSourceFile(filename, context_.get());之后）注入：module_->dump();，
  3. 使用python code：
import pymlir
module = pymlir.module()
module.load("TorchRoiAlign_f32_final.mlir")

可以得到正确的mlir信息（与TorchRoiAlign_f32_final.mlir内容一致），可以排除c++部分的parser和verify问题。

MattLu•

根据给出的测试步骤，我并不能通过

RRRRice•

我获得了该mlir文件，其中确实存在子函数调用，第三步使用python code能否告知在哪个目录，我在python/test下被告知无法导入pymlir模块，我选择在python/tool/model_deploy的主函数最开始加入这三行代码

很遗憾给出了：

SOPHGO Toolchain v1.1.beta.1-20230609
error: 'func.call' op 'subfunc_0' does not reference a valid function
python: ../bindings/pymlir/pymlir.cpp:85: void py_module::load(std::__cxx11::string): Assertion `module_' failed.

我拉取的是最新版本的代码，使用docker以DEBUG版本部署在Linux上，通过gdb我获得了下面的输出

Thread 1 "python3" hit Breakpoint 1, py_module::load (this=0x1298c70, filename="TorchRoiAlign_f32_final.mlir") at ../bindings/pymlir/pymlir.cpp:84
warning: Source file is more recent than executable.
84          module_ = parseSourceFile<ModuleOp>(filename, context_.get());
(gdb) p filename
$1 = "TorchRoiAlign_f32_final.mlir"
(gdb) n
[New Thread 0x7fffee908700 (LWP 19387)]
[New Thread 0x7ffff3109700 (LWP 19388)]
error: 'func.call' op 'subfunc_0' does not reference a valid function
85          assert(module_);

是否有其他地方需要注意以保持环境一致？最新版本的代码除此之外并未做其他改动。

RRRRice1