Part Number:TDA4VM
1. SDE disparity output scale值是多少?通过查看 disparity 后的值,发现值很大,应该是乘以了一个 scale值。
2. PTK SDE demo,增加了三层金子塔的版本,能否直接输出 disparity output ,config里配置了 output 不生效。是否需要手动添加输出逻辑?
3. 自定义模型通过 TIDL tools使用PC模拟器运行是否能得到和上板运行完全一致的结果?(QAT后)
4. 关于使用TIDL tools对模型进行QAT量化的问题,模型训练fp32的时候是否也需要先用xnn.layers包装?
5. QAT量化参考设计中使用的转化为lite的函数(xnn.model_surgery.create_lite_model)主要作用是修改卷积层为xnn.layers的形式吗?
6. 量化模型过程中,如果一个block中包含多个conv+bn+relu结构,这其中的每个conv,bn,relu都已经单独命名(self.conv1,self.conv2….),然后又有个stage,它使用了多个block,这些block还需要再写成self.block1,self.block2这种形式吗?
7. QAT量化之后在板端模型输出的张量必须是int8的吗?是否可以再乘scale之类的操作变成fp32/fp16的输出?
8. 自定义模型不支持的OP怎么进行QAT?模型推理的中间结果怎么打印显示?
9. Camera接入适配:如何访问I2C总线?如何访问子板解串器?CSI_RX_IF 怎么配置虚拟通道?是否相关例程可以参考?
10. DSPLib: 调用控制DSP模块的代码是否运行在ARM-A72? DSP单元的输入和输出数据存放在什么内存位置?
11. DSP 和 MMA 模块直接传递数据能否直接通过指针进行传递?
12. 如果所有硬件单元(包括各种外围设备和板上硬核加速模块)直接使用 SDK 调用方式,而不是OpenVx的方式,需要使用到哪些库?
Cherry Zhou:
您好,
我们已收到您的问题并升级到英文论坛寻求帮助,链接如下:
e2e.ti.com/…/tda4vm-some-problems
,
Cherry Zhou:
您好,
一部分答复如下:
?? ? 说:3. 自定义模型通过 TIDL tools使用PC模拟器运行是否能得到和上板运行完全一致的结果?(QAT后)
TIDL 运行是可重复的。 每次运行时,预期都会给出相同的结果。 如果没有的话,那么就是个bug。
?? ? 说:4. 关于使用TIDL tools对模型进行QAT量化的问题,模型训练fp32的时候是否也需要先用xnn.layers包装?
不。
?? ? 说:5. QAT量化参考设计中使用的转化为lite的函数(xnn.model_surgery.create_lite_model)主要作用是修改卷积层为xnn.layers的形式吗?
它会更改actiation functions,删除 squeeze和excitation 等。您可以通过修改以下dictionary来自定义此行为: https://www.ti2k.com/wp-content/uploads/ti2k/DeyiSupport_DSP___init__.py
?? ? 说:6. 量化模型过程中,如果一个block中包含多个conv+bn+relu结构,这其中的每个conv,bn,relu都已经单独命名(self.conv1,self.conv2….),然后又有个stage,它使用了多个block,这些block还需要再写成self.block1,self.block2这种形式吗?
名称没关系。 此外,QAT 还可以通过该模型进行智能跟踪,以了解在该模型之后调用哪个模块。
?? ? 说:7. QAT量化之后在板端模型输出的张量必须是int8的吗?是否可以再乘scale之类的操作变成fp32/fp16的输出?
您是在问 TIDL 导入的模型? 这个取决于模型。 对于典型的分类模型,是 INT8。 但对于检测模型,检测输出通常有浮点值。
?? ? 说:8. 自定义模型不支持的OP怎么进行QAT?
您能重新描述下这个问题吗?
?? ? 说:模型推理的中间结果怎么打印显示?
如果从 edgeeai-tidl-tools 使用 onnxruntime,则检查 onnxruntime 的功能来写出中间 tensors。
如果您使用的是 RTOS SDK 中的 TIDM-RT,请参考以下信息(编写介质间值):
https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_04_00_06/exports/docs/tidl_j721e_08_04_00_16/ti_dl/docs/user_guide_html/md_tidl_fsg_steps_to_debug_mismatch.html
其余的问题我们正在请求其他工程师的帮助,详情请见英文论坛的答复。
,
Cherry Zhou:
剩余的问题我们在英文论坛创建了一个新的帖子,方便对应的工程师来帮助查看,链接如下:
e2e.ti.com/…/tda4vm-some-questions