rknn-llm 是否可以为算子指定使用的后端

[wohaiaini]

大模型推理时，可以自己指定哪些算子使用CPU、哪些算子使用NPU吗，还是说都内部确定好的？谢谢

[waydong]

你好，目前不支持。

[wohaiaini]

谢谢。再请教下，rkllm有没有办法获取中间层的输出结果，比如打印注意力计算得分，softmax之后的概率值张量

[waydong]

谢谢。再请教下，rkllm有没有办法获取中间层的输出结果，比如打印注意力计算得分，softmax之后的概率值张量

目前只能返回LAST_HIDDEN_LAYER

[wohaiaini]

谢谢。再请教下，rkllm有没有办法获取中间层的输出结果，比如打印注意力计算得分，softmax之后的概率值张量

目前只能返回LAST_HIDDEN_LAYER

这个结果怎么使用，有demo吗？ @waydong
我自己写了个demo，计算logits和softmax后输出预测结果，感觉结果有点乱，如下：

)

a<|1|im =>
are the bot assistant, You ||im...|> You you|im_3|> is_ <|im_end|>|im_1|>user<<

[waydong]

RKLLMInferMode设置这个参数，demo参考这个python代码，https://github.com/airockchip/rknn-llm/blob/main/examples/rkllm_server_demo/rkllm_server/flask_server.py

[wohaiaini]

是的，我就是设置的这个参数来获取的last_hidden_layer.bin文件，然后使用C++写的后续计算logits和softmax，以及预测token输出的函数，就是结果的输出不是很合理，看起来有点语无伦次。
rkllm_infer_params.mode = RKLLM_INFER_GET_LAST_HIDDEN_LAYER;

不知道哪里有问题，有没有特别要注意或者实现的地方？
可有关于对这个bin使用的 C++的demo ？
或者我把这个代码发出来瞅瞅？
（last_hidden_layer.bin lm_head.bin 都打印了张量值进行了对比，个人理解这些初始数据应该是没问题的）