Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

#

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

Jump to bottom

[BUG]tokens异常，导致模型无法答复 #1151

Open
dlluckboy opened this issue Sep 11, 2024 · 7 comments
Open

[BUG]tokens异常，导致模型无法答复 #1151

dlluckboy opened this issue Sep 11, 2024 · 7 comments
Assignees
@baixin513

Comments

@dlluckboy
Copy link

联系方式

No response

MaxKB 版本

1.5.1

问题描述

tokens异常，导致模型无法答复

重现步骤

tokens异常，导致模型无法答复
我上传了一个文档，大概内容如下
image
我将内容从excel中拷贝到word中，然后上传到maxkb，使用的智能分段，生成了26个段落
68f52b01bb532d3607f1ed253add7ab8_
但是如果我传的这个文档，只分两段
257dc99c06c5f03dd080f1ea69b012dc_
进行提问的时候，就会出现之前我说的不回答的现象，而且显示使用的tokens数特别大，模型无法答复出结果。
f5903ec765f64a89c778ceb9c5c2dd2d_

期待的正确结果

No response

相关日志输出

No response

附加信息

No response
@dlluckboy dlluckboy changed the title [BUG] [BUG]tokens异常，导致模型无法答复 Sep 11, 2024
@zyyfit
Copy link

zyyfit commented Sep 12, 2024

这可能是由于携带的内容过多导致模型无法回答，建议根据模型能接收的字符数进行分段或者更换处理能力更好的模型

@dlluckboy
Copy link
Author

我用的GLM4-CHAT-1m，上下文长度应该都够用啊

@baixin513
Copy link
Contributor

执行详情每个节点的 输入输出先看一下

@dlluckboy
Copy link
Author

下面是所有节点的解雇
image
image
image
image
image
image
image
image
image
image
image
image

@dlluckboy
Copy link
Author

执行详情每个节点的 输入输出先看一下

能分析出是什么问题吗？

@baixin513
Copy link
Contributor

看执行详情中最后一次AI对话的提示词太长了，像是模型推理不出来，没有返回内容。

@dlluckboy
Copy link
Author

看执行详情中最后一次AI对话的提示词太长了，像是模型推理不出来，没有返回内容。

如果分段多一些就没问题，分两个分段就这样。

# for free to join this conversation on GitHub. Already have an account? # to comment
Assignees

@baixin513 baixin513

Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@baixin513 @zyyfit @dlluckboy