Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

#

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

Jump to bottom

关于是否有必要添加输出量化的问题？ #105

Open
Joejwu opened this issue Feb 28, 2022 · 1 comment
Open

关于是否有必要添加输出量化的问题？ #105

Joejwu opened this issue Feb 28, 2022 · 1 comment

Comments

@Joejwu
Copy link

Joejwu commented Feb 28, 2022

大佬，您好！我看您的这份开源工作中只对每一层的权值与激活值进行了量化、反量化操作，然后输出作为下一层的输入，然后再作为下一层的输入作激活的量化反量化；但是我看别的一些量化代码中，除了对每一层的激活值、权值进行量化，还对每一层的输出进行量化、反量化，想请教一下大佬这是为啥？因为该层的输出量化不就是下一层的输入激活值量化吗？
@791136190
Copy link

大佬，您好！我看您的这份开源工作中只对每一层的权值与激活值进行了量化、反量化操作，然后输出作为下一层的输入，然后再作为下一层的输入作激活的量化反量化；但是我看别的一些量化代码中，除了对每一层的激活值、权值进行量化，还对每一层的输出进行量化、反量化，想请教一下大佬这是为啥？因为该层的输出量化不就是下一层的输入激活值量化吗？

实际中会有很多多分支操作，以及混合精度量化，所以每层都是完整的对输入，权重，输出都量化会更通用

# for free to join this conversation on GitHub. Already have an account? # to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@791136190 @Joejwu