Skip to content

性能调优

yzhang921 edited this page Nov 17, 2016 · 4 revisions
  • CBoard目前数据处理定位轻量级聚合结果集再聚合。CBoard虽然有灵活的数据源扩展架构,请勿直接不经聚合从任何数据产品中获取全部明细,在CBoard进行OLAP分析
  • 数据首次获取的时间由数据查询性能决定。请尽量优化自己的数据查询语句或者使用Kylin、HBase、Redis、ES之类的大数据产品作为数据源
  • 尽可能的控制数据集查询返回前端的数据量。我们压力测试下来,100W数据利用SELECT * FROM TABLE从后端传输到前端大概需要30s时间,浏览器使用100M左右内存,再聚合时间在5s以内,绝对不推荐这种用法,请尽量的控制后端返回数据在30W以内
  • CBoard自带性能优化机制
    • 在没有建立数据集的前提下,相同的查询语句在同一看板页面只会加载一次
    • 在事前定义了数据集的情况下,相同数据集查询后台一次,自定义聚合表达式维度数据过滤都能够起到简化设计、减少查询的效果
    • 查询缓存,看板加载过的数据会在服务器缓存12小时,避免第二次查询重复获取数据,后期可考虑新增数据集定时预加载功能,最大化的减少用户查询等待时间