存放工作学习中遇到的大数据或者大数据相关中间件的解决方案,用于学习复习分享,简简单单,平平淡淡。
ELasticsearch进行聚合排序后取TopN,对于每个分片都会取TopN,然后分片间再进行TopN,这种会导致结果不准。
Apache Livy提供Rest service来与Apache Spark进行交互,通过Rest interface或RPC client来简化spark job和spark code snippet的提交,同步或异步获取结果,并提供对spark context的管理。