Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

self.thre_loader与self.train_loader数据处理不同 #26

Open
wuyue5 opened this issue Nov 30, 2023 · 1 comment
Open

self.thre_loader与self.train_loader数据处理不同 #26

wuyue5 opened this issue Nov 30, 2023 · 1 comment

Comments

@wuyue5
Copy link

wuyue5 commented Nov 30, 2023

data_loader.py文件中,为什么train中使用窗口划分时,进行了高重叠,step为1,但使用的self.thre_loader是直接以win_size划分,没有重叠?这点比较疑惑,希望您能解答一下。
另外,想问一下这个模型可以实现实时的异常检测吗?

@yyysjz1997
Copy link
Contributor

data_loader.py文件中,为什么train中使用窗口划分时,进行了高重叠,step为1,但使用的self.thre_loader是直接以win_size划分,没有重叠?这点比较疑惑,希望您能解答一下。 另外,想问一下这个模型可以实现实时的异常检测吗?

感谢您的疑问,"self.thre_loader是直接以win_size划分"是为了模型加速,使用step的话速度会慢一些些。如果追求效果的话,可以使用全部test/train dataset作为阈值的计算。使用test dataset作为阈值效果最好,train dataset的话我这边尝试过未经调参的,效果有些下降,可能的原因在于训练和测试集的数据分布不同。

对于实时异常检测,我们最新的论文中有对于每一种超参数推理时间和内存占用的讨论。如果追求实时异常检测,可以尝试一下另一个DCdetector的复现版本,这个应该可以满足您说的实时异常检测。调用方法如下:

from deepod.models.time_series import DCdetector clf = DCdetector() clf.fit(X_train) pred, scores = clf.decision_function(X_test) from deepod.metrics import point_adjustment from deepod.metrics import ts_metrics_enhanced adj_eval_metrics = ts_metrics_enhanced(labels, point_adjustment(labels, scores), pred)

希望可以解决您的问题

# for free to join this conversation on GitHub. Already have an account? # to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants