论文阅读：Leveraging Website Popularity Differences to Identify Performance Anomalies

Leveraging Website Popularity Differences to Identify Performance Anomalies

利用网站受欢迎程度的差异来识别性能异常

Web 性能异常检测的现有方法主要集中在流行的网站上（例如，每分钟访问数万次）

在更广泛的网站中，每小时的访问量差异很大，有些网站每小时的访问量很少。访问率低会造成测量差距和噪音，从而阻碍现有方法的使用。

WMF，这是一种 Web 性能异常检测方法，适用于具有高度可变测量量的一系列网站。

WMF 使用矩阵分解来挖掘从网站子集出现的模式，以“填充”其他网站上的缺失数据。

可以用于中小型网站的性能异常。

1 intro

Web 性能异常的体现之一：网络加载时间延长，

现有工作:设计衡量网页性能的指标（例如，页面加载时间、首屏时间 [4] 或 SpeedIndex [5]），并了解这些指标与用户体验质量的关系[6-8]

页面加载时间：page load time (PLT)

但网站管理员和第三方监控服务都缺乏有效的工具来自动检测网站多次访问中罕见的web性能异常。

现有方法：Web 性能异常检测的方法主要集中在搜索响应时间（非常受欢迎的网站设计的）被动测量

除此之外，测量站点性能的成本很高，只能对站点访问的一小部分样本进行检测和测量

对于不受欢迎的网站：

当一个不太受欢迎的网站进行抽样测量时，可能会有一段时间没有对访问进行抽样。如何处理这段gap?
测量次数少会增加测量噪声的影响。例如，在某个时间段内，页面加载时间可能会增加，因为测量次数较少，恰好包括许多蜂窝连接较差的用户

(确实有高PLT,但问题不在web上)

网站的性能通常由第三方衡量，可以同时使用多个网站的测量来“借力”来克服可变数据量的挑战。

利用矩阵分解和数据集的低维来识别正常的 Web 性能和性能异常。

结果：

WMF 在受控实验中实现了约 0.9 的召回率和约 0.98 的精度。使用合成异常进行评估时精度和召回率较低，因为数据集包含我们尚未引入的异常，但 WMF 的 F1 分数是用于 Web 性能异常检测的最先进的时间序列方法的两倍以上

2 BACKGROUND

回顾常见的 Web 性能指标和现有的 Web 性能异常检测方法。

web性能指标

访问页面的过程：(fig1)浏览器首先发出 DNS 请求以发现服务器的 IP 地址，然后建立 TCP 连接以执行 HTTP 请求。浏览器加载文档对象模型 (DOM)，将页面表示为节点和对象，然后逐步呈现文档。

常见指标：PLT,交互时间 (TTI) 表示用户在页面呈现后可以与页面交互的时间点；

接收到响应的第一个字节时到第一个字节的时间。。。。。。

异常检测：现有方法

在本文中Web 性能异常指Web 性能指标之一（的异常值。Web 和 Internet 测量通常有噪声，因此单个异常值测量不值得响应。因此重点关注持续数十分钟并影响相当一部分用户的异常。

现有方法分为时间方法和时空方法：

**时间方法：**研究时间数据的最常见方法是以聚合形式构建测量的时间序列模型。使用与模型预测的偏差来识别异常时间点。

典型方法STL:该方法将时间序列分成三个信号：趋势、季节性和残差分量。在 Web 性能测量领域，Week-over-Week (WoW) 方法依赖于 STL 来检测,对主要 Web 搜索提供商,执行的搜索响应时间测量,的异常。

基于自回归综合移动平均 (ARIMA) [20-22] 和指数平滑 [23]：历史值用于预测时间序列的下一个值，异常检测即找出原理模型结果的值。最后，LSTM Autoencoder [25, 26] 等神经网络方法可用于检测异常，其中模型使用一组“正常”数据进行训练，然后尝试重现数据集的其余部分。重构信号的准确度下降意味着存在异常。

使用时间序列分析方法时的一个关键问题是每个时间段都需要可靠的值。当时间段没有数据时，通常必须插入缺失值。这种对缺失值的估计中的错误将损害对已知值的异常检测过程的准确性。

**时空方法：**用于在不同实体或不同位置执行时间序列测量的高维数据集。不仅分析了数据集中信号的时间关系，而且还利用了不同信号之间的相关性。

典型方法：主成分分析 (PCA)

PCA 具有类似于时间序列方法的局限性，因为它不能直接用于具有缺失值的数据。 PCA 的替代方法是低秩矩阵分解

处理网站数据的一个核心挑战是，跨站点的测量量以及没有抽样访问的时间段存在巨大差异。这导致我们的测量矩阵中出现许多缺失数据的情况。因此，很难在此类数据上构建时间序列或 PCA 模型

3 DATASET

数据来源：iplabel 收集Ip-label 在其客户的网页中嵌入 Javascript 代码，以通过 Navigation Timing API 测量 Web 性能。

数据稀疏问题：可以通过聚合对同一网站内所有受监控 URL 的访问来提高每个 bin 的计数，但页面结构和内容在给定网站的 URL 中可能存在巨大差异，这使得解释 Web 性能指标的值变得困难。

挑战：

即使在相当大的一小时时间箱中聚合测量值，很大一部分箱仍然没有数据。

每小时的测量次数通常很少，这使得统计数据不稳定。例如，由于用户从较差的连接或设备访问，因此时间段之间的平均 PLT 可能会有很大差异。我们注意到，之前的工作 [13] 实际上已经过滤掉了从移动设备访问的用户，以消除指标的一些变化，但是对于我们的问题，这种方法将进一步减少用于分析的数据点的数量。

数据表示选择：

聚合网站多个 URL 的样本。汇总对同一网站不同网页的访问。然而，这些页面的内容和结构可能有很大的不同，这导致了非常不同的基线 Web 性能。为了解决这个问题，我们采用了在每个 URL 级别标准化数据的策略。（先标准化再聚合）

**时间箱大小的选择：**过小空箱，过大隐藏短时间异常。

需要根据这些数据集的流量负载选择更大或更小的 bin 大小

**在 bin 中汇总样本：**以百分位数汇总样本（比平均数鲁棒性更强）第 75 个百分位可以更好地捕捉 Web 性能的波动

**多个网络性能指标：**将多个 Web 性能指标的样本组合在同一个矩阵中。

行：时间箱，列：网站的性能指标对

元素 (i, j) 是在时间 bin, i期间 (网站, 性能指标) 对 j的测量值的第 75 个百分位数。

4 METHOD

目标是识别 Web 性能异常 - M 的单元格（即特定网站在特定时间的特定 Web 性能指标）具有异常高的值。

M是原始矩阵，ML是分解后的低秩矩阵，MR是残杀分量。

假设

诸如用户访问的每日和每周模式、公共云提供商或共享网络路径等因素会产生部分跨网站的相关性。如果我们发现这些相互依赖关系，可以使用其他网站的测量来评估在特定时间段内给定网站的性能测量是否异常。

要求：在一个网站没有访问的给定时间内（即 M 中的一个单元格为空）其他网站有访问，并且不同网站的性能之间存在线性依赖关系（即我们可以用一个低等级表示）

假设1：网站可以互相学习。

假设2：M 的低秩表示。

矩阵分解的逻辑，用ALS找

正常分量的估计

矩阵分解方法： ALS [37]、SVD [40]、PCA 和 LMaFit [35]

调参

异常检测

异常分量MR(是否等价于残差分量？)一直原始矩阵M与低秩矩阵ML，

resulting matrixMR=每个网站指标在每个一小时时间段的异常分量的程度。然后我们使用 MR 来检测异常。

MR=M-ML，MR中value较大的列为异常

评估：在自己的服务器上引入网络延迟异常；引入合成异常（不是真实数据，是直接修改M的值）

有一个受控网站，在测试期间平均5min访问一次，

综合故障：依赖受控网站构建一个回归模型，该模型捕获增加的网络延迟和网络性能下降之间的关系。应用该模型引入m.回归模型中的web性能异常。使用线性回归来建模增加的网络延迟和TTI之间的关系。

评估

故障持续时间越长，异常越严重→F1越高

空箱数量对 WMF 准确性的影响： F1 分数随着站点有更多的空测量箱而降低，但 WoW 的性能始终低于 WMF。

这些模型来定义一个函数

论文阅读：Leveraging Website Popularity Differences to Identify Performance Anomalies相关推荐

【论文阅读】Embracing Domain Differences in Fake News: Cross-domain Fake News Detection using 多模态数据
本博客系博主根据个人理解所写,非逐字逐句翻译,预知详情,请参阅论文原文. 论文标题:Embracing Domain Differences in Fake News: Cross-domain Fa ...
论文阅读Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
利用段落检索和生成模型进行开放域问答 ACL 2021 论文地址摘要: 开放域问答的生成模型已被证明具有竞争力,无需借助外部知识.虽然这种方法很有前途,但它需要使用具有数十亿个参数的模型,这些参数的 ...
论文阅读 [TPAMI-2022] Leveraging Instance-, Image- and Dataset-Level Information for Weakly Supervised I
论文阅读 [TPAMI-2022] Leveraging Instance-, Image- and Dataset-Level Information for Weakly Supervised I ...
深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
深度学习论文阅读目标检测篇(四)中英文对照版:YOLOv1< You Only Look Once: Unified, Real-Time Object Detection> Abstra ...
[论文阅读] (12)英文论文引言introduction如何撰写及精句摘抄——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (18)英文论文Model Design和Overview如何撰写及精句摘抄——以系统AI安全顶会为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
[论文阅读] (14)英文论文实验评估（Evaluation）如何撰写及精句摘抄（上）——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
Structure SLAM 论文阅读
论文阅读整理笔记一.StructVIO : Visual-inertial Odometry with Structural Regularity of Man-made Environments ...

论文阅读：Leveraging Website Popularity Differences to Identify Performance Anomalies

论文阅读：Leveraging Website Popularity Differences to Identify Performance Anomalies相关推荐

最新文章

热门文章