Anomaly Detection using User Entity Behavior Analytics and Data Vsualization

使用用户行为实体分析和数据可视化的异常检测

1.背景

（1）期刊/会议级别

Published in: 2021 8th International Conference on Computing for
Sustainable Global Development (INDIACom) CCF None

（2）简介

近年来，网络平台的攻击和可疑活动越来越难以识别，因为入侵者使用了更为复杂的隐蔽攻击技术。用户行为识别技术为此提供了解决方案：将当前行为与以往记录的行为进行对比，当有任何偏离正常的行为或模式时向安全团队报告。（虽然有时用户的异常行为有正当理由）

虽然理解人类的行为是一项复杂困难的工作，然而，为了理解问题的本质，并在不损失时间和资源的情况下，让网络安全人员做出富有成效的决策，需要对用户的配置文件和数据进行更深入的了解。
在这篇研究论文中，作者探讨了这些类型的问题，应该基于多管齐下的过程，包括理解不同的集群或组，并识别它们的任务和它们的相似性。
该方法包括提取用户的常见任务，以整合用户行为。然后确定具有类似用法的用户组。根据用户的行为，我们可以将它们按顺序排列，形成一个框架或结构，记住用户概要视图。这是一种以用户为中心的方法，利用适当的机器学习算法和优雅的分析过程，通过对多个用户组的识别和比较，在单个聚类中比较一个用户，并根据他们的不同性质分析他们的特征，形成独特的基于角色的群体。用户违反组的行为可以触发警告[10]。
在接下来的章节中，作者回顾了之前在UEBA所做的工作，并解释了所涉及的理论框架。基于这个框架，他们使用Tableau建立了一个仪表板来分析数据集并识别异常。

2.相关工作

用户行为分析专注于跟踪用户的行为，IP地址，并为他们的使用建立一个配置文件。任何在使用上表现出相似的用户或IP地址都被分组在一起形成集群。集群行为对所有用户配置文件都是通用的。任何用户在访问、位置、使用的IP地址方面的使用偏差都被算法检测为潜在异常[1]。
UBA包括检查各种用户行为模式，然后使用算法和其他工具对用户进行分类和配置。任何偏离正常行为的行为都是可疑行为[3]。
为了中和网络上的现代网络威胁，使用了许多新的安全工具，如用户实体行为分析(UEBA)过程。该过程中使用了机器学习、统计分析和各种算法，从而识别组织网络[2]中的实时入侵。
UEBA的主要目标是检测网络和企业应用中用户的行为和动作模式。UEBA帮助识别被泄露的用户帐户，来自内部和外部的安全漏洞，以及内部员工[3]的访问违规。异常检测模型基于这样一种假设，即使用违规可以通过对用户记录及其行为的适当审计技术来识别。这些模型独立于任何特定的系统、环境，可以作为通用框架[4]，[13]，[14]

3.理论框架

UEBA通常由机器学习支持，机器学习使用数学建模技术来分析和识别用户、网络实体，并根据他们的常见行为、访问级别和访问位置对他们进行分组。因此，对组织来说，异常检测是一种可行的方法。UBA工具的基本特征，主要是多步骤策略。它涉及从用户活动、实体和系统日志[2]中收集的数据。接下来，它将使用统计和机器学习算法(如奇异值分解[6])检查收集的数据。
UEBA模型为每个实体和用户创建一个基线概要文件，并根据它们预期的行为模式对它们进行分组。此外，它还记录对正常行为的偏离。如果用户或实体的行为异常，则UEBA工具通过统计分析估计偏差程度，并通过警报通知网络安全团队。
一种直接的方法是通过检查数据、访问控制列表、通常的访问点和位置，明确定义用户和实体的正常和异常行为，并将任何违规行为归类为异常行为，将其标记[7]、[8]。
UEBA没有对安全事件或网络设备的监管;相反，它跟踪组织内的所有用户和实体。特别是，UEBA的基础是内部威胁，其中包括员工违背自己的组织，将用户帐户暴露给第三方和外部人士，对服务器，企业软件，和网络实体构成任何组织的IT基础设施的主要部分[5]。

方法论：
数据集的样本量约为14,223条属于印度大公司的用户记录。该数据集包含与组织雇员的互联网使用有关的详细信息。用户记录由用户名、公司名称、访问位置(城市和国家)、登录IP地址、访问日期和月份等字段组成。每个用户属于一个或多个公司。每个IP地址由一个或多个用户使用，这些用户属于一个或多个公司。数据集分布在特定年份的两个月，访问位置包括印度的各个城市。研究人员利用Tableau可视化数据，并探索和检测异常。计算字段被创建来根据用户所属的公司数量对用户进行分类，并根据使用它们的公司数量对IP地址进行分类。只有一个公司使用的IP地址被分类为静态IP，其余的是动态IP。可视化被创建来识别属于多个公司的用户和IP是动态的。它们符合潜在异常的条件。下面几节重点介绍使用Tableau的架构、设计和数据分析。

4.模型结构

图2为架构图，用户通过办公场所内外不同位置对应的不同IP访问公司网络。可能是由于未授权用户访问了某个组织的IP地址，或者该IP地址不属于该组织的静态IP列表。
图3。是互联网使用数据集，它包含各种数据类型，如字符串、地理和日期&时间。数据集中没有空值。数据集不需要任何清理或预处理。使用的建模技术是UEBA，用于数据可视化的工具是Tableau。

5.实验和数据分析

目标是开发可视化仪表板，使用数据可视化工具Tableau检测数据中的异常。仪表板是可视化的，可以帮助任何组织做出关键决策。作者在Tableau中探索和创建计算字段。这些是简单的脚本或函数，由数据集中各种内置关键字和列名的组合创建。计算字段用于从给定的时间字段提取月和周信息。这将创建两个名为date和time的派生字段。

该文主要利用上图类似的方法进行分组。

使用用户行为实体分析和数据可视化的异常检测相关推荐

ClickHouse 实现有序漏斗分析与数据可视化
Clickhouse 实现漏斗分析与数据可视化 1.前言 2.环境准备 2.1.测试表 2.2.插入伪造的样例数据 2.2.1.插入伪造的登录数据 2.2.2.插入伪造的浏览数据 2.2.3.插入伪造 ...
python面对对面编程对三国演义，水浒传，红楼梦人物关系与出场频率进行文本分析，数据可视化
python对文本进行分析和数据可视化,主要运用到了jieba,worldcloudmatplotlib,nxwworkx,pandas库,其他库在代码中给出. 1.首先准备好这三本名著 2.准备好停 ...
Python爬取影评并进行情感分析和数据可视化
Python爬取影评并进行情感分析和数据可视化文章目录 Python爬取影评并进行情感分析和数据可视化一.引言二.使用requests+BeautifulSoup进行影评的爬取 1.分析界面元素 ...
python对三国演义，水浒传，红楼梦人物关系与出场频率进行文本分析，数据可视化，词云分析
python对文本进行分析和数据可视化,主要运用到了jieba,worldcloudmatplotlib,nxwworkx,pandas库,其他库在代码中给出. 1.首先准备好这三本名著 2.准备好停 ...
自动阈值检测_金融科技讲堂之三｜金融企业如何在大数据中进行异常检测（一）...
作者| 边际实验室异常检测是当今金融企业的当务之急,但在内部设计和构建一个真正有效的监测预警系统是一项复杂的任务. 对于金融企业的数据业务来说,对市场数据.客户交易数据.营销数据等进行分析,并寻找可 ...
keras时间序列数据预测_使用Keras的时间序列数据中的异常检测
keras时间序列数据预测 Anomaly Detection in time series data provides e-commerce companies, finances the insi ...
BI报表分析和数据可视化，推荐这三个开源工具！
开源篇一.Superset 1.技术架构:Python + Flask + React + Redux + SQLAlchemy 2.使用人群: (1)开发/分析人员做好看板,业务人员浏览看板数据 ...
爬取实习吧与python相关的招聘信息及分析与数据可视化
大数据时代,计算机行业蓬勃发展,越来越多的人投身计算机事业养家糊口.所以该如何选择工作,现在社会需要怎么样的计算机人才,我们该如何对应的提升自己的本领都是尤为重要的.这篇文章就是对实习吧招聘网站有关p ...
易生信高级转录组分析和数据可视化-最后一天报名
常规转录组是我们最常接触到的一种高通量测序数据类型,其实验方法成熟,花费较低,以后应该就如做个PCR一样常见.而且分析思路简洁清晰,是入门生信,学习生信分析思路的首选. 数据分析是相通的,通过一个简单 ...