Akamai通过Databricks加快安全事件的可见性。

• データ取り込みを15分から1分未満に短縮

クエリーの85%以上のレスポンスが7秒以内に

行业：技术和软件
解决方案：威胁检测
平台使用案例：Delta Lake、数据流式处理、Photon、Databricks SQL
云服务：Azure

「不仅仅是通过Delta Lake，我们能更好地查询数据，还能增加数据量。去年，在数据和流量方面我们确实观察到了80%的增长，因此能够快速扩展变得非常重要。」- Tomer Patel, Akamai工程经理

Akamai经营着一个广泛普及的高度分散的内容传送网络（CDN）。该CDN利用世界上超过345,000服务器分布在135个国家的1,300多个网络，将互联网流量路由到许多行业中的大企业，包括媒体、电子商务、金融和零售等。大约30%的互联网流量经过Akamai服务器。此外，Akamai还提供云安全解决方案。2018年，该公司推出了Web安全分析工具，为Akamai的客户提供一个统一且集成的界面，用于评估广泛的流媒体安全事件并分析这些事件。通过这个Web分析工具，Akamai的客户可以实时获取与安全事件相关的信息，并及时采取措施。通过利用Delta Lake和Databricks Lakehouse平台，Akamai能够处理大量数据流，并实现严格的SLA，向客户提供服务。

以流媒体的方式导入大量的数据

Akamai的网站安全分析工具每秒可处理约10GB的安全事件数据。当零售客户进行大规模的销售活动，或者出现如黑色星期五或网络星期一这样的大型促销活动时，数据量可能会急剧增加。为了保护Akamai客户并使他们能够浏览和查询自己的安全事件，这些分析被用于存储数千亿字节的数据。

这个网络安全工具最初依赖于在Hadoop上运行的Apache Spark™的自有架构。当发生攻击时，Akamai提供严格的服务级别协议(SLA)，在攻击发生后5-7分钟内在工具上显示攻击信息。为了满足这些SLA，Akamai正在寻找改进数据导入和查询速度的方法。Akamai的工程经理Tomer Patel表示：“为了让客户能够确定正在被攻击的是什么，数据需要尽可能地实时”，“快速提供可查询的数据对客户来说非常重要。为了提高性能和SLA，我们希望从自有架构转移到云端，并且希望将延迟从几分钟降低到几秒钟”。

Akamai在与多家公司和POC进行了实施后，选择了Databricks Lakehouse平台作为其在Spark上的流式分析架构。Patel表示：“根据规模和SLA要求，我们得出结论认为Databricks是我们合适的解决方案”，“在考虑存储优化和数据缓存时，其他解决方案无法达到相同级别的性能”。

提升速度以降低成本

现在，这个网络安全工具会导入数据，进行转换，并将数据存储在云存储中，然后通过Kafka将文件发送到存储位置。同时，我们使用Databricks作业作为数据导入的应用程序。作为Databricks Lakehouse平台的基础，开源存储格式Delta Lake支持对网络安全分析数据进行实时查询。此外，Delta Lake使得Akamai能够快速扩展。Patel表示：“通过Delta Lake，我们不仅可以更好地查询数据，还能够应对数据量的增加。去年，我们注意到流量和数据增长了80%，因此能够快速扩展非常重要。”

此外，Akamai还利用Databricks SQL（DBSQL）和高速查询性能工具Photon。同时，Patel补充说，Photon显著提升了查询性能。总的来说，Databricks的流式架构与DBSQL和Photon结合在一起，使Akamai能够实现实时分析，并转化为实时的商业价值。

满足对可扩展性、可靠性和性能的苛刻要求

通过在Databricks Lakehouse平台上使用Spark的结构化流处理，该网络安全分析工具能够以低延迟的实时分析服务，流式处理大规模数据，并为Akamai子公司提供即时分析。通过这种方式，Akamai能够在发生攻击时，在5-7分钟的SLA内向客户提供安全事件。Patel说：“我们的重点是性能，性能和性能”，“现在平台的性能和稳定性推动着我们前进”。

使用Databricks Data Lakehouse平台，安全事件数据的导入时间缩短至1分钟以内。Patel表示，“将导入时间从15分钟缩短至1分钟以内是一项巨大的改进”，“客户能更快地查看安全事件数据，并获得准确的视图以了解发生了什么，并具备过滤能力，这带来了许多好处”。

Akamai的主要目标是为客户提供卓越的体验和快速的响应时间。到目前为止，Akamai已将约70％的安全事件数据从本地架构迁移到Databricks，从而显著改善了客户的查询和响应时间的服务水平协议（SLA）。”现在，通过迁移到Databricks，我们的客户正在体验到卓越的响应时间，85％的查询在7秒内完成”。此类实时数据的提供使Akamai能够谨慎地对待自己的客户，并保持最佳的安全环境。

Databricks 的免费试用

Databricks 免费试用