总结

我將介紹LINE安全室进行的两个数据分析案例。
第一个案例是收集与服务器、个人电脑和网络等基础设施相关的系统日志，解释系统和平台的配置和使用案例以便及时检测到入侵、高负荷和信息泄漏等安全事件。
另一个案例是基于用户举报数据，分析垃圾邮件的特征，并介绍自动屏蔽垃圾邮件的反垃圾邮件系统。

议程

• インフラセキュリティの話

• スパム対策の話

キーワードはログ解析

基础设施安全方面的单体化

由于日志保存在各种设备上，我们需要从每个设备收集日志。
我们使用Kafka、Hadoop和Elastic来保存和监视日志。
通过机器学习来监视日志，并可视化危险程度。

防止垃圾邮件

2013年开始实施了针对垃圾邮件的对策措施，数量呈下降趋势。2015年以后保持稳定。
在LINE上，用户可以举报垃圾邮件的功能，并对其进行分析。

按照通報數量逐國排序：
* 台灣
* 日本（幾乎相等）

垃圾短信的内容在不同国家之间可能会有很大的差异。

基于规则的过滤器 de

如果在一秒钟内添加了1000个朋友，就像是一种规则。（实际上似乎没有使用这个规则）如果符合这种情况，几乎可以确定是垃圾邮件，就会在规则中被拒绝。

基于机器学习的过滤器

根据用户的举报数据，自动进行学习和检测循环。
一旦启动，规则会自动更新。
用户的举报消息中，有80%是真正的垃圾邮件，而剩下的20%是误报。
我们实施了将频繁被用户举报的消息判定为垃圾邮件等措施。

监视者自身的过滤器（监控）

最终留下的是由人来判断的事情。
为了避免误判正常用户，我们采用了稍宽松的规则进行操作。
因此，对于从过滤器中逃脱的垃圾信息，需要人员进行监控。