OpenSOC:安全大数据分析框架。OpenSOC已经加入Apache工程改名为Apache Metron。
思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:
OpenSOC 主要功能包括:
可扩展的接收器和分析器能够监视任何Telemetry数据源
是一个扩展性很强的框架,且支持各种Telemetry数据流
支持对Telemetry数据流的异常检测和基于规则实时告警
通过预设时间使用Hadoop存储Telemetry的数据流
支持使用ElasticSearch实现自动化实时索引Telemetry数据流
支持使用Hive利用SQL查询存储在Hadoop中的数据
能够兼容ODBC/JDBC和继承已有的分析工具
具有丰富的分析应用,且能够集成已有的分析工具
支持实时的Telemetry搜索和跨Telemetry的匹配
支持自动生成报告、和异常报警
支持原数据包的抓取、存储、重组
支持数据驱动的安全模型
OpenSOC 官方文档介绍了以下五大优点:
由思科全力支持,适用于内部多用户
免费、开源、基于Apache协议授权
基于高可扩展平台(Hadoop、Kafka、Storm)实现
基于可扩展的插件式设计
具有灵活的部署模式,可在企业内部部署或者云端部署
具有集中化的管理流程、人员和数据
当前,OpenSOC 运行条件包括:
两个网卡(建议使用Napatech的NT20E2-CAP网卡)
Apache Flume 1.4.0 版本及以上
Apache Kafka 0.8.1 版本及以上
Apache Storm 0.9 版本及以上
Apache Hadoop 2.x 系列的任意版本
Apache Hive 12 版本及以上(建议使用13版本)
Apache Hbase 0.94 版本及以上
ElasticSearch 1.1 版本及以上
MySQL 5.6 版本及以上等。
OpenSOC的核心价值是提供了一个综合的解决方案。 该方案依赖于flume,fafka,strom之类的开源组件,并架构其上。 它统一了各组件之间的配置和管理,封装后只将主要的接口后提供给用户。 这样,用户就从繁琐的配置中解脱出来,可以把主要精力放在业务逻辑的制定上。 目前流行的日志分析框架也是基于这些组件,只不过不同公司具体的组合方法不同(详情见后文)。这些组件按功能可分为如下几个类型: 数据
4.1 OpenSOC框架 OpenSOC是思科公司2014年在BroCon大会上公布的开源项目,存储使用的是Hadoop,实时索引采用Elasticsearch,在线实时分析使用的是Storm。它主要由数据源系统、数据收集层、消息系统层、实时处理层、存储层、分析处理层组成。 OpenSOC主要功能包括: (1)可扩展的接收器和分析其,能够监视常见数
http://opensoc.github.io/ https://www.youtube.com/watch?v=UKgjd4ttg8o http://www.slideshare.net/Hadoop_Summit/analyzing-12-million-network-packets-per-second-in-realtime?next_slideshow=1 https://githu
OpenSOC是思科用于安全领域的一个开源框架,或者可以说就是SOC(安全运营中心)的开源框架。其组件包含了: [quote] ! Telemetry Capture Layer:Apache Flume ! Data Bus:Apache Kafka ! Stream Processor: Apache Storm ! Real-Time Index and Search: Elastic Se
思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。 文章转载自 开源中国社区 [http://
本文向大家介绍CI框架的安全性分析,包括了CI框架的安全性分析的使用技巧和注意事项,需要的朋友参考一下 本文分析了CI框架的安全性。分享给大家供大家参考,具体如下: 用过ci框架的人都知道,ci框架能大大缩短你的代码。其实,ci框架更能提高你网站的安全性。 防止对数据库的攻击 数据输入可能引发许多问题。因为 HTML 和数据库的限制,数据中总包含特定的符号—举例来说,省略符号和引号—可能导致你的数
本文向大家介绍CI框架安全类Security.php源码分析,包括了CI框架安全类Security.php源码分析的使用技巧和注意事项,需要的朋友参考一下 CI安全类提供了全局防御CSRF攻击和XSS攻击策略,只需要在配置文件开启即可: 并提供了实用方法: CI也提供了安全函数: xss_clean()//xss过滤 sanitize_filename()//净化文件名 do_hash()//md
1.25个选择题,机器学习,python,sql,统计学,数据结构均有考察 构造类的函数,希尔排序,告诉叶子节点求总结点,已知中序遍历后续遍历求结构,python更新表结构语法,机器学习深度学习基础,混淆矩阵。 2.三道sql (1).求连续登录天数,筛出连续登录天数大于2的用户,用例均通过 (2).一张成绩表,一张补考表,补考表上一个人每门考试可能有多条补考记录,有字段记录考试次序,求经过补考后
SuperMap iClient for Leaflet 对接了 SuperMap iServer 的分布式分析服务,为用户提供大数据分析功能,主要包括: 密度分析 点聚合分析 单对象空间查询分析 区域汇总分析 矢量裁剪分析
本文向大家介绍Hibernate框架数据分页技术实例分析,包括了Hibernate框架数据分页技术实例分析的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了Hibernate框架数据分页技术。分享给大家供大家参考,具体如下: 1.数据分页机制基本思想: (1)确定记录跨度,即确定每页显示的记录条数,可根据实际情况而定。 (2)获取记录总数,即获取要显示在页面中的总记录数,其目的是根据该数来确
社招,录取,一共三轮面试。 一面:自我介绍,问简历相关项目,出题:有5000万条车险顾客数据,已知其中的500万的用户有宠物,如何对其他4500万用户精准推荐宠物险。 二面:自我介绍,提问他们更换模型时,生效有延迟怎么处理。 三面:自我介绍,知道哪些机器学习算法,决策树原理,协方差作用。 HR谈薪:薪资构成:12个月加年终奖。三个月试用期,试用期间工资八折,年终奖发放看考核分数所处区间系数。 拒绝