Apache Lens

统一数据分析接口
授权协议 Apache
开发语言 Java
所属分类 服务器软件、 分布式应用/网格
软件类型 开源软件
地区 不详
投 递 者 康弘义
操作系统 跨平台
开源组织 Apache
适用人群 未知
 软件概览

Lens 提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分,同时优化了执行的环境。无缝的集成 Hadoop 实现类似传统数据仓库的功能。

该项目主要特性:

  • 简单元数据层为数据存储提供抽象视图层

  • 单一的共享模式服务器,基于 Hive 元存储。模式通过数据管道 HCatalog 和分析应用进行共享:

    • OLAP Cube QL 类似 SQL 的高级语言用来查询和描述存放在不同数据立方体 (Cubes) 中的数据集

    • JDBC 驱动和 Java 客户端库来处理查询

    • Lens 应用服务器 - 这是一个 REST 服务器允许用户查询数据,更改数据模型,调度查询和查询的配额限制

    • 基于驱动的架构 允许在报表系统中进行嵌入,例如 Hive、列数据存储、Redshift 等

    • 基于成本算法的引擎选择 - 该算法可优化资源的使用,通过对查询的复杂度自动选择最佳执行引擎

Apache Lens 的架构如下:

Lens Architecture

  • 1.概述 (p21-32) : (1) 数据表或者数据模型上所有字段只有两种分类: 维度或者度量, 度量可以被聚合 . 是数据分析中的两个基本概念. 维度指审视数据的角度, 通常是数据记录的一个属性,例如时间,地点等. 度量是基于数据所计算出来的考量值,通常是一个数值, 如总销售额,用户数等. 在一个sql中, GROUP BY的属性通常就是维度, 而所需要计算的值就是度量. (2) 对于N维度来

  •  Apache .NET Ant Library-这是一个帮助开发.NET软件的Ant任务库。它包括“旧的”.NET任务,如C#编译器任务,但也支持NUnit测试或运行流行的NAnt或MSBuild构建工具。  Apache Abdera (in the Attic)-Apache Abdera项目的目标是构建IETF Atom Syndication Format(RFC 4287)和Atom

  • Apache Projects 了解一下Apache项目都有些什么,还需完善。 可直接访问https://projects.apache.org/projects.html?language查看最新的文档, <font color=gray size=5> 整理时间为 </font> 2017-05-31 ActionScript (2) Apache Flex ApacheFlex®是一个高效的

  • Projects People Community License Sponsors Apache Support Logo The mission of the Apache Software Foundation (ASF) is to provide software for the public good. We do this by providing services and supp

  • 本过程默认是在已经安装好了K3s的情况下 首先准备好相关文件: recommended.yaml # Copyright 2017 The Kubernetes Authors. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in comp

  • 如今全球各地的无数企业组织在处理数据集,这些数据集是如此地庞大而复杂,以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题,而Apache软件基金会(ASF)最近将一批值得关注的开源大数据项目升级为Apache顶级项目。这意味着,这些项目将获得积极的开发和强有力的社区支持。 大多数人已听说过Apache Spark,这种大数据处理框架拥有内

  • News About Make a Donation The Apache Way Join Us Downloads Search Projects People Community License Sponsors Apache Support Logo Formal board meeting minutes from 2010 through present. P

  • A Accumulo Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建 [1]  。 ActiveMQ Apache ActiveMQ是Apache软件基金会所研发的开放

  • Overview All Projects BY CATEGORY Attic Big Data Build Management Cloud Content Databases FTP Graphics HTTP HTTP-module Incubating JavaEE Labs Libraries Mail Mobile Network-client Network-server OSGi

  • 原文地址:On the Rise: Six Unsung Apache Big Data Projects 作者:SAM DEAN 译者:吴洁 世界各地无数的组织,他们使用的数据现在日益庞大而复杂,使用传统的数据处理程序已无法再进行优化分析及获得洞察。而这正是的新一代的大数据应用程序要解决的问题。近期Apache软件基金会(ASF)又将一批有趣的开源大数据项目毕业为的Apache顶级项目。这意味着

  • 链接 http://www.apache.org/index.html#projects-list   APACHE PROJECT LIST Overview All Projects BY CATEGORY Attic  Big Data Build Management Cloud Content Databases FTP Graphics HTTP HTTP-module Incubat

  • 查询和可视化 1.通过Web GUI查询、显示结果 2.通过Rest API Kylin查询请求对应的URL为http://<hostname>:<port>/kylin/api/query,HTTP的请求方式为POST。Kylin所有的API都是基于Basic Authentication认证机制的。Basic Authentication认证机制是一种非常简单的访问控制机制,它先对账号密码基于

  • 传统上,Hadoop(包括MapReduce,Pig以及Hive)通常用于外部私有OLAP Cube引擎准备数据。如今,Zaloni的客户基于Apache Kylin的OLAP技术实现了实时查询的能力,这些Cube的事实表包含了400亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据,并构建OLAP Cube以支持实时分析,这是以前系统所无法实现的。现在,Hadoop集群都可

  • Apache Hadoop Compatibility Purpose Target Audience Structure Notational Conventions Deprecation Policy Compatibility types Java API Use Cases Policy Semantic compatibility Java Binary compatibility f

 相关资料
  • 数据概览 1.数据概览 首页>报表>数据 查看时间范围内系统的关键数据指标。包括总会话量、总消息量、平均会话时长、平均响应时长、排队放弃会话量、平均满意度以及会话量、消息量、平均会话时长之间的变化趋势条形图、柱状图和饼状图。 2.客服报表 首页>报表>客服 客服工作量分析:查看人工客服的工作数据。包括接待总数、对话总数、对话总时长、在线总时长以及在线人工利用率。 客服工作效率/质量分析:查看人工客

  • 获取小程序概况趋势: $app->data_cube->summaryTrend('20170313', '20170313') 开始日期与结束日期的格式为 yyyymmdd。 API summaryTrend(string $from, string $to); 概况趋势 dailyVisitTrend(string $from, string $to); 访问日趋势 weeklyVisitT

  • 通过数据接口,开发者可以获取与公众平台官网统计模块类似但更灵活的数据,还可根据需要进行高级处理。 {info} 接口侧的公众号数据的数据库中仅存储了 2014年12月1日之后的数据,将查询不到在此之前的日期,即使有查到,也是不可信的脏数据; 请开发者在调用接口获取数据后,将数据保存在自身数据库中,即加快下次用户的访问速度,也降低了微信侧接口调用的不必要损耗。 额外注意,获取图文群发每日数据接口的结

  • 经纬恒润 1.介绍下数学建模竞赛,你做了啥工作 2.介绍下实习项目 3.你mentor对你的评价 4.薪资要求,工作地点 5.sql题

  • 7月18号约面试,7月19号下午面试。面试官挺和蔼的,但是我感觉是kpi面试。 面试内容:1、自我介绍。 2、因为简历没有实习经历,面试官询问了一下。 3、问会什么编程软件,Python,Sql,介绍了一下会的库和算法。 4、反问环节面试官介绍了一下工作内容等。 有友友投了一样的岗位可以一起交流呀! #蔚来面试##数据分析#

  • 有时候,对于我们的决定只要有一点点的数据支持就够了。一点点的变化,可能就决定了我们产品的好坏。我们可能会因此而作出一些些改变,这些改变可能会让我们打败巨头。 这一点和 Growth 的构建过程也很相像,在最开始的时候我只是想制定一个成长路线。而后,我发现这好像是一个不错的 idea,我就开始去构建这个 idea。于是它变成了 Growth,这时候我需要依靠什么去分析用户喜欢的功能呢?我没有那么多的

  • 一面 总评:感觉有点奇怪,也没有问我数理统计相关的内容,也没有让我写sql,难道是因为我最后一份实习是做的数据产品,所以就不怎么问我?但是整体下来问的问题都比较常规,面试官态度也很nice 细分题: 简历深耕 介绍下之前做的数据化产品,以及如何使用数据化产品帮助业务的? 介绍下自动化归因的功能和算法(简历有) 数据化产品主要的服务对象是谁?你认为他们主要关注的什么信息? 你在产品优化过程中起到了什

  • 自我介绍 最满意的实习项目经历,展开说做了什么 异动分析 拆解场景,考虑哪些数据指标,答得不好 两个sql代码题,一个sql开放题说思路 最后问了会不会python ,那些库,了解埋点吗 问题20分钟,代码三十分钟。 #数据分析求职# #技术面经#