`
zhb8015
  • 浏览: 376035 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
Group-logo
Spring Roo杂谈
浏览量:0
社区版块
存档分类
最新评论

典型的大数据架构

阅读更多

 

       

Any data architecture loosely consists of four major logical components:

“任何数据架构由主要的四个逻辑组件组成:”

 

Typical Big Data Architecture

I don’t think there’s a blueprint for big data architectures. But such a diagram can give you a could idea of the possible components involved. Then to make things simple for engineers, you start adding requirements, constraints, and SLAs at each level. Once you have some sort of idea of how things will look, you start building it and discover that some of the components you are planning to use don’t work well together or there’s no way to achieve those SLAs. All in all, it’s a fun job.

 

“我不认为这是一个大数据架构的蓝图。但这样一个图能给你一个关于可能包含的组件的大致的想法。然后对工程师让事情变得简单,你开始在每个等级上添加需求,约束,和服务等级协议(SLAS Service-level agreement)。一旦你有了关于事情该怎么看的某种想法,你开始建立它并发现你将用到的一些组件不能很好的在一起工作,或者根本没有办法达到这些服务等级协议。总之,这是一项有趣的工作。”

 

 My english is not very well,but I will try my best to translate it. Dont't hesitate to point out if there is some problem in my word,thank you !

分享到:
评论

相关推荐

    企业大数据架构及应用.pdf

    企业中台(大中台小前台架构,服务治理及能力开放,企业级能力开放运营架构,企业数据中台架构,大数据处理能力开放,),企业数据资产(客户业务数据与客户网络数据),典型大数据形态及应用(大数据产品主要形态,...

    2022大数据存储架构实践资料合集-共51份.zip

    2022大数据存储架构实践资料合集,共51份。 一站式海量数据集成框架原理和实践 为云而生的分布式文件系统 未来数据库需要关心的硬核创新 Apache Doris存储层向量化改造设计与实现 数据编排技术在联通的应用 基于云...

    大数据架构师行业分析.docx

    大数据架构师行业分析全文共17页,当前为第1页。大数据架构师行业分析全文共17页,当前为第1页。大数据架构师行业分析 大数据架构师行业分析全文共17页,当前为第1页。 大数据架构师行业分析全文共17页,当前为第1页...

    气象大数据技术架构设计方案

    气象大数据技术架构设计方案 基于互联网+,气象大数据应用云生态的资源,鼓励万众创新,在 行业服务的基础上,充分挖掘气象数据价值,提升决策服务水平,促进 产业及民生发展。 需求引领,技术驱动 公共气象服务的...

    六:大数据架构-Flink+AI.pdf

    在⼀个典型的离线训练(批计算)和在线预测(流计算)场景下,训练和预测时要求产⽣输⼊数据的预处理逻辑是⼀致的(⽐如相同的样本拼接逻辑),这⾥的需求和Lambda架构中的需求 ⼀样,因此⼀个流批统⼀的引擎会格外...

    工业大数据技术与架构

    从生命周期与价值流、企业纵向层和IT价值链3个维度,讨论了企业实现基于工业大数据的价值创新和企业转型的典型应用与业务价值创新、企业各层所需部署的信息(物理)系统以及指导工业大数据应用落地的业务架构、信息...

    DataFunSummit:2022年大数据存储架构峰会PPT合集(52份).zip

    DataFunSummit:2022年大数据存储架构峰会PPT合集(52份)。 JuiceFS-为云而生的分布式文件系统 未来数据库需要关心的硬核创新 云原生开源分布式存储CubeFS在数据湖的探索与实践 数据编排技术的应用 基于云上对象...

    DataFunSummit:2021年大数据计算架构峰会PPT合集(34份).zip

    DataFunSummit:2021年大数据计算架构峰会PPT合集(34份)。 边缘计算在网易场景下的应用实践 BD智能边缘融合端云的技术实 Flink的优化与实践 WY实时数据湖建设实践 硬实时计算加速机器学习应用规模化落地 基于...

    DataFunSummit 2021大数据计算架构峰会PPT合集(33份).zip

    DataFunSummit 2021大数据计算架构峰会(33份)。 边缘计算在场景下的应用实践 私有云Serverless实践 基于OpenYurt的边缘Serverless平台建设 智能边缘融合端云的技术实践 Flink的优化与实践 实时数据湖建设实践 硬...

    大数据典型相关分析的云模型方法

    针对传统大数据典型相关分析(CCA,canonical correlation analysis)方法的高复杂度在面临大数据PB级数据规模时不再适应的现状,提出了一种基于云模型的大数据CCA方法。该方法在云计算架构的基础上,通过云运算将各端点...

    水火风光多源发电调度系统大数据平台架构及关键技术_申建建.pdf

    爆发式增长,并呈现出多源、异构、高维等大数据典型特点, 如何应对电力大数据的集成管理及高效应用是我国电网运 行的重大技术挑战之一。为此,围绕水火风光复杂发电调度 系统,解析超大规模电站群调度大数据特征及...

    大数据治理运营整体解决方案.pptx.zip

    大数据平台典型架构 数据治理在整个大数据平台中的定位 数据治理总体方案 数据治理项目实施方案 逐步构建一套数据治理应用与服务体系 数据治理平台解决方案 平台设计理念·四大治理原则 平台设计理念·五大治理标准 ...

    大数据处理中的Lambda架构和Kappa架构

    首先我们来看一个典型的互联网大数据平台的架构,如下图所示:在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用...

    大数据平台架构.pdf

    ⼀个典型的⽹站⼤数据平台架构如下图: ⼤数据平台可分为三个部分 数据采集 将应⽤程序产⽣的数据和⽇志等同步到⼤数据系统中,由于数据源不同,这⾥的数据同步系统实际上是多个相关系统的组合。数据库同步通 常⽤...

    大数据与NOSql概述.pptx

    主要内容 大数据概述 大数据的定义 大数据的4V特征 大数据的系统要求 大数据的典型架构 大数据的应用 大数据的发展 大数据与NOSql概述全文共23页,当前为第2页。 主要内容 Nosql概述 什么是NoSQL NoSQL的优势和不足...

    大数据系统综述.pdf

    新的体系架构, 用于处理大规模数据的获取、传输、存储和分析. 本文对大数据分析平台进行了尽可 能详尽的文献调研, 首先介绍了大数据的基本定义和大数据面临的一些挑战; 然后提出了大数据系 统框架, 将大数据系统分解...

    H3C大数据解决方案售前培训PPT汇总集.rar

    201方案典型架构和组网--王武斌 203大数据系列培训-H3C DataEngine ETL 204DataEngine BI 产品介绍-周双双 205IT大数据 2华三大数据解决方案 301 Hadoop专题介绍 8校园无线大数据 DataEngine BI 商业智能产品...

    12份大数据技术演讲PPT资料.rar

    实时敏捷大数据在宜信的实践》、《杭州恩牛网络-大数据产品进阶之道》、《新浪微博-实时流计算平台及应用模式》、《PingCAP-A TiDB Story》、《知乎-知乎容器平台演进及与大数据融合实践》、《Tron-隐私与系统架构》...

    大数据系统综述_李学龙.pdf

    与传统的数据相比,除了大容量等表象特点,大数据还具有其他独特的特点,例如大数据通常是无结构的,并且需要得到实时分析,因此大数据的发展需要全新的体系架构,用于处理大规模数据的获取、传输、存储和分析.本文对大...

Global site tag (gtag.js) - Google Analytics