流式系统(影印版)

流式系统(影印版)
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
2019-06
版次: 1
ISBN: 9787564183677
定价: 128.00
装帧: 其他
开本: 16开
纸张: 胶版纸
页数: 329页
字数: 431千字
  • 在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。这样看起来虽然非常合理,但是结果却非常的紧凑,尤其是在一些实时搜索应用环境中的某些具体问题,类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。本书讲解流计算原理。 Tyler Akidau是Google的高级软件工程师,担任着Data Processing Languages & Systems小组技术负责人的职务。他也是Apache Beam PMC的创始成员。

    Slava Chernyak是Google的高级软件工程师。他花了六年时间研究Google内部的大规模流式数据处理系统。

    Reuven Lax是Google的高级软件工程师,在过去十年间一直在帮助制定Google的数据处理和分析策略,同时他也是Apache Beam PMC的成员。

    preface or: what are you getting yourself into here?
    part ⅰ.the beam model
      1.streaming 101
        terminology: what is streaming?
          on the greatly exaggerated limitations of streaming
          event time versus processing time
        data processing patterns
          bounded data
          unbounded data: batch
          unbounded data: streaming
        summary
      2.the what, where, when, and how of data processing
        roadmap
        batch foundations: what and where
          what: transformations
          where: windowing
        going streaming: when and how
          when: the wonderful thing about triggers is triggers are wonderful things!
          when: watermarks
          when: early/on-time~late triggers ftwi
          when: allowed lateness (i.e., garbage collection
          how: accumulation
        summary
      3.watermarks
        definition
        source watermark creation
          perfect watermark creation
          heuristic watermark creation
        watermark propagation
          understan watermark propagation
          watermark propagation and output timestam
          the tricky case of overlapping windows
        percentile watermarks
        processing-time watermarks
        case studies
          case study: watermarks in google cloud dataflow
          case study: watermarks in apache flink
          case study: source watermarks for google cloud pub/sub
        summary
      4.advanced windowing
        when/where: processing-time windows
          event-time windowing
          processing-time windowing via triggers
          processing-time windowing via ingress time
        where: session windows
        where: custom windowing
          variations on fixed windows
          variations on session windows
          one size does not fit all
        summary
      5.exactly-once and side effects
        why exactly once matters
        accuracy versus pleteness
          side effects
          problem definition
        ensuring exactly once in shuffle
        addressing determinism
        performance
          graph optimization
          bloom filters
          garbage collection
        exactly once in sources
        exactly once in sinks
        use cases
          example source: cloud pub/sub
          example sink: files
          example sink: google bigquery
        other systems
          apache spark streaming
          apache flink
        summary
    part ⅱ.streams and tables
      6.streams and tables
        stream-and-table basics or: a spe theory of stream and table relativity
          toward a general theory of stream and table relativity
        batch processing versus streams and tables
          a streams and tables analysis of mapreduce
          reconciling with batch processing
        what, where, when, and how in a streams and tables world
          what: transformations
          where: windowing
          when: triggers
          how: accumulation
          a holistic view of streams and tables in the beam model
        a general theory of stream and table relativity
        summary
      7.the practicalities of persistent state
        motivation
          the inevitability of failure
          correctness and efficiency
        implicit state
          raw grouping
          incremental bining
        generalized state
          case study: conversion attribution
          conversion attribution with apache beam
        summary
      8.streaming sql
        what is streaming sql?
          relational algebra
          time-varying relations
          streams and tables
        looking backward: stream and table biases
          the beam model: a stream-biased approach
          the sql model: a table-biased approach
        looking forward: toward robust streaming sql
          stream and table selection
          temporal operators
        summary
      9.streaming joins
        all your loins are belong to streaming
        unwindowed loins
          full outer
          left outer
          right outer
          inner
          anti
          semi
        windowed loins
          fixed windows
          temporal validity
        summary
      10.the evolution of large-scale data processing
        mapreduce
        hadoop
        flume
        storm
        spark
        millwheel
        kafka
        cloud dataflow
        flink
        beam
        summary
    index

  • 内容简介:
    在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。这样看起来虽然非常合理,但是结果却非常的紧凑,尤其是在一些实时搜索应用环境中的某些具体问题,类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。本书讲解流计算原理。
  • 作者简介:
    Tyler Akidau是Google的高级软件工程师,担任着Data Processing Languages & Systems小组技术负责人的职务。他也是Apache Beam PMC的创始成员。

    Slava Chernyak是Google的高级软件工程师。他花了六年时间研究Google内部的大规模流式数据处理系统。

    Reuven Lax是Google的高级软件工程师,在过去十年间一直在帮助制定Google的数据处理和分析策略,同时他也是Apache Beam PMC的成员。
  • 目录:


    preface or: what are you getting yourself into here?
    part ⅰ.the beam model
      1.streaming 101
        terminology: what is streaming?
          on the greatly exaggerated limitations of streaming
          event time versus processing time
        data processing patterns
          bounded data
          unbounded data: batch
          unbounded data: streaming
        summary
      2.the what, where, when, and how of data processing
        roadmap
        batch foundations: what and where
          what: transformations
          where: windowing
        going streaming: when and how
          when: the wonderful thing about triggers is triggers are wonderful things!
          when: watermarks
          when: early/on-time~late triggers ftwi
          when: allowed lateness (i.e., garbage collection
          how: accumulation
        summary
      3.watermarks
        definition
        source watermark creation
          perfect watermark creation
          heuristic watermark creation
        watermark propagation
          understan watermark propagation
          watermark propagation and output timestam
          the tricky case of overlapping windows
        percentile watermarks
        processing-time watermarks
        case studies
          case study: watermarks in google cloud dataflow
          case study: watermarks in apache flink
          case study: source watermarks for google cloud pub/sub
        summary
      4.advanced windowing
        when/where: processing-time windows
          event-time windowing
          processing-time windowing via triggers
          processing-time windowing via ingress time
        where: session windows
        where: custom windowing
          variations on fixed windows
          variations on session windows
          one size does not fit all
        summary
      5.exactly-once and side effects
        why exactly once matters
        accuracy versus pleteness
          side effects
          problem definition
        ensuring exactly once in shuffle
        addressing determinism
        performance
          graph optimization
          bloom filters
          garbage collection
        exactly once in sources
        exactly once in sinks
        use cases
          example source: cloud pub/sub
          example sink: files
          example sink: google bigquery
        other systems
          apache spark streaming
          apache flink
        summary
    part ⅱ.streams and tables
      6.streams and tables
        stream-and-table basics or: a spe theory of stream and table relativity
          toward a general theory of stream and table relativity
        batch processing versus streams and tables
          a streams and tables analysis of mapreduce
          reconciling with batch processing
        what, where, when, and how in a streams and tables world
          what: transformations
          where: windowing
          when: triggers
          how: accumulation
          a holistic view of streams and tables in the beam model
        a general theory of stream and table relativity
        summary
      7.the practicalities of persistent state
        motivation
          the inevitability of failure
          correctness and efficiency
        implicit state
          raw grouping
          incremental bining
        generalized state
          case study: conversion attribution
          conversion attribution with apache beam
        summary
      8.streaming sql
        what is streaming sql?
          relational algebra
          time-varying relations
          streams and tables
        looking backward: stream and table biases
          the beam model: a stream-biased approach
          the sql model: a table-biased approach
        looking forward: toward robust streaming sql
          stream and table selection
          temporal operators
        summary
      9.streaming joins
        all your loins are belong to streaming
        unwindowed loins
          full outer
          left outer
          right outer
          inner
          anti
          semi
        windowed loins
          fixed windows
          temporal validity
        summary
      10.the evolution of large-scale data processing
        mapreduce
        hadoop
        flume
        storm
        spark
        millwheel
        kafka
        cloud dataflow
        flink
        beam
        summary
    index

查看详情
您可能感兴趣 / 更多
流式系统(影印版)
流式架构:Kafka与MapR Streams数据流处理
唐李洋 译
流式系统(影印版)
流式细胞术入门及平台化管理
李妍 编著
流式系统(影印版)
流式细胞术原理与科研应用简明手册
[瑞士]瑞菲尔·努纳兹 著;刘秉兹、许增禄 译
流式系统(影印版)
流式细胞术:原理、操作及应用(第2版)
陈朱波、曹雪涛 著
流式系统(影印版)
流式细胞术
杜立颖、冯仁青 著
流式系统(影印版)
流式细胞术
贾永蕊 著
流式系统(影印版)
流式细胞术原理与应用教程
吴后男 编
流式系统(影印版)
流式细胞分析技术及应用
刘鑫 著
流式系统(影印版)
流式细胞术:原理、操作及应用
陈朱波、曹雪涛 著
流式系统(影印版)
流式细胞术临床应用
吴丽娟
流式系统(影印版)
流式细胞术——从基础研究到临床医学应用
梁智辉、胡豫 著
流式系统(影印版)
流式细胞术操作规范
[美]Teresa、Robert G.Hawley 著;邵启祥 译
系列丛书 / 更多
流式系统(影印版)
流式架构:Kafka与MapR Streams数据流处理
唐李洋 译
流式系统(影印版)
流式细胞术入门及平台化管理
李妍 编著
流式系统(影印版)
流式细胞术原理与科研应用简明手册
[瑞士]瑞菲尔·努纳兹 著;刘秉兹、许增禄 译
流式系统(影印版)
流式细胞术:原理、操作及应用(第2版)
陈朱波、曹雪涛 著
流式系统(影印版)
流式细胞术
杜立颖、冯仁青 著
流式系统(影印版)
流式细胞术
贾永蕊 著
流式系统(影印版)
流式细胞术原理与应用教程
吴后男 编
流式系统(影印版)
流式细胞分析技术及应用
刘鑫 著
流式系统(影印版)
流式细胞术:原理、操作及应用
陈朱波、曹雪涛 著
流式系统(影印版)
流式细胞术临床应用
吴丽娟
流式系统(影印版)
流式细胞术——从基础研究到临床医学应用
梁智辉、胡豫 著
流式系统(影印版)
流式细胞术操作规范
[美]Teresa、Robert G.Hawley 著;邵启祥 译
相关图书 / 更多
流式系统(影印版)
流式架构:Kafka与MapR Streams数据流处理
唐李洋 译
流式系统(影印版)
流式细胞术入门及平台化管理
李妍 编著
流式系统(影印版)
流式细胞术原理与科研应用简明手册
[瑞士]瑞菲尔·努纳兹 著;刘秉兹、许增禄 译
流式系统(影印版)
流式细胞术:原理、操作及应用(第2版)
陈朱波、曹雪涛 著
流式系统(影印版)
流式细胞术
杜立颖、冯仁青 著
流式系统(影印版)
流式细胞术
贾永蕊 著
流式系统(影印版)
流式细胞术原理与应用教程
吴后男 编
流式系统(影印版)
流式细胞分析技术及应用
刘鑫 著
流式系统(影印版)
流式细胞术:原理、操作及应用
陈朱波、曹雪涛 著
流式系统(影印版)
流式细胞术临床应用
吴丽娟
流式系统(影印版)
流式细胞术——从基础研究到临床医学应用
梁智辉、胡豫 著
流式系统(影印版)
流式细胞术操作规范
[美]Teresa、Robert G.Hawley 著;邵启祥 译