首页标签流计算服务 Oceanus

#流计算服务 Oceanus

云端的流式数据汇聚、计算服务,满足您实时处理数据的需求

Oceanus实践-从0到1开发MySQL-cdc到ES SQL作业

吴云涛

腾讯公司 · 高级工程师 (已认证)

实时及未来,最近在腾讯云Oceanus进行实时计算服务,以下为mysql到flink到ES实践。分享给大家~

8880

高吞吐实时事务数仓方案调研 flink kudu+impala hbase等

大鹅

腾讯 · 后台开发 (已认证)

需要说明的是,source表、sink表并不代表在oceanus中真的创建了类似数据库的真实物理表,实际上source表、sink表均是逻辑表,它只是通过业务填...

5830

Oceanus实践-从0到1开发PG SQL作业

吴云涛

腾讯公司 · 高级工程师 (已认证)

在Oceanus控制台的【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。

20750

Oceanus实践-从0到1开发ClickHouse SQL作业

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

在Oceanus控制台的【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。

25970

Oceanus Kudu Sink总结

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

外部表(CREATE EXTERNAL TABLE)不受Impala管理,并且删除此表不会将表从其源位置(此处为Kudu)丢弃。只会去除Impala和Kudu之...

9330

【Flink源码实战(一)】给Flink增加一个REST API

皮皮熊

腾讯 · 高级工程师 (已认证)

Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManag...

26670

Oceanus使用自定义Connector指南

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

注:首次使用Kudu表时,kudu表用impala-shell查询时需要在Impala中创建对应的外表才能查到kudu的表数据。

7720

Flink 快照分析:定位大状态和数据倾斜的算子

KyleMeow

腾讯云 · 工程师 (已认证)

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

17320

Flink CDC 原理、实践和优化

腾讯云大数据团队

腾讯 · ES技术支持 (已认证)

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

1K50

Flink CDC 原理、实践和优化

KyleMeow

腾讯云 · 工程师 (已认证)

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

1K80

Flink 常见问题定位指南

腾讯云大数据团队

腾讯 · ES技术支持 (已认证)

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

28750

Flink 常见问题定位指南

KyleMeow

腾讯云 · 工程师 (已认证)

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

84390

修复 Flink Kubernetes 资源分配慢 兼谈如何贡献开源社区

KyleMeow

腾讯云 · 工程师 (已认证)

近期我们发现 Kubernetes 环境下的 Flink 集群有个奇怪的现象:在算子并行度较大(例如超过 50)时,Flink 的 TaskManager 注册...

48330

Too old resource version 引起 Flink JobManager 崩溃的问题定位

KyleMeow

腾讯云 · 工程师 (已认证)

近期接到客户反馈,某地域的作业不定期的出现 JobManager 崩溃重启的问题。具体现象如下:

82663

Flink SQL 自定义函数指南 - 以读取 GBK 编码的数据库为例

KyleMeow

腾讯云 · 工程师 (已认证)

近期我们遇到了一位客户提出的问题:MySQL 建表时,数据库表定义的字符集是 latin1,里面的数据是以 GBK 编码的方式写入的。当 Flink 的 JDB...

47560

从一个诡异的 Bug 来看 Flink 快照和状态读取的流程

KyleMeow

腾讯云 · 工程师 (已认证)

Oceanus 流计算平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写了...

73120

Spillable StateBackend 之 SpillAndLoadManager 源码注解

KyleMeow

腾讯云 · 工程师 (已认证)

在前文中,我们介绍了 Spillable Backend 及其 HeapStatusMonitor 的工作原理和不足。今天我们来看一下 Spillable Ba...

27011

Spillable StateBackend 之 HeapStatusMonitor 解析

KyleMeow

腾讯云 · 工程师 (已认证)

Flink 社区的 Spillable Backend 特性,社区经过了大半年的开发,目前已经放出了预览版可供体验。

32111

实时流式计算系统中的几个陷阱

用户6070864

随着诸如Apache Flink,Apache Spark,Apache Storm之类的开源框架以及诸如Google Dataflow之类的云框架的增多,创建...

11530

一次 Javac 编译速度缓慢的 JDK Bug 定位

KyleMeow

腾讯云 · 工程师 (已认证)

Flink 提供了从 Tuple0 ~ Tuple25 的 Tuple 类供用户选择,顾名思义,每个 Tuple 对象分别可以存储 0 个 ~ 25 个任意类型...

40640

扫码关注云+社区

领取腾讯云代金券


http://www.vxiaotou.com