Equalum已经到来了!(续集二)

这次我们将验证每个功能,并尝试创建一个稍微复杂的流程!

在之前的验证中,我们确认了如果在使用Equalum时,能够掌握涉及SQL周围和数据库的基本知识,就可以在不需要复杂编码的情况下,任何人都可以将实时流式数据处理应用于数据处理过程。所以这次我们想要进行一些关于几个标准提供的操作符的基本验证,以便更便利地进行数据处理。

首先从加入开始…

j1.jpg
j2.jpg

接下来从操作员菜单中选择JOIN。

j4.jpg

我們將連接剛才設置的Event Stream。

j5.jpg

请点击Join中的Edit按钮,并进行必要的设置。

j8.jpg

在中文中,表达为:

可以通过下拉菜单选择JOIN的类型。这次我们将选择Inner进行验证。
然后,在条件项中设置JOIN的条件。这次我们将强制使用数据的ID进行匹配。

j9.jpg

最后,不要忘记设置流媒体处理特有的条件。

j10.jpg

接下来我们要定义目标数据源。

j11.jpg
j12.jpg
j13.jpg
j14.jpg
j15.jpg
j16.jpg

由于数据量较少,所以从插入到上游表开始进行直到结束的时间仅需一瞬即可完成,并且几乎同时完成了下游流JOIN处理,因此验证工作轻松完成。

可能会验证最常使用的Transform选项。

image.png
image.png

这次的总结

我们虽然匆忙进行了验证,但这次我们进行了JOIN和TRANSFORM的验证。
您可能已经感受到了设计相当高级的实时数据流的可能性,而无需考虑复杂的kafka编码或Spark集成等工作。但在下一次验证中,我们将

更加复杂(?)的趋势

我想挑战创建该项目。

通过零编码方式构建高级kafka/Spark集成的流媒体环境!

虽然在经过专门优化和专门实现的深度kafka世界可能会输掉,但在任何人都能够创建相当快速的kafka流数据协调和利用环境的方面,可以说它是一个具有非常大潜力的环境。

批处理是唯一的选择已经成为过去的故事。
如果要通过数据利用改变现在,那么唯一的选择必然是实时流媒体。
利用数据改变现在,创造未来!
我认为这就是数据驱动在 Dx 中的真正精髓……

继续欣赏Equalum回来了!(前半完结篇1)的故事。

感谢辞

此验证是在获得Equalum公司的特别许可下进行的。对于给予我们这个宝贵机会的Equalum公司,我们表示感谢。同时,如果本内容与Equalum公司官方网站上发布的内容存在差异,我们希望您能理解Equalum公司的信息将优先考虑。