Equalum已经到来了!(续集二)
这次我们将验证每个功能,并尝试创建一个稍微复杂的流程!
在之前的验证中,我们确认了如果在使用Equalum时,能够掌握涉及SQL周围和数据库的基本知识,就可以在不需要复杂编码的情况下,任何人都可以将实时流式数据处理应用于数据处理过程。所以这次我们想要进行一些关于几个标准提供的操作符的基本验证,以便更便利地进行数据处理。
首先从加入开始…
接下来从操作员菜单中选择JOIN。
我們將連接剛才設置的Event Stream。
请点击Join中的Edit按钮,并进行必要的设置。
在中文中,表达为:
可以通过下拉菜单选择JOIN的类型。这次我们将选择Inner进行验证。
然后,在条件项中设置JOIN的条件。这次我们将强制使用数据的ID进行匹配。
最后,不要忘记设置流媒体处理特有的条件。
接下来我们要定义目标数据源。
由于数据量较少,所以从插入到上游表开始进行直到结束的时间仅需一瞬即可完成,并且几乎同时完成了下游流JOIN处理,因此验证工作轻松完成。
可能会验证最常使用的Transform选项。
这次的总结
我们虽然匆忙进行了验证,但这次我们进行了JOIN和TRANSFORM的验证。
您可能已经感受到了设计相当高级的实时数据流的可能性,而无需考虑复杂的kafka编码或Spark集成等工作。但在下一次验证中,我们将
更加复杂(?)的趋势
我想挑战创建该项目。
通过零编码方式构建高级kafka/Spark集成的流媒体环境!
虽然在经过专门优化和专门实现的深度kafka世界可能会输掉,但在任何人都能够创建相当快速的kafka流数据协调和利用环境的方面,可以说它是一个具有非常大潜力的环境。
批处理是唯一的选择已经成为过去的故事。
如果要通过数据利用改变现在,那么唯一的选择必然是实时流媒体。
利用数据改变现在,创造未来!
我认为这就是数据驱动在 Dx 中的真正精髓……
继续欣赏Equalum回来了!(前半完结篇1)的故事。
感谢辞
此验证是在获得Equalum公司的特别许可下进行的。对于给予我们这个宝贵机会的Equalum公司,我们表示感谢。同时,如果本内容与Equalum公司官方网站上发布的内容存在差异,我们希望您能理解Equalum公司的信息将优先考虑。