在不到一小时内，使用Equalum轻松创建多层数据管道！（第三部分）
我们将使用无代码方式创建多阶段结构的后半部分，并在整体完成后进行实际的操作验证。
上一次，我们在基于GUI的专用环境中定义了实际的流处理部分的FLOW，并简要介绍了无代码工作流程。
就Equalum的处理而言，即使只是前面完成的部分，也可以处理像“数据孤岛”这样世界上普遍存在的问题，并以非常简单的方式解决“任何人都可以创建的集成表”。
但是，由于我们设定了包括多层结构在内的目标时间为“1小时内”，因此我们将继续努力。
如果将这次构成概要稍微调整为更现实的情景的话…
首先，开始制作后半部分。
在上一次的操作中，当分散存储的商店侧数据库更新时，我们立即采用高级CDC技术和Kafka・SPARK结合的处理方式，同时在流式处理中执行指定的流程，并将结果存储在指定数据库的表中。
这一次，为了迎接后半部分，我们将进一步将集成数据库表的内容作为”更多CDC处理对象”，最终通过无需编码的方式实现自动复制三种目的特定数据库和集成数据库的操作。
将综合数据库表格注册到上游侧
立即将原始的综合表复制到指定的数据库表上
一个要点是，只要准备好对立方（目标方）的表格，就不需要复杂的FLOW设置。
创建按用途分类的自动分拣数据表。
好吧，让我们尝试输入数据。。。
（1）SQL数据的生成情况
（2）~（6）不同商材的虚拟商店订单（数据分配）情况
（7）将所有店铺的数据自动整合到一个表中（基本上与SQL状态同步）。
（8）~（10）状况：根据CDC自动地从已经自动整合的表中创建目标数据库（基本上与SQL状况同步）。
（11）正在使用CDC自动将原始的综合表复制到另一个数据库的表中（基本上与SQL的状态同步）。
已经成为如此。
在确认在Equalum上创建的环境运行正常后，我们将对店铺表、综合数据库表和分类数据库表进行初始化（将其仅保留列而不包含任何数据），然后开始自动连续生成SQL数据并插入到指定的店铺表中。
在整理文件夾的時候，我發現了一個進度條相當不起眼的版本，其中有一個從開始到結束的全程數據串流的視頻，所以我急忙與大家分享。我認為這能讓您對Equalum的無代碼實時數據串流的感覺有一定的理解。
这是一个我们经常听到的“普遍现象”，即包括GUI在内的这个数据生成工具的开发成为了一系列验证工作中所花费的“最多时间、极其且是大部分时间浪费”的一部分。
为了确认表的状况，我在DBeaver中查看了一下。
我确认了自动按目标分类的数据库和实时生成的CDC都已经整洁地完成了。
这次的总结
我们利用Equalum的无代码功能进行了多阶段数据系统的“敏捷”创建，分为三个回合。通过基于GUI的选择和设置，实现了包括ExactlyOnce功能在内的即时流式数据同步机制。这意味着即使没有IT知识或经验，而是真正理解现场数据情况并需要实时数据支持的人，也能够实现这一目标。
另外，在传统的数据系统的中间件解决方案中，我们无需单独处理批处理ETL、流处理和CDC复制这三种类型的操作，通过这一系列验证，我们也确认了有可能通过一个机制来完成涉及数据的所有中间处理。
Equalum的性能和功能通过无代码即时处理和同步，为数据系统和数据流通带来了以往被大多数人放弃的高度复杂的机制。这种新颖的视角将为Dx世界带来全新的可能性。
请点击这里，使用Equalum在1小时内轻松创建多层次的无代码数据管道！（第1部分）
请点击这里，使用Equalum在一小时内无需编码创建多层数据管道！（第二部分）
最后……
我們分三次介紹了驗證文章，但現在已經進入了一個不需要編碼就能夠做到這一切的時代（而且，只要是能夠支持CDC (Change Data Capture) 的數據庫和基礎設施的數據系統，任何人都可以創建一個具有ExactlyOnce (精確一次)的實時流式數據管道）。我希望大家可以把這一點放在腦海中，相信這樣做「肯定會對某些事情有所幫助」。
这次的一系列工作中，我们的目标是使用Python控制Equalum环境中包括相关数据库在内的所有内容，并且只需要一个GUI界面。因此，为了达到这个目的，我们特意使用Equalum的无需编码功能来减少时间，最终制作出了一个带有业余处理情况可视化功能的GUI工具。
但是，现实情况考虑起来，我认为主要是与现有的BI群或其他新兴的数据计算解决方案进行合作。
因此，我将分享一个使用市售Equalum能够追赶其处理性能的LogiCOMPOSER（之前已经介绍过）来示范同步速度的例子，并作为本次的结束。
当左侧数据库进行处理时，右侧数据库会同时执行由Equalum提供的处理，并且通过使用微型查询技术，将这些结果（在LogiCOMPOSER中）利用后续的信息层比Equalum的CDC更晚的处理层进行即时可视化，您应该能够看到这种情况。
这个支撑世界的幕后数据管道（基于Kafka，并且支持ExactlyOnce）当然是用“无代码”轻松地创建的。
关于国内正式处理问题，我们已经听说国内销售代理商提供试用环境等方面已经做了相当具体的准备。因此，我们希望在另一个机会上能再次分享有关这些试用环境的使用报告以及Equalum公司的内部信息（可以公开的）等。
感谢辞
本次验证实验使用的是Equalum公司的官方版本（V2.27）。
我們衷心感谢Equalum公司能够提供这个宝贵的机会，并请您了解，如果本文内容与Equalum公司官方网站上公开的内容不一致时，请以Equalum公司的信息为准。
