“Equalum出现了!(上半部结束篇2)”

这次我们尝试设计一个执行多个处理步骤的FLOW。

image.png

介绍这次的新设定初次登场。

由于我们之前已经对几个设置项进行了验证,所以现在我们将会确认本次验证中新成员的设定选项。

拆分与合并

f4.jpg

这两个是用成对的形式使用的。而且设置项目只存在于Split一侧,负责所谓的”条件分岐”工作。这次我们决定给泡盛和啤酒分别分配个别的点数,并且对其他商品统一追加点数进行”后付加”。

转换设置

f3.jpg
f5.jpg
f1.jpg

请提一下稍微重要的要点…

根据之前的验证得到的信息和本次新添加的部分,我认为在这之前的设计所需时间大约只需要15分钟。(调整设计工具的外观所需的时间要长一些……)
另外,关于最终设置收录表格,由于本次流程中会出现一些新的设置列(原始数据通过整数数据的ID进行引用数据转换等),所以需要对将数据写入MemSQL的表格设置进行谨慎确认。
从操作上来说,这将是将新添加的数据设为活动状态的操作,所以需要按以下设置进行操作,不要忘记。

f33.jpg

好,现在行动!

f8.jpg
tt1.jpg

这是流入到上游数据源的数据的情况。

tt2.jpg

以下是本次处理的流程定义所生成的数据情况(本次已经重新审查了时区设置)。

而且,值得特别注意的是,上游的MySQL与Equalum的流程操作后的下游MemSQL都附加了时间戳…..(汗)

记录在上游MySQL中的数据(围绕时间戳值的数据)

1|2020-06-25 13:17:45.931682|2020-06-25 13:17:45.0|         8|    5|      7|Discover                   
2|2020-06-25 13:17:46.939816|2020-06-25 13:17:46.0|         8|   10|      5|Cash                       
3|2020-06-25 13:17:47.948469|2020-06-25 13:17:47.0|         6|    6|      0|Cash                       
4|2020-06-25 13:17:48.954642|2020-06-25 13:17:48.0|         2|    5|      5|American Express           
5| 2020-06-25 13:17:49.96037|2020-06-25 13:17:49.0|         8|    2|      8|Cash                       
6|2020-06-25 13:17:50.966644|2020-06-25 13:17:50.0|         5|    6|      2|Mastercard                 
7|2020-06-25 13:17:51.974966|2020-06-25 13:17:51.0|         7|    4|      4|VISA 16 digit              
8|2020-06-25 13:17:52.984687|2020-06-25 13:17:52.0|         8|    8|      5|Cash                       
9|2020-06-25 13:17:53.992869|2020-06-25 13:17:53.0|         3|    9|      4|Diners Club / Carte Blanche

下游MemSQL中记录的数据(时间戳值附近)

1|2020-06-25 13:17:45.931682|2020-06-25 13:17:45.0|泡盛        | 1980|    5|佐島   |Discover      
2|2020-06-25 13:17:46.939816|2020-06-25 13:17:46.0|泡盛        | 1980|   10|一丁目 |Cash        
3|2020-06-25 13:17:47.948469|2020-06-25 13:17:47.0|スコッチ    | 3500|    6|旭町   |Cash         
4|2020-06-25 13:17:48.954642|2020-06-25 13:17:48.0|ビール      |  490|    5|一丁目 |American Exp
5| 2020-06-25 13:17:49.96037|2020-06-25 13:17:49.0|泡盛        | 1980|    2|五本木 |Cash        
6|2020-06-25 13:17:50.966644|2020-06-25 13:17:50.0|白ワイン    | 2500|    6|本町   |Mastercard  
7|2020-06-25 13:17:51.974966|2020-06-25 13:17:51.0|ブランデー  | 5000|    4|西新町 |VISA 16 di
8|2020-06-25 13:17:52.984687|2020-06-25 13:17:52.0|泡盛        | 1980|    8|一丁目 |Cash        
9|2020-06-25 13:17:53.992869|2020-06-25 13:17:53.0|芋焼酎      | 2000|    9|西新町 |Diners Club

此外,处理将从最初插入MySQL的初始数据起点开始,并随后以流式处理的方式进行连续处理,因此与数据量没有太大关系(批处理类型的累积处理不会发生…),因此并行处理多个流也没有问题。

这次的总结

这次我们进行了稍微复杂的FLOW定义验证,延续了上一次的内容。关于能够轻松处理最新数据动态的点上,Equalum的零编码技术非常引人关注,确实您一定能够理解它对数据民主化的大力支持。

将最新的消息控制技术Kafka和高速高效的处理能力提供的Spark与传统的CDC技术相结合,Equalum作为一个无需编程即可使用的环境,它将带来对这一领域的巨大影响,同时也是一个非常便利的产品,可以在数据为基础上创造新的思路。

只要了解基本的SQL和数据意义(列的内容),就能够在非常高级的实时性中进行数据流处理……这不仅可以提高对AI/BI等应用类解决方案的投资回报率,还可以通过数据驱动的方式获得新的思路和解决问题的线索……

在Dx时代,以数据驱动为核心的转变将由Equalum引领…

我们是先积累数据再考虑呢?还是边传输数据边适时对应处理呢?

这是一个非常重要的点,同时也意味着在实现“具有强大适应能力的高速数据驱动环境”时,不放弃数据是否在积累后进行思考?还是在数据积累的同时进行及时应对?这是一个新的二选一选择,需要考虑的时代。

下一次,我们将以番外篇的形式为Equalum新增一项简单的验证内容,以此结束上半场。

Equalum接踵而至!继续(暴走篇).

感谢词

我們在Equalum公司的特別許可下進行此驗證。感謝Equalum公司提供這個寶貴的機會,同時,如果本文內容與Equalum公司官方網站上公開的內容有所不同,請儘量遵從Equalum公司的資訊為準。

广告
将在 10 秒后关闭
bannerAds