我尝试使用IoT Hub + Stream Analytics + PowerBI对流数据进行分析
第二步.配置 Azure Stream Analytics 和 PowerBI,并显示实时分析。
简述
数据的新鲜度至关重要!因此,我在Azure上简便地实现了数据流。组成部分是Azure的”IoT Hub + Stream Analytics + PowerBI”。我使用Python编写了一个IoT虚拟数据生成程序,将数据投放到IoT Hub,然后使用Stream Analytics进行流式处理和查询,将查询结果即分析信息实时显示在PowerBI上。
在中国,数据流的事实标准是“Apache Kafka(商业版:Confluent)”,可以通过“Azure HDInsight”来实现Apache Kafka,但这只是为了更简单地进行流处理的工具。
-
- 以下の2つのステップで順次説明します。今回は STEP-1 について説明します。
STEP-1.Azure IoT Hub の設定とデータ受信のモニタリング
STEP-2.Azure Stream Analytics と PowerBI の 設定 とリアルタイム分析の表示
本地环境
macOS Big Sur 11.3 和 Python 3.8.3
进行流分析的设置
创建流分析
点击屏幕下方的“创建”按钮。
输入的定义
输出的定义
查询定义
在创建的“sa-ituru-stream-test”页面的左侧选择“查询”,并在“输入”中设置为“IothubStreamTestDummyInput”。
为了测试,在“查询栏”中写下以下内容。
SELECT
section,
vol_1,
Vol_2
INTO
[YourOutputAlias]
FROM
IothubStreamTestDummyInput
结果,我们确认了接收到的数据查询处理,所以我们将”输出”设置为”IothubStreamTestDummyOutputSsection”。
为了进行数据分析,我们在”查询栏”中写下以下内容。参考Stream Analytics的查询,我们创建了一个查询,用于按section每秒滑动地显示vol_2值的10秒平均值。
SELECT
section,
AVG(vol_2)
INTO
IothubStreamTestDummyOutputSsection
FROM
IothubStreamTestDummyInput timestamp by time
GROUP BY
section,
SlidingWindow(second, 10)
Power BI 的设置
执行工作
将设备(IoT数据生成程序)中的数据发送到IoT Hub。
我們將執行第一步的IoT虛擬數據生成程序,以1秒的間隔將120條數據發送到IoT Hub。
$ python IoTSampleData-v3.py --count 120 --mode ih --wait 1.0
通过IoT Hub – Stream Analytics,我们可以确认从IoT设备(Python程序)发送的数据经过处理后,在Power BI中实时显示出来。
请提供相关资料
非常感谢您提供的以下信息作为参考:
尝试入门Azure Stream Analytics #azurejp
使用Stream Analytics实现复杂的聚合处理
尝试在Azure上可视化CO2浓度
本题的步骤
第一步.配置 Azure IoT Hub 并监控数据接收
第二步.配置 Azure Stream Analytics 和 PowerBI,并显示实时分析结果