我尝试使用IoT Hub + Stream Analytics + PowerBI对流数据进行分析

第二步.配置 Azure Stream Analytics 和 PowerBI,并显示实时分析。

简述

数据的新鲜度至关重要!因此,我在Azure上简便地实现了数据流。组成部分是Azure的”IoT Hub + Stream Analytics + PowerBI”。我使用Python编写了一个IoT虚拟数据生成程序,将数据投放到IoT Hub,然后使用Stream Analytics进行流式处理和查询,将查询结果即分析信息实时显示在PowerBI上。

在中国,数据流的事实标准是“Apache Kafka(商业版:Confluent)”,可以通过“Azure HDInsight”来实现Apache Kafka,但这只是为了更简单地进行流处理的工具。

image.png
    • 以下の2つのステップで順次説明します。今回は STEP-1 について説明します。

STEP-1.Azure IoT Hub の設定とデータ受信のモニタリング
STEP-2.Azure Stream Analytics と PowerBI の 設定 とリアルタイム分析の表示


本地环境

macOS Big Sur 11.3 和 Python 3.8.3


进行流分析的设置

创建流分析

image.png

点击屏幕下方的“创建”按钮。

输入的定义

image.png
image.png
image.png

输出的定义

image.png
image.png
image.png

查询定义

在创建的“sa-ituru-stream-test”页面的左侧选择“查询”,并在“输入”中设置为“IothubStreamTestDummyInput”。
为了测试,在“查询栏”中写下以下内容。

SELECT
    section,
    vol_1,
    Vol_2
INTO
    [YourOutputAlias]
FROM
    IothubStreamTestDummyInput
image.png

结果,我们确认了接收到的数据查询处理,所以我们将”输出”设置为”IothubStreamTestDummyOutputSsection”。
为了进行数据分析,我们在”查询栏”中写下以下内容。参考Stream Analytics的查询,我们创建了一个查询,用于按section每秒滑动地显示vol_2值的10秒平均值。

SELECT
    section,
    AVG(vol_2)
INTO
    IothubStreamTestDummyOutputSsection
FROM
    IothubStreamTestDummyInput timestamp by time
GROUP BY
    section,
    SlidingWindow(second, 10)
image.png

Power BI 的设置

image.png
image.png
image.png

执行工作

image.png

将设备(IoT数据生成程序)中的数据发送到IoT Hub。

我們將執行第一步的IoT虛擬數據生成程序,以1秒的間隔將120條數據發送到IoT Hub。

$ python IoTSampleData-v3.py --count 120 --mode ih --wait 1.0
image.png

通过IoT Hub – Stream Analytics,我们可以确认从IoT设备(Python程序)发送的数据经过处理后,在Power BI中实时显示出来。


请提供相关资料

非常感谢您提供的以下信息作为参考:
尝试入门Azure Stream Analytics #azurejp
使用Stream Analytics实现复杂的聚合处理
尝试在Azure上可视化CO2浓度

本题的步骤

第一步.配置 Azure IoT Hub 并监控数据接收
第二步.配置 Azure Stream Analytics 和 PowerBI,并显示实时分析结果

广告
将在 10 秒后关闭
bannerAds