第五章：Denodo监控的设置

2 年 ago
科, 颖
1 minute

索引

1.首先
2.本次实施内容
3.进行工作执行时的预备知识
4.安装
5.操作确认
6.创建视图
7.执行查询确认
8.最后

请提供网址链接

    • Denodo-USER MANUALS　Denodo Monitorの構成

 

    • Denodo-USER MANUALS　Denodo Monitorの起動

 

    Denodo-USER MANUALS　Denodo Log Columnの詳細

首先

本文是一系列介绍数据虚拟化产品Denodo的文章。基于之前的连载，假设已经完成了Denodo Express环境设置，如果尚未进行设置，请参考以前的文章进行构建。

有关数据虚拟化技术和Denodo的概述，请参考第一章《数据虚拟化与Denodo概述》。
此外，有关数据虚拟化环境的搭建，请参考第二章《数据虚拟化环境的搭建》。

2 这次的实施内容

Denodo有一个功能名为Denodo Monitor的功能，可以将与Denodo服务器相关的信息记录在日志中。
可以获取有关查询执行信息和访问数据源的状态等信息，在实际运营中可用于故障排除和使用情况确认等活动，推荐进行部署。
本次将介绍将Denodo Monitor的日志存储到数据库并可用的步骤。

我們以PostgreSQL 13作為例子來進行。

在进行任务实施之前需要了解的预备知识。

Denodo Monitor记录了前面提到的Denodo服务器的状态并将其记录到日志中，但会简要描述记录的对象。

关于日志列信息等详细内容，请参考相关网址。

请注意，默认情况下日志会写入日志文件，但还支持将日志写入数据库或S3的输出选项设置。

本土监视器

收集有关正在运行Denodo Monitor的主机的信息。

    • プロセスモニター: ローカルホストのすべての実行中のプロセスに関する情報をログに記録

 

    ソケットモニター: ローカルコンピュータのアクティブなコネクションの情報をログに記録

服务器监视器

将Denodo服务器的线程运行和内存使用数据记录在日志中。
使用JMX连接到Denodo服务器，从正在运行的与Denodo Monitor不同主机上的服务器获取信息并进行收集。

    • リソースモニター

メモリ情報: 監視対象サーバーを実行するJVMのメモリ使用量をログに記録
クラス情報: 現在ロードされているクラスの数 、ロードされているクラスの総数、スレッドの数、およびスレッドの最大数をログに記録
Virtual DataPort の情報（コネクション数、リクエスト数、メモリ使用量）

スレッドモニター

スレッドモニターは、Denodo サーバーによって起動されたスレッドと、それらが消費したCPU 時間をログに記録

虚拟数据端口监控器

在使用时，有时候需要检查执行查询以进行故障排除，并且需要Virtual Data Port的处理日志。我们有以下三个监控工具，但特别依赖查询监控工具。

    • Virtual DataPort クエリモニター: Virtual DataPort によって処理されたすべてのステートメントをログに記録

 

    • Virtual DataPort キャッシュモニター: Virtual DataPort のキャッシュロードプロセスのアクティビティをログに記録

 

    Virtual DataPort コネクションモニター: 開かれたコネクションと閉じられたコネクション、コネクションを開いた/閉じたユーザーアカウント、使用したインターフェイス、接続元 IP などに関する情報をログに記録
Virtual DataPort监控可以将各种日志输出到默认的文本输出之外，还可以将其输出到PostgreSQL、MySQL等数据库，以及S3中。此外，数据目录还具有显示视图使用统计信息的功能，但作为前提条件，需要将Denodo监视器日志存储到数据库中，因此建议进行数据库存储设置。在实际运行环境中，推荐将Denodo Monitor与Denodo功能提供服务器分开运行（在最小配置的情况下，可能最好将其与Solution Manager服务器放在一起）。

安装4

进行监控周围的设置和存储数据库的设置。

数显监视器

    1. 为了能够使用Denodo提供的JRE，需要设置环境变量。

 

    1. 在Windows环境变量中，转到详细设置选项卡的”环境变量”，在用户环境变量和系统环境变量中设置以下内容。

 

    1. 变量名：JAVA_HOME

 

    1. 变量值：C:\Denodo\DenodoPlatform8.0

移动到C:\Denodo\DenodoPlatform8.0\tools\monitor目录。

将denodo-monitor.zip解压到当前目录。

复制DB连接器。
打开命令提示符，输入以下命令
copy C:\Denodo\DenodoPlatform8.0\lib\extensions\jdbc-drivers\postgresql-
12\postgresql-42.3.5.jar C:\Denodo\DenodoPlatform8.0\tools\monitor\denodo-
monitor\denodo-monitor\lib。

修改C:\Denodo\DenodoPlatform8.0\tools\monitor\denodo-monitor\denodo-monitor\conf\ConfigurationParameters.properties。
修正如下所示的查询监控设置部分。
# =============================================================================
# 存储Virtual DataPort查询监控输出到数据库的设置
# =============================================================================

vdpqueries.jdbcagent.enable=true # 修改为true

# JDBC Agent参数：PostgreSQL
vdpqueries.jdbcagent.driverClassName=org.postgresql.Driver # 解除注释
vdpqueries.jdbcagent.url=jdbc:postgresql://localhost:5432/monitor # 解除注释并填写数据库的URL
vdpqueries.jdbcagent.user=monitor # 解除注释并输入用户名
vdpqueries.jdbcagent.password=Pass!234 # 解除注释并输入密码

PostgreSQL 数据库

pg-14.jpg
pg-15.jpg

确认5个动作

确认启动和日志记录

WS000003.JPG

确认执行查询

pg-19.jpg

如果查询结果没有显示任何内容，请尝试以下切割步骤：

在pgAdmin中打开SQL执行界面，执行SELECT * FROM request_notification;

如果结果显示，则确认Denodo和Postgresql的连接设置。
如果结果没有显示，则确认Monitor和Postgresql的连接设置。

闲谈

下面将提到一些可能在操作中使用的列作为简单的提示。

NumRows: 返答行数を確認する際に使えます。

State: クエリの状態確認する際に使えます。

行制限に該当するとLOW_LIMIT_REACHED。正常と異常はOK/ERROR。止めるとSTOPPED。タイムアウトはQUERY_TIMEOUTが記録されます。

Cache: キャッシュ無効は0。キャッシュ有効は1。効いているかどうか確認時に。

Query: 発行クエリの確認時に。特定の期間に特定のビューに発行されたクエリを確認したい場合などに、フィルタをかまして使えます。

ちなみにData Catalogクエリエディターからのクエリ実行時は、SELECT_NAVIGATIONALで始まるクエリが記録されます。

UserAgent: どのエージェント（AdminToolやCatalogなど）からアクセスしているのかを確認する際に使えます。

ClientIP: 接続元のIP確認する際に使えます。

最后

本次介绍了可以用于顺利推进数据利用的监控工具Denodo Monitor。在实际运营中，有时会从查询监控中提取故障时的记录来进行故障排除，并且在需要按照视图统计访问次数的情况下，也可以使用它。本次只是对概述进行了简单的描述，如果想要更多地利用，比如想要将日志导出到数据库或S3中，请参考手册并尝试。

我想介绍一下下一次会议中关于数据使用者能方便地访问数据的功能，即数据目录和索引搜索。

✖
广告
将在 10 秒后关闭
bannerAds