尝试将Elasticsearch的数据传输到BigQuery，通过数据门户进行可视化
简而言之
我们将用户在我们运营的服务中的行为日志积累到Elasticsearch中，并且许多人都考虑使用数据分析来改善服务。因此，本次我们将尝试将Elasticsearch的数据自动传输到BigQuery，并进行数据可视化。
目标 (mù
推荐给这样的人
-
- ElasticsearchのデータをBigQueryにも保存しておきたい方
-
- Elasticsearchに保存したデータと他のデータを組み合わせて分析したい方
- 自前のコードを用いたデータ取り込みや、手作業によるデータ取得に疲れている方・・・
选择与DWH同步的方式
1-1. DWH的选择
首先要确定数据集中在哪里，选择数据仓库(DWH)。
-
- Google BigQuery
-
- Amazon Redshift
- MySQLやPostgreSQL
这次我们决定使用BigQuery。
将Elasticsearch数据传输到BigQuery的三种方法。
由于决定将数据集成到BigQuery中，接下来我们将考虑用于传输的方法。
1. 编写程序以实现Elasticsearch和BigQuery的各种API之间的协作。
2. 使用Embulk并自行构建环境。
3. 使用trocco并在屏幕上进行设置。
1. 在进行API的适应工作+编写程序工作+环境设置工作时，还会产生其他一些运维工作，比如错误处理等需要持续进行。
2. 与1一样，Embulk也需要一定的专业知识，并且需要花费一定的时间进行环境设置和运维。此外，由于错误的内容有些专业性，解决错误可能会花费一些时间。
因此，这次我们将使用名为trocco的SaaS来解决Embulk的问题，通过在屏幕上进行设置而无需编写程序即可完成工作。
2. 实现trocco自动将数据从Elasticsearch传输到BigQuery。
事前准备是指在某个事件或活动之前所做的准备工作。
需要trocco账号和Elasticsearch主机名。
他们好像也提供免费试用，所以请提前申请并注册！
（在申请时，请注明您看到了这篇文章，以便我们能够顺利地为您提供信息）
确定转发来源和转发目标
与Elasticsearch的协作设置2-2。
2-3. 从Elasticsearch中进行数据提取设置
2-4. 设置BigQuery的传输目标。
2-5. 数据预览
2-6. 日程安排和通知设置
2-7. 执行数据传输任务
3. BigQuery配置
4. 在Google数据门户（原名数据工作室）上进行可视化。
总结
您使用trocco后，可以轻松获取广告报告并存储到DWH（BigQuery），您觉得效果如何呢？
此外，将数据存储到BigQuery后，可以立即使用Google的免费仪表板数据门户进行可视化。
实际上，在我们公司的trocco服务中，我们也是通过这样的流程收集和分析营销KPI等数据。
如果您想试一试的话，我们正在提供免费试用机会，希望您能抓住这个机会，尽情体验一次。请在申请时注明您是通过阅读本文得知此信息，以便我们能够顺利为您提供服务。
我整理了各种分析数据的ETL和传输案例，包括广告和数据库等其他内容。
trocco的用法总结（CRM、广告、数据库等其他）。
