Embulk（エンバルク）插件概述
这是Embulk插件的总结页面。
之前，关于Fluentd的批处理版Embulk（エンバルク）插件的总结文章已经移至另一页。
插件列表可在按类别分类的插件列表页面中找到。该页面按照GitHub星标多少和下载次数多少进行排序。
本页面按照各个插件的用途尽可能地进行分类，同时附上了作者创建的插件说明页面的URL。
嵌入式插件的说明
这是关于安装Embulk核心后可使用的插件的说明。
- Embulk組み込みプラグインの設定覚え書き
各种插件(0.4.0)之后
在Embulk的0.4.0版本中，插件的结构发生了变化，新的gem需要以Embulk-{Input|Output|Filter|Parser|Formatter}-XXX的命名方式进行创建。这里列出的Gem是包含了2015年2月16日以后的Embulk-{Input|Output|Filter}-XXX插件的信息。
这里提到的插件需要单独安装，与embulk本身分开。
安装步骤如下。
embulk gem install プラグイン名
您还可以使用embulk gem search命令来搜索插件。
embulk gem search embulk-filter -r
2015-05-30 18:20:50.064 +0900: Embulk v0.6.10
*** REMOTE GEMS ***
embulk-filter-eval (0.1.0)
embulk-filter-speedometer (0.2.2)
输入插件
关系型数据库管理系统（RDBMS）和非关系型数据库（NoSQL）
Embulk(エンバルク) データベースプラグイン覚書も参照ください。
embulk-input-mysql MySQLのテーブルからデータを取得するJDBCプラグイン
embulk-input-postgresql PostgreSQLのテーブルからデータを取得するJDBCプラグイン
embulk-input-jdbc JDBC用プラグイン Oracleなど接続用 Oracleは使えるはずDB2は要書き換え。 SQLite3は??
embulk-input-sql カスタムなSQL文を使ってデータを取得するプラグイン
embulk-input-jdbc v0.4.0 で同等機能が実装されました
embulk-input-presto 分散SQLエンジンPrestoからデータを読み出すプラグイン
embulk-input-vertica カラム型データベースverticaからデータを取得するプラグイン
embulk-input-aster Asterからデータを取得するプラグイン
embulk-input-redis NoSQL Redisからの読込み
embulk-input-mongodb NoSQL MongoDBからの読み込み
embulk-input-rediskeys 指定したキーでRedisからデータを取得するプラグイン
embulk-input-clickhouse ClickHouseからデータを取得するプラグイン
云服务
embulk-input-redshift Amazonの提供するデータウェアハウスRedShiftからデータを取得するプラグイン
embulk-input-s3 Amazon S3からデータを取得するインプットプラグイン
embulk-input-gcs Google クラウドストレージからデータを読み出すプラグイン 解説 補足
embulk-input-dynamodb Amazonが提供するNoSQL DynamoDBからデータを読み出すプラグイン
embulk-input-sfdc Sales Forceからデータを読み出すプラグイン (Obsolete)
embulk-input-marketo マーケティングオートメーションサービスmarketoからデータを読み出すプラグイン
embulk-input-google_spreadsheets Google Spreadsheetのデータを読み出すプラグイン (使用例)
embulk-input-azure_blob_storage Microsoft AzureのBLOB ストレージからデータを吸い出すEmbulkのinputプラグイン
embulk-input-healthplanet タニタの体重計の蓄積するサイトHealth Planetからデータを出力するプラグイン (解説)
embulk-input-zendesk カスタマサービスのためのクラウドサービスZendeskから情報を取得するプラグイン (解説)
embulk-input-googlespreadsheet Google Spreadsheetのデータを読み出すプラグイン(Ruby版)
embulk-input-td トレジャーデータから情報を取得するプラグイン
embulk-input-google_analytics ウェブ解析システム Google analyticsからデータを読み出すプラグイン
embulk-input-soracom_harvest SORACOM Harvestからデータを取得するプラグイン (解説)
embulk-input-teradata テラデータからデータを取得するプラグイン
embulk-input-bigquery Google Bigqueryからデータを出力するプラグイン (解説)
embulk-input-yelp ローカルビジネスレビューサイトYelpのデータを取得するプラグイン
embulk-input-lkqd ビデオ広告プラットフォーム LKQDからデータを取得するプラグイン
embulk-input-bigquery_extract_files Big Queryでクエリを実行した結果をGCSに格納し、そこからデータを読み出すプラグイン
embulk-input-search_analytics Search Consoleからデータを取得するプラグイン
embulk-input-yahoo_ads Yahooプロモーション広告 からデータを取得するプラグイン
embulk-input-spotx 動画広告配信プラットフォームのSpotXからデータを取得するプラグイン
embulk-input-athena Amazon Athenaからデータを取得するプラグイン
embulk-input-datastore Cloud Datastoreからデータを取得するプラグイン (解説)
embulk-input-travis travisからデータを取得するプラグイン
embulk-input-facebook_ads_insights Facebook広告の出稿結果レポートを取得するプラグイン
embulk-input-kintone Kintoneのアプリレコードを取得するプラグイン
embulk-input-mixpanel mixpanelからデータを出力するプラグイン
embulk-input-firestoreGoogleのCloud Firestoreからデータを取得するプラグイン
embulk-input-sendgrid Embulk input plugin for SendGrid stats
embulk-input-salesforce_bulk Salesforce Bulk API の一括クエリ結果を取得するプラグイン
embulk-input-gmail Gmailからデータを取得するプラグイン
embulk-input-cloudwatch_logs Cloudwatchのログを取得するプラグイン
embulk-input-big-query-async A fork of original embulk-input-big-query plugin that uses async method to fetch really large amounts of rows.
embulk-input-zendesk_guide Zendesk Guideの「この記事は役に立ちましたか？」ボタンの押された回数とかをAPIから取ってくるEmbulkのinputプラグイン
embulk-input-github_graphql GitHubからGraphQLを使ってデータを出力するプラグイン
命令协作
embulk-input-command コマンドの実行結果を入力できる。例えばPythonのpandasとの連携が可能。
embulk-input-script Loads records from Script. (input-commandとの違いがよくわからない)
ダミーデータ生成
embulk-input-random テストやベンチマークのためにダミーデータを作るプラグイン (解説embulk-plugin-input-randomを作った)
embulk-input-apache-dummy-log apacheのcombined形式のログデータを生成するプラグイン
embulk-input-randomj テストやベンチマークのためにダミーデータを作るプラグイン(Java実装)
其他
embulk-input-slack-history ChatシステムSlackからデータを取得するプラグイン
embulk-plugin-input-jstat JavaVMの統計情報(jstat)を読み込むプラグイン
embulk-input-pcapng-files WireSharkなどでパケットキャプチャをした際のPcapNg形式で保存されたファイルの読込み 解説
embulk-input-http HTTP経由でコンテンツを取得するためのプラグイン 解説
embulk-input-filesplit 単一のファイルを複数のタスクに分割するプラグイン、一つのファイルのデータを並列でDBにインサートする際などに利用する。
embulk-input-remote scpで複数のホストから指定したパスにあるファイル読み込むプラグイン 解説
embulk-input-ftp FTPサーバにあるファイルを取得するためのプラグイン
embulk-input-jira プロジェクト管理ツールJIRAのデータを取得するためのプラグイン
embulk-input-riak_cs オープンソースストレージRiak CSからデータを読み込むプラグイン
embulk-input-hdfs HDFS（Hadoop Distributed File System）からデータを読み込むプラグイン
embulk-input-twitterarchive twitterのアーカイブを読み出すプラグイン
embulk-input-slack_message ChatシステムSlackからデータを取得するプラグイン(embulk-input-slack-historyインスパイア版)
embulk-input-sftp SFTPでデータを取得するプラグイン
embulk-input-sequence シーケンス番号を生成するプラグイン
embulk-input-elasticsearch 全文検索システムelasticsearchからデータを取得するプラグイン
embulk-input-inline 設定ファイルにインラインで入力データを定義できるプラグイン
embulk-input-swift OpenStackのオブジェクトストレージSwiftからデータを取得するプラグイン
embulk-input-redash OSSのダッシュボードRe:dash
embulk-input-parquet_hadoop HadoopファイルシステムからParquet形式のデータを読み出すプラグイン
embulk-input-filename ファイル名を先頭につけるプラグイン？ GitLab
embulk-input-sitemap XMLサイトマップからデータを取得するプラグイン
embulk-input-splunk
embulk-input-druginfo_interview_form Loads records from Druginfo Interview Form. (所定のPDFのファイルからデータを取得するプラグインっぽい)
embulk-input-cassandra 分散データベースApache Cassandraからデータを取得するプラグイン
embulk-input-prometheus Load from prometheus time series data.
embulk-input-pubsub Google Cloud Pub/Sub input plugin for Embulk.
embulk-input-union 複数のデータソースを union して inputにするプラグイン(解説)
embulk-input-rethinkdbNoSQLRethinkDBからデータを取得するプラグイン
embulk-input-sparql データウェアハウス等にオープンデータを取り込むためのモジュール解説 解説その2
embulk-input-stripe インターネット向け決済インフラStripeからデータを取得するプラグイン
embulk-input-spanner GoogleのフルマネージドリレーショナルデータベースCloud Spannerからデータを取得するプラグイン
输出插件
关系型数据库管理系统 (RDBMS)
Embulk(エンバルク) データベースプラグイン覚書も参照ください。
embulk-output-mysql MySQLのテーブルへデータを出力するJDBCプラグイン
embulk-output-postgresql PostgreSQLのテーブルへデータを出力するJDBCプラグイン
embulk-output-postgres-json PostgreSQLのJSONカラムへデータを出力するプラグイン
embulk-output-oracle Oracleへ出力するプラグイン
embulk-output-jdbc JDBC用プラグイン(Oracle接続等に利用)DB2は要書き換え。 SQLite3は??
embulk-output-sqlite3 SQLite3にデータを登録するプラグイン他のRDBプラグインとは別物です
embulk-output-postgres-udf PostgreSQLのユーザー定義関数を実行するプラグイン
embulk-output-vertica カラム型データベースvertticaにデータを出力するプラグイン (解説)
embulk-output-groonga 全文検索システムGroongaにデータを出力するプラグイン (解説)
云服务
embulk-output-redshift Amazonの提供するデータウェアハウスRedShiftへデータを出力するプラグイン
embulk-output-gcs Google Cloud Storageへデータを出力するプラグイン
embulk-output-s3 Amazon S3へデータを出力するプラグイン
embulk-output-bigquery Google BigQueryへデータを出力するプラグイン ※ バージョン3.0からプラグインがJavaからRubyに変わり設定も色々変わっています。公式のドキュメントをよく読んでください。 変更点 Partitioned Table
embulk-output-td トレジャーデータのサービスでデータを出力するプラグイン
embulk-output-salesforce Sales Forceへデータを出力するプラグイン (解説)
embulk-output-google_spreadsheets Google Spreadsheetsへデータを出力するプラグイン
embulk-output-azure_blob_storage Microsoft AzureのBLOB ストレージへデータを出力するプラグイン
embulk-output-mailchimp メール配信サービス、mailchimpへデータを出力するプラグイン (参考資料)
embulk-output-s3_per_record Amazon S3上に、1行、1S3オブジェクトとしてデータを出力するプラグイン
embulk-output-dynamodb Amazon DynamoDBへデータを出力するプラグイン
embulk-output-analytics_cloud Salesforceの提供するクラウドサービスAnalytic CLoudにデータを出力するプラグイン (使い方)
embulk-output-documentdb Azure DocumentDB(NoSQL)にデータを出力するプラグイン
embulk-output-azuresearch Azure Searchへデータを出力するプラグイン
embulk-output-teradata テラデータへデータを出力するプラグイン
embulk-output-slack_file_upload output fileからslackにアップロードするプラグイン
embulk-output-wendelin wendelin？データを出力するプラグイン
embulk-output-zendesk_users Zendeskのユーザ情報を更新するプラグイン
embulk-output-google_analytics Google Analyticsへデータを出力するプラグイン
embulk-output-google_sheets_ruby Google Spreadsheetsへデータを出力するプラグイン(Ruby版)
embulk-output-pixela Pixelaにデータを出力するプラグイン(解説)
embulk-output-embulk_output_domo Domoにデータを出力するプラグイン
embulk-output-snowflake snowflakeにデータを出力するプラグイン 注意 Gemになっているものとtrocco製は別ものです。参考 0.2.0からtrocco版がgemとして提供されるようになりました。(2020-11-18)
embulk-output-kintone サイボウズkintoneにデータを出力するプラグイン
embulk-input-kafka Apache Kafka からデータを取得するプラグイン
embulk-output-gcs_streaming embulk outputでGCSアップロードのときにローカルストレージを使わずに出力するプラグイン
非关系型数据库 NoSQL等
embulk-output-redis NoSQL Redisへの書き込み
embulk-output-aerospike NoSQLデータベースAerospikeにデータを出力するプラグイン
embulk-output-rediskeys 指定したキーを使って、Redisへデータを出力するプラグイン
embulk-output-mongodb mongodbにデータを出力するプラグイン
mongodb_nest Dumps records to Mongodb with subdocument
embulk-output-cassandra Apache Cassandraにデータを出力するプラグイン
命令协作
embulk-output-command外部コマンドを実行して、その標準入力に出力データを書き出す。既存のコマンドラインツールとの連携や、Java/Ruby以外の言語でプラグインを書きたい用途に
Elasticsearch 弹性搜索
根据Elasticsearch的版本，可用的插件也会有所不同。请参考这篇文章。
embulk-output-elasticsearch
embulk-output-elasticsearch_ruby
embulk-output-elasticsearch_using_url
embulk-output-elasticsearch5
其他
embulk-output-trafodion SQL on Hadoop 用ソフトウェアApache trafodionにデータを出力するプラグイン
embulk-output-parquet Hadoop用カラムナストレージ「Parquet」用出力プラグイン S3を保存先に指定することもできる(0.4.0~) (使用例)
embulk-output-hdfs HDFS（Hadoop Distributed File System）へデータを出力するプラグイン
embulk-output-influxdb 時系列データベースInfluxDBへデータを出力するプラグイン 解説
embulk-output-bigobject 解析用？DB、BigObjectへデータを出力するプラグイン
embulk-output-maprfs MapR FSにデータを出力するプラグイン
embulk-output-swift OpenStackのオブジェクトストレージSwiftへデータを出力するプラグイン
embulk-output-ftp FTP(FTPS)で、データを出力するプラグイン
embulk-output-solr 全文検索システムSolrにデータを出力するプラグイン (解説)
embulk-output-fluentd Fluentdにデータを出力するプラグイン (要Java8)
embulk-output-key_to_redis 一意なキーをredisに登録するプラグイン。embulk-filter-key_in_redisと組み合わせて利用する。
embulk-output-orc カラムナーストレージORCにデータを出力するプラグイン
embulk-output-aster TeradataのAsterデータベースにデータを出力するプラグイン
embulk-output-s3_parquet S3上にParquet形式でデータを保存するプラグイン。書き出し先をS3に限定して AWS で使える認証を全てサポート
embulk-output-s3-compatible embulk-output-s3のフォーク(詳細不明)
embulk-output-multi 複数の出力先に出力するプラグイン(解説)
embulk-output-kafka Apache Kafkaにデータを出力するプラグイン
embulk-output-s3v2 aws-sdk-java-v2 を使ってAWS S3上にデータを出力するプラグイン
滤镜插件
embulk-filter-speedometer 処理速度を計測するためのプラグイン
embulk-filter-eval filterプラグイン内でRubyのコードを実行するプラグイン 解説
embulk-filter-column カラムを削るプラグイン (使い方)
embulk-filter-insert 指定した場所にホスト名などのカラム追加するプラグイン 解説
embulk-filter-select_column 指定したカラムのみ出力するプラグイン
embulk-filter-row所定の条件に合致するローのみ抽出するプラグイン (使い方)
embulk-filter-rearrange 一行のデータを複数行に再構成するプラグイン
embulk-filter-kuromoji Java製形態素解析器 kuromojiを使ったfilterプラグイン
embulk-filter-expand_json JsonPath を使ってデータを抽出するプラグイン、 (利用例)
embulk-filter-flatten_json Jsonデータを平坦化するプラグイン。例えば{“address”:{“zip_code”:”123-4567″}}を{“address.zip_code”:”123-4567″}に平坦化する、 (利用例)
embulk-filter-join_file jsonなどで記述されたマスタデータを参照し、対応する値を生成するプラグイン。都道府県コードから都道府県名を生成する等 (利用例)
embulk-filter-stdout 標準出力にデータを出力するプラグイン
embulk-filter-json_key JSONのカラムに所定の値を追加したり、逆に削除したりするプラグイン、 (利用例)
embulk-filter-hash 任意の列をMD5やSHA-256等のアルゴリズムでハッシュ化するプラグイン [解説]、 [利用例] [アルゴリズム比較]
embulk-filter-split カラム内のデータを、指定した区切り文字で複数行に変換するためのプラグイン [利用例]
embulk-filter-unique カラムを指定して同じエントリをドロップするプラグイン(Ruby)
embulk-filter-distinct カラムを指定して同じエントリをドロップするプラグイン(Java)
embulk-filter-script Rubyのスクリプトを実行できるフィルタプラグイン
embulk-filter-to_json レコード全体を単一のJSON形式のデータ(文字列型・JSON型)に変換するフィルタプラグイン
embulk-filter-add_time 時刻のカラムを追加するプラグイン
embulk-filter-ruby_proc rubyのコードを実行できるプラグイン、[解説]
embulk-filter-encrypt カラムをAESで暗号化するプラグイン
embulk-filter-query_string http://…/?query_key=query_valのようなクエリ文字列を、カラムに分解するプラグイン
embulk-filter-url_encode URLエンコードするプラグイン
embulk-filter-to_csv CSV formatterのフィルタ版
embulk-filter-timestamp_hs JavaのSimpleDateFormatを使い高速に時刻をパースするプラグイン (解説)
embulk-filter-crawler 渡されたURLにクロールするフィルタプラグイン
embulk-filter-pherialize PHPでシリアライズされた文字列を展開するフィルタプラグイン
embulk-filter-timestamp_format 文字列で記述された、日付のフォーマットを別のフォーマットに変更するフィルタプラグイン
embulk-filter-typecast 別の型に変換するフィルタプラグイン
embulk-filter-split_column 一つのカラムを複数のカラムに再構成するプラグイン
embulk-filter-forcepoint_converter forcepointのためのフィルタプラグイン
embulk-filter-mysql MySQLを使ったフィルタプラグイン(カラムの値を使ってジョインをする)
embulk-filter-rename_with_gsub 正規表現でカラム名を一括修正するプラグイン
embulk-filter-script_ruby Rubyでかけるフィルタプラグイン
embulk-filter-jsoncolumn
embulk-filter-base58
base58エンコーディング・デコーディングをするプラグイン
embulk-filter-concat 二つの絡むを結合したカラムを作成するプラグイン (使い方)
embulk-filter-icu4j ひらがな・カタカナ変換や半角カナ・全角カナ変換などの文字列変換を行うプラグイン
embulk-filter-null_string “”や”\N”をNULLに変換するプラグイン
embulk-filter-calc 簡単な四則演算( (id + 10) * 200)やsin/等の関数で計算をすることができるプラグイン
embulk-filter-base64 Base64エンコード・デコードするプラグイン (解説 )
embulk-filter-reverse_geocoding 緯度経度（度分秒/世界測地系）から都道府県名、市区町村名、ジオハッシュ（5桁）を生成するフィルタープラグイン(日本のみ) (解説)
embulk-filter-google_translate_api Google翻訳APIを使って、テキストをソース言語からターゲット言語に翻訳するプラグイン
embulk-filter-google_natural_language_api Google Natural Language Apiを利用したフィルタプラグイン
embulk-filter-mask 値を*でマスクするプラグイン。JSON Pathにも対応 (解説)
embulk-filter-google_vision_api Google Cloud Vision APIを使ったフィルタプラグイン
embulk-filter-azure_computer_vision_api Microsoft Azure Computer Vision APIを利用したフィルタプラグイン
embulk-filter-azure_translator_api クラウドベースの翻訳機能Microsoft Translator テキスト APIを利用したフィルタプラグイン
embulk-filter-protobuf protobuf messageとJSONを相互変換できるフィルタプラグイン
embulk-filter-amazon_rekognition 深層学習に基づくイメージ認識サービスAmazon Rekognitionを利用するフィルタプラグイン
embulk-filter-azure_text_analytics Microsoft AzureのText Analytics を利用したプラグイン
embulk-filter-calcite Apache Calciteを使いSQLのようにフィルタを記述できるプラグイン
embulk-filter-affix データの型をみて、カラム名に接頭または接尾に所定の文字を追加するプラグイン (解説)
embulk-filter-unpivot(解説)
embulk-filter-copy filter plugin に渡ってきたデータを copy して、そのデータを input として別の embulk を実行する plugin (解説)
embulk-filter-json_csv2arrayofobjects JSONの中にあるCSVデータを配列オブジェクトに変換するプラグイン
embulk-filter-key_in_redis Redisに登録された一意なキーを参照し、重複レコードを除外するプラグイン。embulk-output-key_to_redisと組み合わせて利用する。
embulk-filter-json_key_joiner jsonカラムに所定の値を追加するプラグイン
embulk-filter-strip_html_tags 所定のカラムからHTMLのタグを除去するプラグイン
embulk-filter-gsub 文字列を正規表現を使って置き換えするプラグイン
embulk-filter-murmur2_partitioner KafkaのDefaultPartitionerと同じロジックでpartition番号を算出してカラムに付与するプラグイン
embulk-filter-expand_csv_array CSVカラムをもったレコードを展開するプラグイン
embulk-filter-decrypt 暗号化された文字列を復号するプラグイン
embulk-filter-convert_unicode_sequence_to_string Convert Unicode Sequence To String
embulk-filter-unnest JSONとして表現されるArrayをフラット化(展開)するプラグイン (解説)
embulk-filter-pseudo カラムを暗号化するプラグイン(だとおもう)
embulk-filter-capture
解析器插件
embulk-parser-pcapng WireSharkなどでパケットキャプチャをした際のPcapNg形式で保存されたファイルの読込みパーサプラグイン版
embulk-parser-xml XMLのデータをパースするプラグイン
embulk-parser-json JSONのデータをパースするプラグイン
embulk-parser-fluent-s3-log fluent-plugin-s3の出力ログをパースするプラグイン
embulk-parser-jsonl 1行につき１つのJSONというフォーマットを読み込むためのプラグイン 解説
embulk-parser-jdbc-schema-csv CSVパーサ拡張プラグイン 解説
embulk-parser-apache-log apache(NCSA)のcommonと、combinedログをパースするプラグイン (embulk-parser-apache-custom-logの方が高機能です)
embulk-parser-roo-excel Microsoft Excelのxlsx形式のファイルを読み込むプラグイン
embulk-parser-query-string クエリ文字列(key1=val1&key2=val2)の形式のデータをパースするプラグイン
embulk-parser-msgpack messagepackのデータをパースするプラグイン
embulk-parser-ltsv ltsvをパースするプラグイン
embulk-parser-regex 正規表現で行をparseするParser Plugin (解説)
embulk-parser-apache-custom-log apache(NCSA)のログをパースするプラグイン、カスタムフォーマットにも対応
embulk-parser-poi_excel Excel(xlsx形式だけでなく、xls形式のデータもパースできる)パーサープラグイン 使い方
embulk-parser-none なにもしないパーサープラグイン
embulk-parser-grok grokを利用した汎用的パーサープラグイン (解説)
embulk-parser-xpath XML/XHTMLをxpathでパースするプラグイン
embulk-parser-sisimai Sisimaiを利用してバウンスメールを解析するためのプラグイン
embulk-parser-fluentd_out_file fluentd out_file形式のデータをパースするプラグイン
embulk-parser-avro Apache Avro形式で保存されたデータをパースするプラグイン
embulk-parser-script_ruby パース部分をスクリプト言語Rubyで記述できるプラグイン
embulk-parser-xml2 巨大なXMLファイルを効率良くパースできるプラグイン (解説)
embulk-parser-jsonpath JSONPathを使ってJSON形式のデータをパースするプラグイン
embulk-parser-unpack 固定長データをパースするプラグイン
embulk-filter-expand_json_array JSONの[1,2,3]のようなカラムを複数の展開するプラグイン
embulk-parser-csv_with_default_value パースに失敗した際に、デフォルト値を設定できるCSVパーサプラグインの拡張
embulk-parser-apache_error_log Apacheのエラーログをパースするプラグイン
embulk-parser-fixed 固定長データをパースするプラグイン
embulk-parser-csv_guessable 実行時にguessをして動的にcolumnsを作成するプラグイン、頻繁にカラムが変る場合に便利 (解説)
embulk-parser-firebase_avro Google-BigqueryからAVRO形式で出力されたFirebaseのデータをパースするプラグイン
embulk-parser-joni_regexp fluentdで利用している正規表現ライブラリと互換性のあるOnigurumaを使った正規表現パーサープラグイン
embulk-parser-mysqldump_tab mysqldump で出力したtsvをパースするプラグイン
embulk-parser-xpath2 XMLをXPathで指定してパースするプラグイン(Scala)
embulk-parser-none-bin parser-noneのtextファイルじゃなくてバイナリとしてよみこんでbase64エンコードして後ろに流す？プラグイン GitLab
embulk-parser-twitter_ads_stats Twitter広告の統計情報データをパースするプラグイン
embulk-parser-csv_with_schema_file スキーマを指定できるCSVパーサプラグイン
embulk-parser-header_based_csv CSVをパースするとき、ファイルのヘッダー名とコンフィグファイルのカラム名が完全一致しているか調べるCSVパーサープラグイン拡張
embulk-parser-squid_clf_log Squidのログをパースするプラグイン
embulk-parser-variable_length_bytes マルチバイト文字を含むレコードをバイト長指定でparseするEmbulkプラグインを書いた。
embulk-parser-flexml 属性にxpathを利用できるXMLパーサプラグイン
格式化插件 (Geshì
embulk-formatter-jsonl レコードの内容をjsonl(1 json 1行)の形式に整形するプラグイン
embulk-formatter-poi_excel Excel(xls,xlsx)形式のデータに変換するプラグイン
embulk-formatter-markdown_table Markdownのテーブルフォーマットに整形するプラグイン
embulk-formatter-html_table HTMLのtable形式に整形するプラグイン
embulk-formatter-single_value フォーマットせずに単一のカラムだけ出力するプラグイン、embulk-parser-noneのフォーマッターバージョン
embulk-formatter-geojson geojson形式にフォーマットするプラグイン
embulk-formatter-sprintf sprintf(Java String#format)を使ってデータをフォーマットするプラグイン
embulk-formatter-avro データシリアライゼーションツールAvro形式のデータを出力するプラグイン
embulk-formatter-fast_jsonl レコードの内容をjsonl(1 json 1行)の形式に整形するプラグインの高速版
embulk-formatter-mysql_xml Embulk formatter plugin to output value for MySQL’s LOAD XML statement
解码器插件
embulk-decoder-commons-compress Apache Common Compress Decoderを使ってbz2,xz,zip,tarなどを展開するデコーダ 試しに使ってみた
embulk-decoder-lz4 lz4を伸張するデコーダ
embulk-decoder-remove_nonstandard_utf8_bytes 壊れたUTF-8エンコーディングの含まれる文字列を除去するデコーダ
embulk-decoder-lzo lzo圧縮を伸張するプラグイン
embulk-decoder-command コマンドを実行できるデコーダー
embulk-decoder-unzip
执行者插件
embulk-executor-mapreduce EmbulkのタスクをHadoop上で実行するためのプラグイン
编码器插件 qì
embulk-encoder-xz XZ形式でファイルを圧縮するためのプラグイン
embulk-encoder-commons-compress bzip2等でファイルを圧縮するためのプラグイン
embulk-encoder-encrypted_zip 暗号化zipファイルを作るデコーダ (解説)
embulk-encoder-pgp_encryption PGPG(GPG)の公開鍵使って暗号化ファイルを作るプラグイン (解説)
embulk-encoder-lz4 lz4形式でデータを圧縮するプラグイン
embulk-encoder-command コマンドを実行できるエンコーダー
embulk-encoder-zip zip暗号化をするプラグイン
CData 的附加内容 CData
- CDataとembulk-input-jdbcで利用できる入力先リスト
0.3.2之前的插件
请参考不同的插件版本(0.3.2)之前的内容。
其他
在Rubygems中搜索最新的Embulk包的方法。
Twitter上@rubygems的embulk列表
