2015年Azure中的SaaS展示了云技术的趋势

总览:通过微软Azure产品推出的行动,调查2015年的技术趋势。根据Gartner 2014的报告,大数据成为失去市场份额的词汇,而物联网的期望值在增长。因此,预计机器智能的利用也将不断发展。

总结

    • 巨大企業からの技術公開により、近年の大量データの集計、統合、利用のプラットフォームがオープンになりつつある

 

    人間の「知能」に相当するものを機械に置き換えることで高い付加価値を提供している(e.g., Prediction API, Azure ML, Pepper, Watson)

在Azure社群活动(GoAzure 2015)中的演讲记录(共23个会议中的2个会议)。

通过物联网,使用实时数据分析来处理大量数据。

    • IoT大量データをStream Analyticsでリアルタイムデータ分析

 

    Hidemasa Togashi (Capy Inc.)

鼠鼠

    puzzle captcha

物联网市场规模

    market size: 15T USD in 2034 ~ GDP of USA 2013

技巧

    • Batch

 

    • Interactive/MPP

Amazon Redshift
Apache Spark
Big Query

Realtime

Storm
Norikra
EsperTech
Amazon Kinesis
Azure Stream Analytics

大量的输入

    • 受信

 

    • 送信

 

    処理

同类产品

    • Storm

 

    • EsperTech

 

    Apache Kafka

实时

    • Norikra

 

    fluentd

独创协议

    • Kinesis applications

 

    Amazon Kinesis

事件中心(Azure)

    Azure Event Hubs

Azure Event Hubs类似于Kafka。

    • HTTP(S) (supported)

 

    • MQTT

 

    • CoAP

 

    • AMQP(S) (supported)

 

    SQL

窗口化 huà)

三种类别适配

    • tumbling

 

    • hopping

 

    sliding

使用案例

    不正アクセスの検出

陷入的问题

    • Event Hubsのイベントをsubscribeできない

Qpid-Protonを使用した
ConsumerGroupとPartitionの指定が必要だった
AMQPのDirect Connectを使うとPartitionの考慮が必要だったので、使うの止めて、WindowsでEventProcessorHostを使うことにした

Stream AnalyticsからのJSONデータがデコードできない

JSON出力がmalformなので、手元で修正して利用している

题目。

以下の設定を変更するにはStream Analyticsの再起動が必要

Inputs (Blob)
Output
Query
Scale

キャパシティのメトリックスが分かりにくい

in/out events, data conversion errors, out of order eventsしか取れない

event subは事実上EventProcessorHost以外で使えない(使いにくい)

展望 – Looking ahead

    • IoTのトレンドは伸びていく

20年前のInternetのよう


用 Azure ML 进行机器学习

    • Azure MLで機械学習をやってみよう

 

    Ryuichi Tokugami (aucfan)

大数据应用

    • Organize (何が起こった)

 

    • Analysis (何で起こった)

 

    • Monitoring (何が起きている)

 

    Prediction (何が起こる?)

预测需要进行复杂的工作

    • predictionは過去のデータが必要

 

    時間の差以上に価値の差が広がる

自2014年以来的产品发货

    • IBM Watson

 

    • Azure ML

 

    • Google

 

    SB Pepper

机器学习和人工智能不同。

人工智能 zhì

    • 強いAI (strong AI)

知能そのもの

弱いAI (weak AI)

知能の代替ができるもの

Azure ML (蓝色机器学习平台)

    • ブラウザでできる

 

    • D&Dで簡単に

 

    • HW/SW不要

 

    世界で一番簡単

可以做的事情

    • 2値の分類

 

    • 複数値の分類

 

    • 回帰を使った予測

 

    • 複数の基準を持った、並び替え(レコメンドエンジン)

 

    クラスタリング

概念的理解

    • もっとも大きな論理単位はWORKSPACE

 

    • EXPERIMENTというモデル

 

    • WORKSPACEごとにDATASETというデータを追加

 

    • DATASET共有可

 

    ML Studioでモデルを作成

模块

    上からinput、下からoutput

请示范

    • スキー用品の価格予測

 

    • 取引件数

 

    • 流通総額

 

    平均価格

价格

    8 JPY/h for preview (安い)
广告
将在 10 秒后关闭
bannerAds