2015年Azure中的SaaS展示了云技术的趋势
总览:通过微软Azure产品推出的行动,调查2015年的技术趋势。根据Gartner 2014的报告,大数据成为失去市场份额的词汇,而物联网的期望值在增长。因此,预计机器智能的利用也将不断发展。
总结
-
- 巨大企業からの技術公開により、近年の大量データの集計、統合、利用のプラットフォームがオープンになりつつある
- 人間の「知能」に相当するものを機械に置き換えることで高い付加価値を提供している(e.g., Prediction API, Azure ML, Pepper, Watson)
在Azure社群活动(GoAzure 2015)中的演讲记录(共23个会议中的2个会议)。
通过物联网,使用实时数据分析来处理大量数据。
-
- IoT大量データをStream Analyticsでリアルタイムデータ分析
- Hidemasa Togashi (Capy Inc.)
鼠鼠
- puzzle captcha
物联网市场规模
- market size: 15T USD in 2034 ~ GDP of USA 2013
技巧
-
- Batch
-
- Interactive/MPP
Amazon Redshift
Apache Spark
Big Query
Realtime
Storm
Norikra
EsperTech
Amazon Kinesis
Azure Stream Analytics
大量的输入
-
- 受信
-
- 送信
- 処理
同类产品
-
- Storm
-
- EsperTech
- Apache Kafka
实时
-
- Norikra
- fluentd
独创协议
-
- Kinesis applications
- Amazon Kinesis
事件中心(Azure)
- Azure Event Hubs
Azure Event Hubs类似于Kafka。
-
- HTTP(S) (supported)
-
- MQTT
-
- CoAP
-
- AMQP(S) (supported)
- SQL
窗口化 huà)
三种类别适配
-
- tumbling
-
- hopping
- sliding
使用案例
- 不正アクセスの検出
陷入的问题
-
- Event Hubsのイベントをsubscribeできない
Qpid-Protonを使用した
ConsumerGroupとPartitionの指定が必要だった
AMQPのDirect Connectを使うとPartitionの考慮が必要だったので、使うの止めて、WindowsでEventProcessorHostを使うことにした
Stream AnalyticsからのJSONデータがデコードできない
JSON出力がmalformなので、手元で修正して利用している
题目。
以下の設定を変更するにはStream Analyticsの再起動が必要
Inputs (Blob)
Output
Query
Scale
キャパシティのメトリックスが分かりにくい
in/out events, data conversion errors, out of order eventsしか取れない
event subは事実上EventProcessorHost以外で使えない(使いにくい)
展望 – Looking ahead
-
- IoTのトレンドは伸びていく
20年前のInternetのよう
用 Azure ML 进行机器学习
-
- Azure MLで機械学習をやってみよう
- Ryuichi Tokugami (aucfan)
大数据应用
-
- Organize (何が起こった)
-
- Analysis (何で起こった)
-
- Monitoring (何が起きている)
- Prediction (何が起こる?)
预测需要进行复杂的工作
-
- predictionは過去のデータが必要
- 時間の差以上に価値の差が広がる
自2014年以来的产品发货
-
- IBM Watson
-
- Azure ML
-
- Google
- SB Pepper
机器学习和人工智能不同。
人工智能 zhì
-
- 強いAI (strong AI)
知能そのもの
弱いAI (weak AI)
知能の代替ができるもの
Azure ML (蓝色机器学习平台)
-
- ブラウザでできる
-
- D&Dで簡単に
-
- HW/SW不要
- 世界で一番簡単
可以做的事情
-
- 2値の分類
-
- 複数値の分類
-
- 回帰を使った予測
-
- 複数の基準を持った、並び替え(レコメンドエンジン)
- クラスタリング
概念的理解
-
- もっとも大きな論理単位はWORKSPACE
-
- EXPERIMENTというモデル
-
- WORKSPACEごとにDATASETというデータを追加
-
- DATASET共有可
- ML Studioでモデルを作成
模块
- 上からinput、下からoutput
请示范
-
- スキー用品の価格予測
-
- 取引件数
-
- 流通総額
- 平均価格
价格
- 8 JPY/h for preview (安い)