Redisに、MIDをKeyに含めて、下記のようなHashを一定時間のExpireでSetしておく。
isBlockedをチェックしtrueなら遮断
リクエスト元IPアドレスがipAddressと異なる場合、新たなIPアドレスをipAddressをSetしてaddressChangedCountをIncrement
addressChangedCountが一定数を超えたらisBlockedをtrueにしてExpireを延長しておく

{
  "ipAddress": "192.168.1.1",
  "addressChangedCount": 0,
  "isBlocked": false
}

現状、whitelistチェックのためにデータストアへアクセスしているならば、処理コストをあまり増やさずにBOT開発者の利便性を向上させることができると思います。

ちなみにサンプルで作成した構成は下記の通りで

Azure Functionでメッセージを収集しAzure Storage Queueへストア
Azure WebJobでAzure Storage Queueをデキューして返信メッセージを生成しSending messages APIへPOST

この構成だと返信ジョブが失敗した場合に、一定回数のリトライも、リトライに失敗した場合のデータの保存もWebJob SDKが面倒見てくれます。*4

PaaSだと面白いBOTを思いついたら手軽に試せてスケールもしやすいので、LINE Bot APIの開発者の方にはServer whitelistの撤廃を検討頂けるとありがたいです。*5

*1:Callback URLをリクエストしてもらうのはServer whitelistの設定不要

*2:「Azure Web AppsはグローバルIPアドレスを固定にすることは可能ですか？」とMicrosoftに問い合わせてみたところ「まだその機能がありません。将来的にも組み込まれるかどうかもわからないようです。」とのこと

*3:弊社のゲームではBOT検出&遮断アルゴリズムの1つにリクエスト元IPアドレスを使ったものを実装している

*4:queueのアイテム名に「-poison」を付けて別queueに保存される

*5:トライアル版だからServer whitelistがあっただけだったなら杞憂

2016-02-24

LINQ to BigQueryを使ってSankey Diagram（サンキーダイアグラム）を作成しよう

LINQ to BigQueryとは？

BigQueryをLINQで扱えるようにするためのライブラリです。

github.com

どうやってBigQueryにデータを入れるの？

Sankey Diagramに必要な形式のデータを作成してBigQueryへ保存するためのOwinMiddleware

gist.github.com *1

StartActionに宣言したRequest.Pathへアクセスされるとログ採取スタート。 LoggingSpanに宣言した期間離脱するとキャッシュが無くなって採取おわり。期間内にアクセスするとIndexを増やしながらFromPathとToPathをBigQueryへログ出力していく。

BigQueryに入れたデータをどうやって可視化するの？

LINQ to BigQueryのLINQ登場

gist.github.com *2

スキャン対象となるデータ量を抑えるために、BigQueryのテーブル名にはyyyyMMを付与しています。

Viewから呼び出し

gist.github.com *3

~~サンプルコードではutil.getJSONがAPI呼び出しをしていますが、その奥にあるのはjQueryのajaxメソッドです。~~

jQueryのajaxメソッドを呼び出すようにサンプルコードを修正しました。

完成！

f:id:master-0717:20160224215832p:plain

色々とAPIのパスが見えているので画像はぼやけさせていますが、Sankey Diagram（サンキーダイアグラム）感は、感じて頂けるのではないでしょうか。

改善

今回のサンプルコードでは、OwinContextにログインユーザーのIDしか入っていないパターンだったので、期間とステップ数でしか対象者を絞れませんでした。他にもユーザーの属性（例えばゲームならレベルとか）をBigQueryへ保存し閲覧する時に絞り込めれば、目的に合わせて分析できてなお良いのではないでしょうか。

*1: 公開用に改変しているのでこのままでは動作しません、他のサンプルコードも同様。 GitHub - neuecc/CloudStructures: Redis Client based on StackExchange.Redis. をカスタマイズして GitHub - cloud9-plus/CloudStructures: Redis Client based on StackExchange.Redis. 使ってます。

*2:GitHub - filipw/AspNetWebApi-OutputCache: ASP.NET Web API CacheOutput - library to allow you to cache the output of ApiControllers を使ってます。

*3:Sankey Diagram | Charts | Google Developers を使ってます。

451 Unavailable For Legal Reasons

とあるゲームエンジニアのブログです

ISUCON6予選問題の実装やベンチマーカーが公開されたので.NET Core実装追加してみた

C#縛りでLT大会 & Meetup@bitFlyerで話してきた

イベントページ

資料

振り返り

Japan Azure User Group (JAZUG) 6周年で話してきた