Clik here to view.
Fluentdってなんじゃ？（設定ファイルをリモートから読み込む）
fluentdのドキュメントに以下のような記載がありました。Configuration File - (3) Include Directive# absolute pathinclude /path/to/config.conf# if using a relative path, the directive will use # the dirname of this config file...
View ArticleClik here to view.
Spiderってなんじゃ？（SUBPARTITIONで負荷分散しながらストレージ容量を無限追加）
Spiderシリーズです。Spiderではパーティションを使ってシャーディングしますが、パーティションの定義によって分散の特性が変わります。1. サロゲートキーなどのHASHパーティションデータは均等に分散更新負荷は均等に分散増設はデータ全体の再ハッシュが必要2. 日付の年月などのHASHパーティションデータは順次格納更新負荷は常に1データノードにのみかかる増設は新しい年月を追加3....
View ArticleClik here to view.
EBSってなんじゃ？（cryptsetup + S3 + IAM Roleでディスク暗号化鍵をS3で管理）
EBSの暗号化の方法のひとつとしてcryptsetupという技術があります。cryptsetupはパスフレーズで暗号化されたディスクにアクセス（マウント）しますが、今回は鍵ファイルを使用してアクセスする手順をまとめました。また、鍵ファイルを同じインスタンス内に置かないためにS3から鍵ファイルを取得し、マウントした後に削除するようにします。それでは手順を追ってみます。まずcryptsetupで/dev...
View ArticleClik here to view.
re:Inventってなんじゃ？（CloudTrail）
re:Invent2013に来ています。そこでCloudTrailの発表があったので触ってみました。CloudTrailは、AWSのAPIコールの記録をS3にログとして保存するサービスです。これによってセキュリティ分析や運用チェックなどを行うことが可能です。AWSコンソールをみるとCoudTrailが追加されているので、開いてみます。ログの保存先のS3バケットを指定して、必要であればその他のオプショ...
View ArticleClik here to view.
Kinesisってなんじゃ？（ストリーム作成編）
AWSの新サービスKinesisが限定プレビュー公開されています。私のところでも見れるようになったので、触ってみました。KinesisとはKinesisは大量なデータのリアルタイムイベント処理をサポートするサービスです。ユーザーは「ストリーム」を作り、そこにデータを流し、受け取り、処理を行います。データを流す、受け取る、処理を行う、という部分はユーザーがプログラムで実装します。Kinesisに接続す...
View ArticleClik here to view.
Kinesisってなんじゃ？（Java実装編）
前回からの続きです。このストリームをつかってイベント処理を行うアプリケーションを実装します。Kinesisを扱うには、現時点でJavaのSDKとKinesisのクライアントライブラリ(KCL)が利用可能です。今回のサンプルとなるシステムですが、以下のように定義してみました。Producerはユーザーの出発地点（0, 0）からの到達位置（x,...
View ArticleClik here to view.
CDPってなんじゃ？（Kinesisでstream chain）
この記事は「CDP Advent Calendar 2013」12/9用の記事です。 前回、前々回でKinesisを触りました。資料などみていく中で、ストリームの終端になりえるものに、Redshift, S3, EMR,...
View ArticleClik here to view.
AutoScalingってなんじゃ？（AutoScalingがAWSマネージメントコンソールで管理可能に！）
ついにAWSの管理コンソールからAutoScalingが管理可能になりました。早速触ってみます。EC2のコンソールの左ペインの最下部にAutoScaling（以下AS）の項目が追加されています。選択してみると、左側に概要が表示されるので、「Create Auto Scaling Group」をクリックします。Launch Configuration...
View ArticleSQSってなんじゃ？（supervisordでSQS）
いまさらですが、SQS＋supervisordです。supervisorはプログラムの起動監視と、自動起動/復帰などを行ってくれるツールです。これをつかってSQSの受信処理プログラムをワーカーとして管理してみます。受信テスト用のスクリプトを作成メッセージの受信は、一度に最大の10件まで、ポーリング20秒で受信したメッセージをログファイルに出力するようにします。また、今回はログの出力タイミングがわかり...
View ArticleClik here to view.
Vagrantってなんじゃ？
VagrantはVirtual Boxという仮想環境のコマンドインターフェースのようなものです。VirtualBoxをつかえば、手元に簡単にテスト環境を用意できます。VirtualBoxのインストールVirtualBoxをダウンロードしてインストールします。この時点のvagrantの最新がVirtualBox...
View ArticleClik here to view.
Chefってなんじゃ？
「男もすなるChefといふものを、女もしてみむとてするなり。」 −紀貫之ということで、いまさらすぎますがChefです。とっても有名な入門書「入門Chef Solo - Infrastructure as...
View ArticleClik here to view.
Splunkってなんじゃ？（IISのログをSplunkで解析）
久しぶりのsplunkです。WindowsのIISのアクセスログをsplunkで解析してみました。fluentdを使おうかと思いまいしたが、Windowsにfluentdを入れるのは大変なので、Splunk Universal...
View ArticleClik here to view.
Dockerってなんじゃ？
またまた今更ですが、Dockerを触ってみました。Dockerについてはこのスライドがこれ以上ないくらいに、わかりやすく説明してくれています。今回は、Docker内にCentOSを立ちあげて、SSH接続するまでをやってみます。Dockerのインストールと起動docker-ioだと少し古いので、epel-testing というリポジトリからインストールします。# yum install...
View ArticleClik here to view.
EMRってなんじゃ？（ImpalaでCloudfrontの爆速ログ集計）
EMRがImpalaをサポートするようになりました。ImpalaはClouderaが提供するオープンソースのクエリエンジンで、Hiveより断然速いそうです。例として、Cloudfrontのログを、タイムスタンプをJSTに直して１時間ごとのアクセス数の集計をしてみます。ログバケットの確認まずCloudFrontのログが以下のS3にたまっているとします。s3://memorycraft-impala-i...
View ArticleClik here to view.
Kibanaってなんじゃ？（kibana3 + elasticsearch + fluentd）
ずんぶん前にKibanaの記事を書きましたが、時がたちKibana3がとても感じがよいと巷で評判なので、再入門してみます。インデックスサーバー側準備インデックスサーバー側のポートは80,22の他に、fluent用に9200番ポートを開けておきます。また、インデックスは最終的に大きくなるので、容量の大きなストレージに入れておきます。# yum install xfsprogs httpd...
View ArticleClik here to view.
TreasureDataってなんじゃ？
Treasure Dataはデータの収集、保存、管理、処理、可視化などを行えるログ解析の基盤サービスで、fluentdを使ってデータを収集し、hadoopで解析を行います。自分も以前の記事で書きましたが、よくelasticsearch + kibanaや、splunkなどの部分がサービス化されているようなイメージです。Treasure...
View ArticleClik here to view.
Node.jsってなんじゃ?（gm:GraphicsMagickで画像合成）
今回はnode.jsを利用して、画像合成をしてみたいと思います。この手の画像生成にはImageMagickがよく使われますが、ImageMagickから派生したGraphicMagickがImageMagickよりもパフォーマンスが優れているのでこちらの方を利用します。node.js内からは、GraphicMagick/ImageMagickを使用できるgmというモジュールを利用します。今回node...
View ArticleClik here to view.
Dockerってなんじゃ？（Supervisorで複数のサービス起動）
Dockerネタです。前回の記事で、DockerでSSHサーバとして起動しましたが、通常いろいろなサービスを起動したコンテナを使うことの方が多いと思います。Dockerでは起動時に1つのCMDしか指定できないようで、前回のやり方では1つのサービスしか起動できません。 このような場合は、Supervisorを利用するといいようです。...
View ArticleClik here to view.
Dockerってなんじゃ？（Dockerfileでビルド）
DockerにはDockerfileというものがあります。docker buildを行うと、指定したパスからDockerfileを探し、コンテナを新規作成し記述されたステップを実行した後、コミットをしてコンテナイメージの作成までを自動で行います。たとえば$ docker build -t hoge/moge...
View ArticleClik here to view.
Dockerってなんじゃ？（Docker Index レジストリ）
いままでのDockerの記事にも登場してきましたが、Dockerにはリポジトリという概念があります。A repository is a hosted collection of tagged images that together create the file system for a container. The repository’s name is a tag that...
View ArticleClik here to view.
Dockerってなんじゃ？（プライベートレジストリ）
前回の記事で、Docker Indexというパブリックレジストリについて書きましたが、プライベートなレジストリを作ることも出来ます。それによって社外に出したくない資産などを管理することが出来ます。Docker...
View ArticleClik here to view.
Dockerってなんじゃ？（S3プライベートレジストリ）
前回に引き続き、プライベートレジストリです。前回の方法では、レジストリのコンテナを載せたサーバー自体が落ちてしまったときに登録されたコンテナイメージが全てなくなってしまいます。dockerのregistryコンテナには、設定ファイルが存在し、永続化のオプションとしてバックエンドにS3を使うことができます。それでは早速試してみます。レジストリ側の設定レジストリのコンテナをbashで起動します。$...
View ArticleClik here to view.
Dockerってなんじゃ？（docker+nginxで複数コンテナにWEBサーバーをたてる）
dockerを使って複数のWEBサーバーを立ててみたいと思います。複数の外部ポートを使うため、プロキシとしてnginxと併用してみます。今回は２つのWEBサーバーのコンテナを立て、１つにはwordpress on...
View ArticleClik here to view.
TreasureDataってなんじゃ？（Googleスプレッドシートで簡易ダッシュボード）
前回、TrasureDataでデータのロードとクエリの実行を行いましたが、今回は結果をTreasureDataの外に出してみます。まず、Google Spreadsheetで空のスプレッドシートを作成します。名前は適当に、「TreasureDataTest」シートは「dashboard1」と名づけます。また、Googleでパスワードに2段階認証を掛けている場合、TreasureDataがGoogle...
View ArticleClik here to view.
ELBってなんじゃ？（アクセスログがやってきた）
ELBにアクセスログ機能が搭載されたので、試してみました。まず、AWSコンソールのELBのの画面をみてみますが、ここで、古いバージョンのコンソールだとアクセスログの設定ができないので、ヘッダ上部のお知らせアイコンから新しいバージョンに切り替えます。任意のELBを選択して、下部ペインのDescriptionタブの最下段に、「Access...
View Article
