Amazon Athenaを使ってみる
Amazon S3に保管したログなどをSQLで解析できるというAmazon Athenaを触ってみました。 コマンドラインからだと結果が見づらいようなのでマネジメントコンソールから見てみます。
今回は事前に手持ちのIISログをS3バケットに放り込んでいます。 また、IISログについては値の区切りが半角スペースなので、Athenaで使いやすいようにタブ区切りに変更してあります。
データベースの設定
Athenaで使用するデータベースの設定を行います。データベース名とテーブル名、Athenaで参照するS3のバケットを指定します。Athenaで対象バケットを指定する際、S3のパスは「S3://{バケット名}/{フォルダ名}」になりますが、 パスの最後に必ず「/」を記述していないとエラーになるようです。
ファイル形式の指定
対象となるIISログはタブ区切りにしておいたのでTSV形式を選択しました。
カラムの設定
カラムのデータ型を指定します。 IISログで出力した項目別に列を設定しました。 キャプチャ上はString型になっていますが、 間違って2項目目にtimestamp型を指定してしまったため、 のちのクエリの実行結果でデータが出力されませんでした。
パーティション
パーティションの設定はスキップしました。 データ量が膨大になるとこの設定も必要になりそうです。
テーブル作成
テーブル作成クエリが表示されているのでRun Queryで実行します。 クエリの実行結果が正常であれば、 Athenaに指定したS3バケットのデータを対象としたテーブルが作成されます。 キャプチャはiisデータベースにw3svc1テーブルが作成された状態になります。
クエリの実行
試しにクエリを実行してみました。 ログ行は区切りごとに列として表現されていますが、不要なIISログヘッダまで対象データとして判定されているので、 対象ファイルをバケットに登録する以前に、不要な行はそもそもログとして出力しない方が良さそうです。 また、キャプチャの5レコード目以降がログの有効行になるのですが、time項目をtimestamp型にしてしまっているので型が合わず空欄で出力されています。
実行結果ログ
Athenaにデータベースを作成した時点で、S3にAthena実行結果用バケットが自動的に作成され、クエリの実行結果がCSV形式で保管されるようになります。 誤ってこのバケットを削除してしまった場合、コンソール上ではエラーが出力され続けるので、 削除してしまった場合は指定された名称でバケットを作成し直すか、保存先のバケットをコンソール右上のSettingsから指定する必要があります。
使ってみた感想・メモ
- 定期的に実行する必要のあるクエリはビューの感覚でSaved Queryで保存しておけるので便利。
- 列数が合わない行も左詰めで対象行となる。(IISログで言うとヘッダ行)
- 条件にヒットした行は出力対象となるが、列に指定したデータの型が合わない結果は空欄で表現される。
- 実行結果がS3の指定バケットに貯まり続ける。
- DDLリクエストは課金対象とならない。
- 列指定するとデータスキャン量が減るので1リクエストあたりの課金が抑えられる。
- 生のファイルサイズが大きい場合はデータを圧縮することで課金が抑えられる場合がある。
- 500KB弱のログファイルに対してクエリを実行し続けたけど、請求エクスプローラ上ではほぼ0円。
- 本来の使い方ではない気はするけど、今後はDB立てるまでもないデータをSQLで操作したいときに使っていきたい。
Amazon Web Services実践入門 (WEB+DB PRESS plus)
- 作者: 舘岡守,今井智明,永淵恭子,間瀬哲也,三浦悟,柳瀬任章
- 出版社/メーカー: 技術評論社
- 発売日: 2015/11/10
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (1件) を見る
AWSエキスパート養成読本[Amazon Web Servicesに最適化されたアーキテクチャを手に入れる! ] (Software Design plus)
- 作者: 吉田真吾,今井智明,大瀧隆太,松井基勝,冨永善視,藤原吉規,大栗宗
- 出版社/メーカー: 技術評論社
- 発売日: 2016/02/26
- メディア: 大型本
- この商品を含むブログを見る
AWS Lambdaでタイムアウトを発生させてみる
AWS Lambdaで関数実行中にタイムアウトするとどうなるのか見たことが無かったのでためしにやってみました。
Lambdaで空の関数を作成し、ランタイムにPython3.6を選択したときに作成されるコードをsleepで10秒止めてみます。
import time def lambda_handler(event, context): time.sleep(10) return 'Hello from Lambda'
テスト実行するだけなのでLambdaの設定はデフォルトのままにしました。 タイムアウトの時間はデフォルトで3秒なので、関数がsleepで止まっている間にLambdaが処理を終了させるはずです。
テストしてみたところ実行結果にタイムアウトのエラーメッセージが出力されました。
{ "errorMessage": "2017-09-05T02:03:28.155Z xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx Task timed out after 3.00 seconds" }
ついでなので、CloudWatchのアラームでLambdaの実行エラー時にSNSが送信されるように設定*1しました。
アラーム作成後にLambda関数をテスト実行すると、アラームの状態がデータ不足からアラームに変わります。
同時に、アクションに設定していたSNSトピックの送信先メールアドレスにメッセージが送信されます。
Amazon Web Services実践入門 (WEB+DB PRESS plus)
- 作者: 舘岡守,今井智明,永淵恭子,間瀬哲也,三浦悟,柳瀬任章
- 出版社/メーカー: 技術評論社
- 発売日: 2015/11/10
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (1件) を見る
AWSエキスパート養成読本[Amazon Web Servicesに最適化されたアーキテクチャを手に入れる! ] (Software Design plus)
- 作者: 吉田真吾,今井智明,大瀧隆太,松井基勝,冨永善視,藤原吉規,大栗宗
- 出版社/メーカー: 技術評論社
- 発売日: 2016/02/26
- メディア: 大型本
- この商品を含むブログを見る
GitリポジトリにAWS CodeCommitを使用する
AWS CodeCommitを使用できるようになるまでの手順。
IAM(Identity and Access Management)の設定
グループの作成
IAM(Identity and Access Management)のダッシュボードから[グループ]を選択する。
[新しいグループの作成]を選択する。
グループ名を入力し[次のステップ]を選択する。
グループにアタッチするポリシーの一覧が表示されるのでCodeCommitポリシーのいずれかをアタッチし[次のステップ]を選択する。 CodeCommitポリシーについては以下の3つから選択する。今回はリポジトリに変更を加えるのでAWSCodeCommitPowerUserをアタッチした。
ポリシー | アクション |
---|---|
AWSCodeCommitFullAccess | CodeCommitのすべてのアクションを実行可能。 |
AWSCodeCommitPowerUser | リポジトリの削除以外のアクションを実行可能。 |
AWSCodeCommitReadOnly | リポジトリのプルのみ可能で内容を変更できない。 |
- 確認で表示される内容で問題がなければ[グループの作成]を選択する。
ユーザーの作成
IAM(Identity and Access Management)のダッシュボードから[ユーザー]を選択する。
ユーザー名を入力する。AWSアクセスの種類は[プログラムによるアクセス]を選択し[次のステップ:アクセス権限]を選択する。マネジメントコンソールへのアクセスが必要であれば[AWSマネージメントコンソールへのアクセス]も選択しておく。
ユーザーのアクセス権限を設定する。作成しておいたグループを選択し[次のステップ:確認]を選択する。
確認で表示される内容で問題がなければ[ユーザーの作成]を選択する。
作成したユーザーのアクセスキーIDとシークレットアクセスキーはGitリポジトリへのアクセスの際必要になるので控えておく。念のため[.csvのダウンロード]でアクセスキーが記載されたCSVファイルもダウンロードしておく。
CodeCommitの設定
リポジトリの作成
アクセス確認
- HTTPSでリポジトリに接続する。リポジトリ作成後に接続方法が表示されるので接続タイプに[HTTPS]、オペレーティングシステムに任意のOSを選択する。 リポジトリクローンを作成するステップに表示されるGitコマンドを実行後、リポジトリURLを指定してクローンを実行する。このとき、アクセスキーIDとシークレットアクセスキーの入力を要求される*1ので、ユーザー作成後に表示されていたアクセスキーを入力するとクローンが実行される。あとは通常のGitリポジトリと同様の手順で操作できる。
使ってみて
非公開リポジトリを使用したかったのでCodeCommitを利用してみたけど、 思うほど設定が面倒でなかったし、5人までで利用するぶんには無料枠内で運用できる*2ので、AWSユーザーでプライベートリポジトリを運用したい人には便利で良いサービスだと思う。
AWS CodeCommit
Amazon Web Services実践入門 (WEB+DB PRESS plus)
- 作者: 舘岡守,今井智明,永淵恭子,間瀬哲也,三浦悟,柳瀬任章
- 出版社/メーカー: 技術評論社
- 発売日: 2015/11/10
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (1件) を見る
AWSエキスパート養成読本[Amazon Web Servicesに最適化されたアーキテクチャを手に入れる! ] (Software Design plus)
- 作者: 吉田真吾,今井智明,大瀧隆太,松井基勝,冨永善視,藤原吉規,大栗宗
- 出版社/メーカー: 技術評論社
- 発売日: 2016/02/26
- メディア: 大型本
- この商品を含むブログを見る