google app engine for java (手嶋屋勉強会)

GoogleApp Engine

for Java

～バレンタインまでに最速で彼女をつくる方法～手嶋屋　深町英太郎

•最近Clojureを始めました


•ClojureはJavaVMで動く大変クールなLisp



•ただ動くサーバがない




•「それAppEngineで動くよ」




•「それAppEngineで動くよ」

•えっ

•Google App Engine始めました


•Google App Engineとは



•Googleが提供するWeb Application Platform




•略してGAE




•略してGAE

•読み方はがえ

Google App Engine

• Webアプリケーションを公開できる

Google App Engine


•無料で (500万PV/月、容量500MBまで)

Google App Engine



• PythonとJavaのみをサポート

Google App Engine




•もしくはJVMの言語、JRuby, Clojure, Scala, Groovy, Rhino,

Quercus...

Google App Engine




•もしくはJVMの言語、JRuby, Clojure, Scala, Groovy, Rhino,

Quercus...

• http://en.wikipedia.org/wiki/List_of_JVM_languages

Google App Engine

http://en.wikipedia.org/wiki/List_of_JVM_languages

http://en.wikipedia.org/wiki/List_of_JVM_languages

何を作る？

•何か作ろうと思う

何を作る？


•カヤックの外村さんのブログを読むなど

何を作る？


•カヤックの外村さんのブログを読むなど

•「そうだ、彼女をつくろう」

何を作る？

だけど...

だけど...

•せっかくだから手嶋屋で使えるものがいいよね

だけど...


•手嶋屋で使えるもの...

だけど...



•手嶋屋っぽいもの...

だけど...




•手嶋屋と言えば...

だけど...




•手嶋屋と言えば...

•手嶋屋と言えば、國忠さんだよね

そうだ、國忠さんをつくろう

國忠さんとは

國忠さんとは•誰もが知る最速道を極める者


•最速道とは


•最速道とは

•抜く


•最速道とは

•抜く

•斬る


•最速道とは

•抜く

•斬る

•納める


•最速道とは

•抜く

•斬る

•納める

•モテる

最速道はリア充に通ず。

@kunitada_bot

@kunitada_bot

•抜く : 手嶋屋のツイートからランダムに選ぶ

@kunitada_bot


•斬る : 最速化(kunitadize)する

@kunitada_bot



•納める : 結果をツイートする

@kunitada_bot



•納める : 結果をツイートする

•モテる : フォロワーが増える

準備

準備

•今回はJRubyを使うことに

準備


• RubyGems (v1.3.5) をインストールする

準備



• sudo gem install google-appengine

準備




• mkdir kunitada-bot

準備




• mkdir kunitada-bot

• cd kunitada-bot

準備

準備

• vi Gemfile

準備

• vi Gemfile

• vi config.ru

準備

• vi Gemfile

• vi config.ru

• vi main.rb

準備

• vi Gemfile

• vi config.ru

• vi main.rb

• appcfg.rb bundle .

準備

• vi Gemfile

• vi config.ru

• vi main.rb

• appcfg.rb bundle .

• JRubyやSinatraなどのGemモジュールなどを自動でDL

して同梱してくれる

構造把握

構造把握

• GAE/Jではスクリプトを直接叩けない

構造把握


• URLでアプリケーションの区別を行う

構造把握



• Sinatraを使って最速で記述

構造把握



• Sinatraを使って最速で記述

require 'rubygems'require 'sinatra'

get '/' do 'Hello World!!'end

get ‘/kunitadize’ do # 処理を記述end

(main.rb)

抜く

Twitter APIでTL取得


• GAE/Jで他のWeb上のリソースにアクセスするには



• URL Fetch APIを使う




• res = AppEngine::URLFetch.fetch(url, params)





• tweets = JSON.parse(res)





• tweets = JSON.parse(res)

• tweets.shuffle.shift

斬る

kunitadizeする

kunitadizeする

•ツイートの適切な位置に「最速で」を追加する

kunitadizeする


• Yahoo!係り受け解析で形態素解析して判定

kunitadizeする



•全裸botのソースコードを参考にして、

kunitadizeする



•全裸botのソースコードを参考にして、

•全裸botとの完全互換を実現 (@sugyan++)

納める

Twitterにツイートする


• URL Fetch APIでTwitterのUpdate APIを最速で叩く



•以上。



•以上。

• $ dev_appserver.rb .



•以上。

• $ dev_appserver.rb .

• http://localhost:8080/kunitadize にアクセス

http://localhost:8080

http://localhost:8080

定期的に実行

定期的にkunitadizeする


•一定時間ごとにkunitadize

するには？



するには？

• GAEではちょっと変わったCronが使える



するには？


• WEB-INF/cron.xmlに記述



するには？


• WEB-INF/cron.xmlに記述

(WEB-INF/cron.xml)<?xml version="1.0" encoding="UTF-8"?>

<cronentries> <cron> <url>/kunitadize</url> <description>kunitadize a random tweet</description> <schedule>every 30 minutes</schedule> </cron></cronentries>

公開

アプリを公開する


•あらかじめGAEの開発者登録をしておく



•アプリケーション登録をする




• $ appcfg.rb update .





•初回はE-mailアドレスとパスワードを聞かれる





•初回はE-mailアドレスとパスワードを聞かれる

• https://appengine.google.com/ にアクセスして確認

https://appengine.google.com

https://appengine.google.com

AppEngine API

AppEngine API

• Datastore

AppEngine API

• Datastore

• Memcache

AppEngine API

• Datastore

• Memcache

• URL Fetch

AppEngine API

• Datastore

• Memcache

• URL Fetch

• Mail (送受信)

AppEngine API

• Datastore

• Memcache

• URL Fetch


• XMPP通信

AppEngine API

• Datastore

• Memcache

• URL Fetch


• XMPP通信

• Image

AppEngine API

• Datastore

• Memcache

• URL Fetch


• XMPP通信

• Image

• Google Account認証

AppEngine API

• Datastore

• Memcache

• URL Fetch


• XMPP通信

• Image


• Task Queue

AppEngine API

• Datastore

• Memcache

• URL Fetch


• XMPP通信

• Image


• Task Queue

• Cron

AppEngineの制約

AppEngineの制約

•ローカルへのファイル保存

AppEngineの制約


•ソフトウェアのインストール

AppEngineの制約



• ffmpegとかFlash Compiler入れて動画サイトとかは無理

AppEngineの制約




•アプリ間でDatastoreの共有はできない

AppEngineの制約




•アプリ間でDatastoreの共有はできない

• frontendとbackendでアプリ分割が不可能

AppEngineの制約

AppEngineの制約

• 30秒以上の実行はkillされる

AppEngineの制約


• JRuby on Rails + ActiveRecordは難しい

AppEngineの制約


• JRuby on Rails + ActiveRecordは難しい

• Sinatra + DataMapperで我慢

AppEngineの制約

AppEngineの制約

•一定時間アクセスがないとメモリキャッシュから消える

AppEngineの制約


•アクセスが遅くなる

AppEngineの制約



•定期的にcronでURLを叩くなどのハックが必要

AppEngineの制約



•定期的にcronでURLを叩くなどのハックが必要

• RDBMSが使えない (代わりにDatastore)

Datastore

Datastoreとは

Datastoreとは

•非リレーショナルなDB

Datastoreとは


• Table、Columnの概念がない

Datastoreとは



•レコードはEntityと呼ばれ、kindとpropertyの値を持つ

Datastoreとは




• kind ⇒ テーブル？

Datastoreとは




• kind ⇒ テーブル？

• property ⇒ カラム？

Datastoreの特徴

Datastoreの特徴

•呼び方が違うだけじゃないの？

Datastoreの特徴


•同じkindでも違うpropertyを持つことができる

Datastoreの特徴



• 1つのpropertyに複数の値を持つことができる

Datastoreの特徴



• 1つのpropertyに複数の値を持つことができる

•⇒ “スキーマレス

Datastoreの検索

Datastoreの検索

• DatastoreはKey-Value-Storeである

Datastoreの検索


•各EntityはユニークなKeyを持つ

Datastoreの検索



•そのKeyで検索するので無駄な走査がない

Datastoreの検索




•アクセス速度はEntity数に依存しない

Datastoreの検索




•アクセス速度はEntity数に依存しない

•最速。

Datastoreの困った所


• JavaのDatastore APIか、GQLでアクセス



•制約が多くて面倒




• DataMapperを使えば自由にアクセス & 永続化




• DataMapperを使えば自由にアクセス & 永続化

•あんまり問題ない？

参考

• http://tech.kayac.com/archive/gae-jruby-twitter-bot.html

• http://code.google.com/p/appengine-jruby/

• http://d.hatena.ne.jp/shibason/20091018/1255866012

•書籍 : Programming Google App Engine

http://tech.kayac.com/archive/gae-jruby-twitter-bot.html

http://tech.kayac.com/archive/gae-jruby-twitter-bot.html

http://code.google.com/p/appengine-jruby/

http://code.google.com/p/appengine-jruby/

http://d.hatena.ne.jp/shibason/20091018/1255866012

http://d.hatena.ne.jp/shibason/20091018/1255866012

google app engine for java (手嶋屋勉強会)

Technology

datastore datastore

google app engine web

programming google app

google app enginefor

yahoo bot bot

clojure clojure javavm

gaej url sinatra

jruby rubygems v1