qaエンジニアを通じて弊社の開発環境がより良くなる日〜 openstf 編〜

Copyright © GREE, Inc. All Rights Reserved.

QA エンジニアを通じて弊社の開発環境がより良くなる日

〜 OpenSTF 編〜2015/10/16( 金 )

エンジニア佐藤将高


今日は　 QA エンジニア　 OpenSTFについて話します！


佐藤将高 (@ma3tk) 出身 : 福島県福島市誕生 : 1987 年 2 月生まれ 28 歳 ( 入社 3 年目若手 ) ニックネーム : まさたん

俺 is 誰

略歴 2012 年 6 月グリー株式会社内定者アルバイト / ドリランドチーム 2013 年 3 月東京大学大学院情報理工学研究科卒業 2013 年 4 月グリー株式会社入社 / SNS チーム / フロントエンドエンジニア 2014 年 2 月 AIP チーム / フルスタックエンジニア的な 2015 年 2 月 QA&LQA チーム / QA エンジニア興味あること TypeScript 、 JavaScript 、 UI/UX トレーニング、カラオケ、ボルダリング、ドライブ


まず 1 つ目


1. QA エンジニア　　　　　　　 is 　　　　　　　何


ぼくらが考える QA エンジニアとは、プロダクト開発の生産性と品質向上に対し技術面から貢献する職業


具体的にどういうこと？


うちの部では、ゲーム開発エンジニアとQA エンジニアを分けている


ゲーム開発エンジニアはゲームづくりに専念してもらう


逆に俺ら QA エンジニアは　自動化テストの環境作り　デバッグツールの開発　品質担保する的な


QA エンジニアが不在時の開発エンジニアの動きの例

11

QA エンジニアが常駐すると開発がどう変わるか

過去ゲーム開発

テスト自動化実施ゲーム開発

ゲーム開発デバッグツール開発



12




おろそかにされやすい！

ゲーム開発デバッグツール開発ゲーム開発に直結しない！



13




おろそかにされやすい！

ゲーム開発が遅れがちになり、品質も担保しにくくなる！

ゲーム開発デバッグツール開発ゲーム開発に直結しない！

Masataka Sato

(メモ)□１つ分は一定の工数と見立てて、全て同じ工数みたいなイメージ。ゲーム開発初期/ゲーム開発中期といったようにフェーズで分けているわけではないので特にアルファとかベータとか含めていない


QA エンジニアが常駐しているチームの開発エンジニアの動きの例

14


現在ゲーム開発

デバッグツール開発ゲーム開発



QA エンジニアが常駐しているチームの開発エンジニアの動きの例

15


現在ゲーム開発ゲーム開発


デバッグツール開発 QA エンジニアが対応

QA エンジニアが対応


QA エンジニアが常駐しているチームの例

16


現在ゲーム開発ゲーム開発

ゲーム開発

デバッグツール開発テスト自動化実施

開発エンジニア QA エンジニア



QA エンジニアが常駐しているチームの例

17


現在ゲーム開発ゲーム開発ゲーム開発


開発エンジニア QA エンジニア

ゲーム開発に専念しやすくなる！QA 効率化や品質担保ができ、専門性も高くなることで横展開 / リソース調整がしやすく！

Copyright © GREE, Inc. All Rights Reserved.18

成果物初期

去年

ちょい前

新規プロダクト/ QA テスター向け

QA エンジニアの動ける土台

開発管理者ツールデバッグツール

CI 環境構築単体テスト自動化

QA エンジニアなりの課題抽出

品質指標の可視化

QA エンジニアとしての成果


詳しくは、CEDEC に登壇した資料を見てねhttp://www.slideshare.net/greetech/cedec2015qa

http://www.slideshare.net/greetech/cedec2015qa




QA エンジニアが今後やっていきたいこと

デバッグツール開発負荷テストの巻取り静的コード解析の実施品質指標の可視化の拡充多端末テストの自動化


たくさんの端末で同じテストを自動的に実行して動くよね？


皆さんご存知だと思いますが、なぜ多端末テストの自動化が重要なのか


みんな端末が違う&& 好きな環境違うから


＝ OS Ver * 機種　 * ネットワーク * ……

＝組み合わせは∞に近い


圧倒的面倒くささを感じる


複数の端末で検証してみないとわからないけど、端末を複数のチームで共有したり、貸し借りのコミュニケーション毎回するのも面倒だし、複数の端末で起こるか検証するのも時間かかるし、設定が端末毎に違うから操作戸惑うし、adb コマンド使って PC から操作も簡単にできるようにしたい！！！！


まとめると…


多数の端末を多人数で共有したい

端末貸し借り楽にしたい一括でアプリをインストー

ルしたい検証を楽にしたい

Takeshi Onodera

貸してる側も期限切れの連絡するとかのコストかかってるもんね


それ全部STF(OpenSTF) で解決できるよ！

Takeshi Onodera



2. OpenSTF について

Takeshi Onodera



というか、そもそもOpenSTF is 何

Takeshi Onodera


Copyright © GREE, Inc. All Rights Reserved.via http://openstf.io/

http://openstf.io/


• Smartphone Test Farm

• Websocket を使ってブラウザからリモートでAndroid 実機を遠隔操作することができるサービスを OSS にしたもの(http://gpad.tv/develop/cyberagent-stf-smartphone-test-farm/)

• サイバーエージェント様謹製

http://gpad.tv/develop/cyberagent-stf-smartphone-test-farm/

Copyright © GREE, Inc. All Rights Reserved.via https://github.com/openstf/stf

https://github.com/openstf/stf




via http://gpad.tv/develop/cyberagent-stf-smartphone-test-farm/




• いつでもブラウザから簡単に検証可能• 複数台同時にデザインチェックが可能

• アプリ• ウェブサイト

• システムログをリアルタイム取得できる• ドラッグ＆ドロップでアプリをインストール• adb 使える• 貸し借りコミュニケーションが減る

メリットたくさん


• 実際の手で操作しないと難しい内容には向いてない• ( 端末によるが ) リモート接続特有の画面レスポンスの遅延

デメリットはまぁ許容


アーキテクチャ

OpenSTF ソフトウェア的な構築

Systemd


その他アプリケーション内で使っている技術の一部

OpenSTF ソフトウェア的な構築


ということで、OpenSTF をうちの会社でも構築して使ってみた！( 動画をながすかも )

Takeshi Onodera



マシンスペック等の見積もり端末確保、 USB ケーブルやハブの発注マシンに Linux 系 OS インストール固定 IP アドレスの設定

ドメイン発行、 SSL 証明書の準備

ドキュメントに沿って .service ファイルやnginx.conf 等の設定ファイルの編集 & 設定

systemctl start hogehoge.service

OpenSTF の構築の流れ


構築してみたは、いいが…

Takeshi Onodera







問題多発


＿人人人人人人＿＞　問題有り　＜￣ Y^Y^Y^Y^Y ￣＿人人人人人人＿＞　問題有り　＜￣ Y^Y^Y^Y^Y ￣

＿人人人人人人＿＞　問題有り　＜￣ Y^Y^Y^Y^Y ￣＿人人人人人人＿＞　問題有り　＜￣ Y^Y^Y^Y^Y ￣

＿人人人人人人＿＞　問題有り　＜￣ Y^Y^Y^Y^Y ￣






困難の分類


←Wi-Fi アクセスポイント接続数や設置場所は大丈夫か見積もった？←DHCP だと DNS 設定した時に設定大変だけど大丈夫？←SSL 証明書いらないでしょ、って思ったけど結局導入して手間取る

← 何を書き換えると、どう動いてくれるのか全然分からない← 動いてる ? Docker のプロセスがすぐ死ぬんだけど？ ( 動いてない )

ハード的な困難

ソフト的な困難



どう困難だったか


←Wi-Fi アクセスポイント接続数や設置場所は大丈夫か見積もった？←DHCP だと DNS 設定した時に設定大変だけど大丈夫？



今日は OpenSTF 構築中に起こったハード的な困難の部分について紹介します！

Takeshi Onodera



ハード的な問題とは

Takeshi Onodera



問題：場所的にセキュリティ担保しつつ電波や発熱などの問題がない状態で周りに迷惑をかけず STF が使え、毎月端末の棚卸しができる方法を考える

Takeshi Onodera



内容を分解してみる

Takeshi Onodera



ハード的な困難場所発熱端末管理問題電波無線 AP


それぞれの詳細は…

Takeshi Onodera



場所実端末をどこかに置いておかない

といけないシステム会社のセキュリティ的に端末

が安全であることを確保席替えによって別の場所へ端

末を移動しなくてはいけない


発熱執務室にある棚に閉まっちゃうと排熱しにくい


端末管理問題月一回端末があることを確認しな

いといけない


電波 (セキュリティロックはかけないといけない前提で ) 金属の棚に入れると電波遮られて

Wi-fi 届かない


無線 AP 50 台くらい使うと

アクセスポイントを専有して周りに迷惑がかかる！


ハード的な困難場所発熱端末管理問題電波無線 AP

これらの問題を全て解決した理想の状態とは


これ！（本家）via http://gpad.tv/develop/cyberagent-stf-smartphone-test-farm/




これを見た後に、問題を抱える前の初期のぼくらの端末達を御覧ください

Takeshi Onodera



アカン…／ (^o^) ＼


発熱、 Wi-fi 接続不可、席替えリスク…


もちろん即、中止 (特に発熱 )

Takeshi Onodera



ヤバ過ぎるので…


ぼく「インフラさん、サーバ室のスペースください」

インフラさん「おｋ」


サーバ室に置いた僕らの端末


ゴッチャァ……


汚い（苦笑）


汚いだけじゃなくシステム的にも

よくない…


なぜか？


ケーブルが画面の上に乗ってるとスマホがタップ判定してしまう


ので、ケーブルがひっかからないように整理したところ…


うーん…


イマイチ…


なので、それっぽいケースを注文


（数日後…）


届いたので整理した


美しい！！！作業完了だ！！！！


とおもいきや…


無線 AP 使いまくってすみませんすみませんすみませんすみません


専用 AP追加！！！接続状況も悪く無い！！


ということで











大体解決！

今真っ最中


ということで問題もりもりで意外に大変だけど、通常 Webアプリケーションでは出てこないような問題が出てきて新鮮だった


ローカルでも動かせるので、OpenSTF を使ってみるといいと思います！


まとめ俺 is QA エンジニア技術で生産性と品質向上多端末テスト自動化も問題多いよね

OpenSTF 使える！ OpenSTF 使えるんだが構築ムズい

ハード的な問題 (DONE) ソフト的な問題 ( WIP )


QA エンジニアを通じて弊社の開発環境がより良くなる日

〜 OpenSTF 編〜

つづく

qaエンジニアを通じて弊社の開発環境がより良くなる日 〜 openstf 編 〜

Technology

qaエンジニアを通じて弊社の開発環境がより良くなる日〜 openstf 編〜