2022/09/07

MagicPod5周年記念イベントレポート

こんにちは、MagicPodコミュニティマネージャーの田上です。
先日MagicPod５周年記念イベントを開催しました。
参加したかったのに予定が合わずに参加できなかったという声もたくさんいただいたので、イベントレポートとしてまとめていきたいと思います！

当日登壇してくれたのは、MagicPod CEO 伊藤、MagicPod海外事業部長クナール、株式会社ロコガイドの岸さん、株式会社グロービスの矢島さんです。みなさんの素晴らしいプレゼンのおかげで、イベント後のアンケートでは９８％の方に「満足した」とご回答いただきました！

では、レポート開始します！画像1-1

開始前からたくさんの方がツイートで盛り上げてくれてとてもうれしかったです！

最初はMagicPod CEO 伊藤さんの発表「テスト自動化を最速で軌道に乗せるために」です。
なんとテスト自動化ツール歴は13年になるとのこと。ユーザーさんのツイートでも、「初めて買った自動テスト関連の本が伊藤の著書でした」といった嬉しい投稿がありました。

MagicPodはプロダクト５周年を迎え、開発・採用サポート体制を強化中です。（実際、ほとんど毎月新メンバーが入ってくれています！）

次に、今年目標にしていた開発ロードマップの進捗報告です。

＜ブラウザテスト、対応プラットフォーム拡⼤＞モバイル実機：完了、Edge、Firefox on MagicPodクラウド：年内⽬標

＜テストスクリプト、編集履歴機能＞対応中：予定より遅延中

＜マルチプラットフォーム、テスト連携＞未着⼿

＜Flutterアプリ、サポート＞年内着⼿は難しそう

とのことです！遅れも出ておりますが、正直に状況を共有させていただきました。引き続き開発体制を強化していきます！

続いて、E2Eテスト自動化を成功させるには、というテーマについてです。
E2Eテスト自動化を成功させるために必要なこと、MagicPodがだした答えは「テストを毎日回しているかどうか」ということです！

リリース前だけ自動テストを実行するチームに比べ、毎日実行するチームは継続率が高いことからそう考えています。具体的には以下の通り。

多くの修正を一度にテストするので、バグ調査・メンテナンスが難しくなる
手動によるテスト開始フローになり、人依存の仕組みになりがち
リリース前は忙しいので、メンテナンスを後回しにしがち

その結果

テスト失敗の調査が後回しに
失敗が増えてメンテナンス不能に
自動テスト使われなくなる

ということが起きてしまいます。

一方、毎日テスト実行すると

前日からの差分を見ればいいので、エラー原因の特定が容易
テストは自動開始になり、人に依存しない仕組みになる
毎日少しずつ、余裕を持ってメンテナンスできる

というメリットにより、持続可能なテスト自動化を実現できます。

しかし、問題はそこでは終わりません。次に考えたのは「どうすれば、毎日テストを実行してもらえるか」ということです。

いろいろな説得を試みた結果はこのような感じになりました。

テストを自動化すれば、手作業のテストから解放されますよ！

　→リリース前しかテスト実行されない。

テストを自動化すれば、リリースサイクルを短縮できます！

　→2週間よりさらに短縮したい人は少ない。毎日リリースを可能にするのは相当大変。

今日作り込まれたバグに翌日気付けるので、開発者の生産性が上がります！

　→開発者にはけっこう響いたがQAに開発者の生産性を上げる動機がない。

と、あまり明確な答えを見つけられないでいたが、徐々にユーザーが増え、QAでも毎日回していることが増えてきました。

ユーザーにインタビューをした結果、毎日テストを回す理由は「問題を早期に検出するため」ということが分かりました。

そこで今は

「問題を早期に検出し、QA業務をスムーズに遅延なく進められます！」と伝えるようにしています。

まとめると、MagicPodの考えるE２Eテスト自動化成功の方程式はこの通りです。

＜目的＞問題の早期検出による開発& QAの生産性向上

＜手段＞毎日テスト実行

＜長続きするテスト自動化＞長続きするテスト自動化

続いて、最速でテスト自動化を成功させるにはというテーマです。

⾃動テスト導⼊の流れと成果が出るまで期間については、テストを⼗分作ってから

毎⽇実⾏するのではなく、毎⽇実⾏できるようにしてからテストを増やすことが重要です。

具体的には、テストを十分作ってから毎日実行だと..

効果が出るまで時間がかかる
メンテナンス性・安定性の課題に
全部完成して初めて気付く

という問題がおこります。

一方、毎日実行可能にしてからテストを増やすと

自動化のメリットがすぐに得られる
メンテナンス性・安定性の課題に早期に気付ける
作っている間にテストが陳腐化する危険がなくなる

といったメリットがあります。

まとめると、MagicPodの考えるE２Eテスト自動化最速成功の方程式はこの通りです。

＜目的＞問題の早期検出による開発& QAの生産性向上

＜手段＞毎日実行可能にする⇒その後テストを増やす

＜長続きするテスト自動化＞長続きするテスト自動化

MagicPodはテスト実行回数によらず定額料金です。

MagicPodはユーザーのテスト自動化成功を重視して逆算して料金体系も考えたので、ぜひMagicPodを使っている皆さんはたくさんテストを実行してください！！

次は、MagicPod海外事業部長セティクナールの発表「データで見るグローバルテスト自動化の現在と展望」です。

まずはこの日はユーザーの前で話すのは初めてということもあり、まずは自己紹介。

クナールさんの人柄がよく表れている楽しい自己紹介は、ツイートでも大反響です！

テスト自動化に関するグローバルデータを紹介してくれました。

従業員30名以上のソフトウェア開発会社1000社（世界40カ国）へのアンケートによると、なんとTest Automationを活用している企業は88％にもなるとのことです。これにはテスト自動化ツール歴１３年の伊藤も驚きです。最も多い Test Automationの用途：としては、①Functional Testing②Unit Testing③継続的インテグレーションとデリバリー（CI/CD)で、テスト自動化に成功した企業ほどより多様な用途でテスト自動化を活用しようとしているとのことです。

また、こちらの調査では、専属のQAチームがテストを行う割合が増えてきていることがわかります。アンケートによるとリリースサイクルの高速化や、QAに求められる質が高くなっていることが要因だそうです。また、QA担当者には正しいツールの選定や、ツールを活用したテスト効率化が求められているというとのことです。

次はテスト自動化のグローバル市場についてです。

なんと、今後１０年でApp Test Automationのグローバル市場は現在の６倍以上成長し、世界のApp市場は２０３１年に１０００億ドル (１３兆円)を突破すると予測されるとのことです。さらに、APAC市場は１０年で８倍以上成長し、年平均成長率はグローバルの２０．６％より高い２３．２％が予測されているとのことでした。

テストの割合に関するにお話もありました。

静的テストを動的テストに関しては、ともに大きく市場規模が成長していますが、2031年までにより動的テストが増え50：50の割合になると予測されています。これはアプリ開発のリリースやアップデートのサイクルがどんどん早くなることが起因していると言われています。

最後はテスト自動化分野へのAPECでの投資額についてです。（MagicPodにとってはこれがそのまま各セクターでのビジネスチャンスになる）2031年までに自動テストの市場規模は年平均23％伸びると以上予想されています。また、それに伴い投資額も大幅に伸び、例えばIT＆Telecommunicationの分野のAppテスト自動化への投資額は2031年までの投資額合計値は70億ドルとも予測されています。

最後に、クナールさんはMagicPodに入ってからイライラすることがなくなったと話します。それは、うまくいかないことがあってもこの壁を越えれば良くなっていくビジョンしか浮かばないからだと理由を話しました。「テスト自動化はゲームチェンジャー社会をよくする変革のツール。私はMagicPodが世界規模のゲームチェンジャーになると信じています。」と言って締めました。熱い想いのこもったクナールさんらしい発表でした。

続いて、株式会社ロコガイドの岸様より「ユーザーファーストのためのE2Eテスト」のお話です。

まずは自己紹介です。

岸さんは、「トクバイ」というアプリを中心にリグレッションテストの自動化・新機能QA・プロセス見直しなどをされています。

岸さんの考えるユーザーファーストとは、「ユーザーが安心してサービスを使えること。負の驚きがないこと」とのこと。

「トクバイ」とは、近くのスーパーやドラッグストアなどのお得な情報にアクセスできるチラシ・買い物情報サービスで、Android・iOSでアプリを中心に展開しています。

MagicPodの導入前は２週間スプリントの最終日近くに手動で行っていましたが、修正の時間が少なかったり余裕がなかったりして不具合が生まれやすい状況になったそうです。そこで、より早い段階で不具合を検出できる自動化ツールを検討。いろいろなツールを試した結果、メンテナンス性と操作性、実績でMagicPodを選びました。

現在はAndroid、iOSのネイティブアプリで活用中です。実行タイミングは一つ目がCircleCIをトリガーにして、Pull Requestがマージされたとき。二つ目は一日あたり４－８回の毎日の夜間実行とのことです。実行環境はクラウド端末で、リモートワークも多く、実行環境のメンテナンスをしなくて良いため選択したとのことです。

MagicPod導入後は１スプリント２週間あたりのリグレッションテスト実行回数を１回から50回に増やすことができました。これにより開発期間の途中でデグレのフィードバックができたり、リグレッションテストに使っていた時間が空いたりして、余裕ができたと話します。

また、全体を通した確認や改善のためにMagicPodのダッシュボードを自作されました。

Magicpod-analyzer

データの格納までで、表示機能はないのでRedashやGoogle Data Studioを使用する想定です。また、オープンソースで公開しているので誰でも使ってもらってOKとのことです。

ロコガイドではこれを使いながら毎週金曜日に振り返りを行っています。自動テストに関する数値を一覧にできるようにすることで、問題に速く気が付けたり改善点を見つけることができるとのことです。

「ユーザーにより良い体験をしてもらうために、自動テストなど様々なテストを活用して品質を向上させていきましょう！」と話を締めました。

続いて、株式会社グロービスの矢島様より「MagicPod導入事例」のお話です。

矢島さんの趣味は楽器の演奏や修理。所属する株式会社グロービスは、経営に関するヒト・カネ・チエの生態系を創り、社会の創造と変革を行う会社で、矢島さんがいるのはGLOPLA LMSというローンチしたばかりのプロダクトのチーム（開発チームは９名、テストチームは４人体制で、自動テスト担当が矢島さん。）とのこと。

開発体制は１週間スプリントと２日間のテスト期間のため、限られた時間の中で効果的なテストを行う必要性がありました。また、リグレッションテストのサイズが増え続ける中で、効果的なテストに使える時間が減っており、人がやらなくても良いテストは自動化しようと判断されました。

テスト自動化に向けた難所①どうやってテストを自動化する？

⇒リソースが不足したため、属人化の問題解決のためにノーコードツールを採用。MagicPodは質問に対する返信が平均15分程度ととてもレスポンスが早くてスムーズに進みました。

テスト自動化に向けた難所②どうやって実装や修理を軽くするか？

⇒時間がかかる原因をレイヤーで分けて考察した結果、ほぼ同じ流れのテストをしている部分を発見し、共有ステップを活用した結果45％作業時間を削減することができました。

さらに、より実装速度を上げるために共有ステップの利用が見込まれるところから実装し始めた結果、総実行時間を圧縮しつつも、実装ケース数を早い段階で増やしてメンテナンスコストを下げることができました。

共有ステップ化と順番を意識したことで、共有化しやすいテストは重要度が高いことが多く、組むべきテストから組んでいたことがわかる、早く組めてモチベーションを維持しやすいなどのメリットもありました。

テスト自動化に向けた難所③どうやってマルチブラウザ化するか？

⇒マルチブラウザでテストしたいところが出てきましたが、MagicPodはChromeしかカバーしていないので外部サービスを検討されました。ブラウザテスティングツールを１か月比較してB社のツールを選びましたが、全てをB社で動かすと実行時間が遅くなってしまう。そこで、どのブラウザでも問題ないものはMagicPodで高速に回し、必ずマルチブラウザで見たいものだけB社のツールで回すという運用に。結果的には全10端末で46ケース、１時間程度で終わるようになりました。