一括テスト実行・コマンドラインテスト実行

Magic Podの使い方 > 一括テスト実行・コマンドラインテスト実行

このページでは、Magic Podでテストの一括実行をする方法と、コマンドラインからテストを実行する方法を説明します。

一括テスト実行

Magic Podでは、プロジェクトの全てのテストを一括で実行できます。一括実行を行うには、プロジェクトの画面から「Batch runs」タブを選択して、テスト一括実行ページに移動します。(図1)

図1 テスト一括実行ページ

この画面でターゲットOSとテスト対象アプリを指定し(図2)、「Run new batch」ボタンを押します。

図2 ターゲットOSとテスト対象アプリを指定

するとMagic Pod Desktopが起動して、テストが始まります。ブラウザ上でページを一度読込すると、batch runの一覧に実行中のテストが追加されているのが確認できます(図3)。

図3 batch runに実行中のテストが追加された様子

その後テストが完了すると「成功/失敗」のステータスや実行時間などをブラウザ上で確認できます(図4)。

図4 一括実行テスト結果

一覧の右側にある「>」リンクをクリックすると、さらにテストごとの結果を確認することができます(図5)。

図5 テストごとの実行結果

右側の「>」リンクをさらにクリックすると、テスト実行の詳細なログを確認できます。テストが失敗していた場合は、図6のようにエラーの内容やエラー時の画面キャプチャも確認できます(図6)。

図6 エラーテストの詳細

また、テスト一括実行時に「Notify test result by email」にチェックを入れていると(図7)、テスト結果がプロジェクトの全メンバーにメール配信されます。(図8)

図7 メール配信チェック

図8 テスト結果メール

コマンドラインテスト実行

テストの一括実行は、Macのコマンドラインから行うこともできます。

設定ファイルを記述

まずは、テストのコマンドライン実行に必要な設定ファイルの記述を行います。

Magic Pod Desktopを一度でも起動していれば、ディレクトリ「/Users/<ユーザー名>/Library/Application Support/magic_pod_desktop」に「magic_pod_config.json」というファイルがあるはずなので(これがMagic Pod Desktopが利用している設定ファイルです)、これをデスクトップなど適当な場所にコピーします。

コピーしたら、図9の形式に従い設定ファイルをJSON形式で記述します。¹

{
  "owner": <組織名。表示名でなくURL中のアルファベット表記のもの>,
  "project": <プロジェクト名。表示名でなくURL中のアルファベット表記のもの>,
  "capabilities": <ターゲットOSや対象アプリの設定。AppiumのCapabilitiesと同じ>,
  "sendMail": <テスト結果メールを配信するか。省略するとfalse>,
  "captureType": <テスト結果画面キャプチャの設定。on_error、on_ui_transit、on_each_stepのいずれか。on_each_stepは有料プランの場合のみ利用可能。省略するとon_error>,
  "xmlTestOutput": <JUnit形式のテスト結果XMLを出力するか。主にJenkins連携用。省略するとfalse>,
  "workDir": <作業ディレクトリのフルパス。省略するとデスクトップの「magicPod」>,
  "envVars": <KEY=VALUE形式の環境変数文字列のリスト。省略すると空リスト>,
  "testNumber": <実行対象のテスト番号をカンマ区切りで記載。空または省略すると全テストを実行>,
  "debug": <バグ調査用デバッグモードを有効にするか。省略するとfalse>
}

{

"owner": <組織名。表示名でなくURL中のアルファベット表記のもの>,

"project": <プロジェクト名。表示名でなくURL中のアルファベット表記のもの>,

"capabilities": <ターゲットOSや対象アプリの設定。AppiumのCapabilitiesと同じ>,

"sendMail": <テスト結果メールを配信するか。省略するとfalse>,

"captureType": <テスト結果画面キャプチャの設定。on_error、on_ui_transit、on_each_stepのいずれか。on_each_stepは有料プランの場合のみ利用可能。省略するとon_error>,

"xmlTestOutput": <JUnit形式のテスト結果XMLを出力するか。主にJenkins連携用。省略するとfalse>,

"workDir": <作業ディレクトリのフルパス。省略するとデスクトップの「magicPod」>,

"envVars": <KEY=VALUE形式の環境変数文字列のリスト。省略すると空リスト>,

"testNumber": <実行対象のテスト番号をカンマ区切りで記載。空または省略すると全テストを実行>,

"debug": <バグ調査用デバッグモードを有効にするか。省略するとfalse>

}

設定ファイル内では、${HOME}のようにして環境変数の値を参照することができます。

以上を踏まえると、設定の記述は、例えば図10のようになります。

{
  "owner": "TRIDENT",
  "project": "SampleApp",
  "capabilities": {
    "platformName": "iOS",
    "platformVersion": "10.3",
    "deviceName": "iPhone 7 Plus",
    "app": "${HOME}/magic_pod_demo_app.app",
    "automationName": "XCUITest"
  },
  "sendMail": true,
  "workDir": "${HOME}/magic-pod-work"
}

{

"owner": "TRIDENT",

"project": "SampleApp",

"capabilities": {

"platformName": "iOS",

"platformVersion": "10.3",

"deviceName": "iPhone 7 Plus",

"app": "${HOME}/magic_pod_demo_app.app",

"automationName": "XCUITest"

"sendMail": true,

"workDir": "${HOME}/magic-pod-work"

}

テストを実行

設定ファイルを作成したら、以下の手順でテストを実行します。

Magic Pod Desktopが起動している場合は終了しておきます。
Macのターミナル上でMagic Pod Desktopのあるディレクトリに移動します。
次のコマンドを実行します。

Shell

"Magic Pod Desktop.app/Contents/MacOS/Magic Pod Desktop" run --magic_pod_config=<magic_pod_config.jsonのフルパス>

1

"Magic Pod Desktop.app/Contents/MacOS/Magic Pod Desktop" run --magic_pod_config=<magic_pod_config.jsonのフルパス>
magic_pod_config.jsonの設定に従い、テストが実行されます。テストが成功した場合はプロセスの返り値は0、失敗した場合は1になります。

magic_pod_config.jsonをコピーすれば、他のMac PCでも同様にしてコマンドライン実行が可能です。

ただし、認証情報だけではmagic_pod_config.jsonに保存されていないので、一度Magic Pod Desktopを起動してメールアドレスとパスワードを入力し、認証情報をPCに保存しておく必要があります。

< iOS実機にうまく接続できない場合の回避策

テスト対象の画面に修正が入ったら >

設定ファイルをコピーしてくると、図9には載っていない項目がいくつかありますが、システム内部の設定なのでそのままにするか削除しておいてください。 [↩]

目次