A. 如何判断 cts android
CTS是什么？
资料：CDD、CTS官网、android-cts-manual-r4；
CTS是什么我就不多费话了，看上面官方的说法就行了。不过有一点需要明确，你的设备只有满足CDD的规定并且通过CTS，才有可能获得Android的商标和享受Android Market的权限。这里有可能指的是需要你自己去向google申请的，不是说兼容了，这些东西就自然而然有了。
怎么用：
资料： android-cts-manual-r4、宋立新_Android CTS测试研究；
安装与配置：
下载或自己编译；修改startcts中SDK_ROOT；在板子或emulator上装一个apk；设置setting；
各种命令的用法：
注意：start --plan –p以及start --plan –t的用法，-t要指定一个具体的测试方法
方法1：一般使用的方法
$ ./startcts 注意如果用手机设备调试，用root权限执行
cts_host > ls --plan 列出所有plan
out/host/linux-x86/cts/android-cts/repository/plans中有plan的具体内容
cts_host > start --plan VM 运行某个plan
测试结果在out/host/linux-x86/cts/android-cts/repository/results目录下，用浏览器看时间目录下的xml文件即可
注意在改动cts后，还要make cts重新编译，若只在cts目录中编译不能生效
cts_host > ls -p 看当前可用的用例包
cts_host > start --plan Android -p android.app 只运行某个用例包，节约时间
cts_host > start --plan Android -p android.app -t android.app.cts.AlertDialogTest#testAlertDialog
只运行某个用例包中的某个用例
方法2：遇到问题时方便调试的方法
$ adb install out/target/proct/xxxx/data/app/SginatureTest.apk 安装某个用例包
$ adb shell pm list instrumentation pm用于管理package，看当前机器安装了什么用例
$ adb shell am instrument -w android.tests.sigtest/.InstrumentationRunner am用于管理activity 运行某一用例
$ adb shell am instrument -e class android.app.cts.AlertDialogTest#testAlertDialog -w com.android.cts.app/android.test/InstrumentationCtsTestRunner 单独运行一个小case
如果在一个时间很长的plan（如Android）中，某处错了，而错误信息又不全，需要单独跑一个小case，用-e指明class明就可以节约很多时间
用完后结果的分析：
结果在repository/results中，放在一个文件夹里，名字是你测试开始的时间。
分析的方法有两种：
1、可以直接从Failure Details找原因；（个人感觉应该难度较大）
2、结合源代码以及Failure Details的信息找原因
第二种方法牵扯到找测试源代码的问题，这就要对CTS源码目录以及相应生成物的命名有一定的了解。
了解CTS这个工程：
资料：宋立新同学的Android CTS测试研究二、android build system、CTS源码、makefile以及shell基本知识
了解Linux工程最好的入手点，就是从它的编译系统入手。
这个涉及到Linux的makefile以及android的编译系统的基本知识，具体内容还是挺多的，不过看懂了android编译系统，以后看其他Android工程应该都会得心应手。
在android CTS上增加自己的test package
资料：CTS命令的用法、Erin Yueh的两篇文章
有两种方法：
1、完美利用自带命令(已验证)
2、用Erin Yueh的方法
用这个方法的前提也是要彻底弄懂CTS的内部结构，不然也只能照猫画虎
如何写test case
资料：JUnit、SDK/docs下面的五篇文章、android open source官网/porting/Instrumentation Testing
这又是另外一门学问了
这个test case 可以涉及各个层次，Android 平台相关的测试的写法可以参考官方的那五篇文章，如何运行可参考上面资料三，其他的可能会涉及到JUnit以及其他一些知识，目前还没实地考察。
接下来要弄明白的
1、android的编译系统（学习下makefile以及shell基本知识）
2、CTS这个工程（看看测试包XML生成器的假设成不成立，能不能提取出来）
3、众多层次test case 的写法
B. android的cts测试到底有多细
1.下载完整的cts测试工具包，方式有两种：
a.在现有代码上编译，代码版本与目标机器版本一致;
b.在Google官网下载：http://source.android.com/compatibility/downloads.html，Compatibility
Test Suite (CTS)即可。
2.下载media测试内容，还是上边的官网，在网页最下边：
CTS Media Files
These media files are required for the CTS media stress tests.
CTS Media 1.0
3.连接手机与电脑(至少一台手机)
4.测试前准备
android-cts/repository/testcases中的.apk和CtsDeviceAdmin.apk
安装完成以上apk后，在手机端操作：
a.设置->辅助程序->Delegating Accessibility Service,打开;
b.设置->安全->设备管理器->CTS相关的两个选项都激活;
c.打开USB调试模式;
d.保持屏幕唤醒;
e.允许模仿位置;
f.切换至英文模式US。
5.进入cts控制台
执行android-cts/tools/cts-tradefed
dev@linux -dev:~/android/CTS/android-cts/tools$ ./cts-tradefed
09-0509:20:52 I/: Detectednew device c8090fe4
09-0509:20:52 I/: Detectednew device5348300e
Android CTS 4.2_r1
我现在连接着两台设备，都检测到了。
6.开始进行CTS测试
首先，在控制台中输入help看这个控制台都能干什么。
cts-tf > help
CTS-tradefed host version 4.2_r1
CTS-tradefed is the test harness for running the Android Compatibility
Suite, built on top of the tradefed framework.
Available commands and options
Host:
help: show this message
help all: show the complete tradefed help
exit: gracefully exit the cts console, waiting till all invocations are
complete
Run:
run cts --plan test_plan_name: run a test plan
run cts --package/-p: run a CTS test package
run cts --class/-c [--method/-m]: run a specific test class
and/ormethod
run cts --continue-session session_ID: run all not executed tests from a
previous CTS session
run cts [options] --serial/s device_ID: run CTS on specified device
run cts [options] --shards number_of_shards: shard a CTS run into given
number of independent chunks, to run on multiple devices inparallel
run cts --help/--help-all: get more help on running CTS
List:
l/list d/devices: list connected devices and their state
l/list packages: list CTS test packages
l/list p/plans: list CTS test plans
l/list i/invocations: list invocations aka CTS test runs currentlyin
progress
l/list c/commands: list commands: aka CTS test run commands currently in
the queue waiting to be allocated devices
l/list r/results: list CTS results currently present in the repository
Add:
add derivedplan --plan plane_name --session/-s session_id-r
[pass/fail/notExecuted/timeout]: derive a plan from the given session
Dump:
d/mp l/logs: mp the tradefed logsfor all running invocations
Options:
--disable-reboot: Do not reboot device after running some amount of
tests.
run cts --plan + 运行某个plan，查看当前支持的plan，运行l
p，实际上所有的plan存放在android-cts/repository/plans;
run cts --package/-p 运行某一个测试包;
run cts --class/-c [--method/-m] 运行某一个测试类或测试方法;
run cts --continue-session session_ID 继续运行之前没有完成的CTS测试，要知道它的session_ID;
run cts [options] --serial/s device_ID 在某个串号的设备上进行CTS测试，对应多个机器的时候，通过adb
devices能够查看当前连接的所有设备的串号;
run cts [options] --shards number_of_shards 在多个设备上同时运行CTS测试，如run cts --plan
CTS --shards 2，在两个设备上同时运行;
run cts --help/--help-all 展示更多帮助
查看列表：
查看行为是l/list，接不同的参数显示对应信息。
d/devices 当前连接的设备，效果同adb devices，不过信息更详细，还有设备电量信息;
packages 当前CTS plan的所有测试包;
p/plan 当前所支持的CTS plan有哪些;
i/invocations 当前CTS的运行状态;
c/commands 展示出用户输入过的命令;
r/results 展示以往的测试结果
Session Pass Fail Not Executed Start time Plan name Device serial(s)
0 17720 239 12 2013.08.24_18.23.23 CTS c8090fe4
1 17907 64 0 2013.09.04_17.51.15 CTS FUSC85YLYPAMRC69
需要特别关注的几点注意事项：
首先，手机的功能一定要完整，WIFI BT 3G CAMERA等;
手机要切换至英文语言;
连接到可用WIFI;
有SIM卡，并能够打电话发短信;
对于屏幕密度，目前CTS中最高支持320，但实际上Google已经添加了对480，也就是1080p的支持;
会检测Fingerprint，注意厂家名;
要保证能够访问到www.google.com;
实战演戏：
连接两台手机后，进入cts控制台：
run cts --plan CTS --shards 2
两台手机上会同时跑起CTS测试，大概5小时候测试完成，生成测试报告，保存在results下。
C. 如何通过Android CTS测试
Android的CTS测试，英文为Compatibility Test Suite，意为兼容性测试。只有通过CTS测试的设备才有可能获得Android的商标和享受Android Market的权限。以下分享我对Android CTS的认识。
一、取得Compatibility Test Suite的两种方法：
（1）可以从http://source.android.com/compatibility/downloads.html下载最新版本的Compatibility Test Suit；
（2）也可以通过编译Android源代码的方式获得。在android源代码目录下输入make cts命令来编译CTS，之后会在out/host/linux-x86/cts/下生成android-cts文件夹。这个文件夹就是Compatibility Test Suit。
==========================================
1、Error occurred ring initialization of VM
Could not reserve enough space for object heap
从字面上看是在初始化java Vm的时候不能获取足够的堆空间，于是修改了build/core/definition.mk文件中的编译core.jar和framework.jar时需要的-JXmx为1024m，此参数代表编译上述两个包时需要的最大内存，此初始值为2048M，由于我的PC电脑总的内存才2G，系统运行会占据一部分内存，故编译android的时候肯定不会分配2G内存，
解决：
把build/core/definitions.mk 文件
第1528行:$(if $(findstring windows,$(HOST_OS)),,-JXms16M -JXmx2048M) \
改成： $(if $(findstring windows,$(HOST_OS)),,-JXms16M -JXmx1024M) \
http://blog.csdn.net/leerobin83/article/details/7873229
==========================================
二、运行CTS的方法，步骤如下：
（1）进入目录android-cts，该目录是通过上面那两种方法获得的。在android-cts目录下会有3个文件夹，其中一个是tools。
（2）进入tools目录，输入./startcts来启动CTS。
（3）如果运行成功会出现Android CTS version 2.3_r1的字样（我的android的版本是2.3的）。如果有连接设备到PC上还会出现Device(设备ID)connected的字样。这里设备可以是连接PC的android的机器，也可以是模拟器。
三、CTS测试的方法：
（1）在cts_host>下敲入help，会显示cts下的许多命令。ls –plan命令显示google自带的测试方案，如：Java、Signature、Android、CTS、VM、RefApp、Performance、AppSecurity。其中Performance这个方案是google暂不要求的。Java、Signature、Android、VM、RefApp、Appsecurity方案都是CTS方案的子集。
（2）用命令ls -d来查看已连接的设备，CTS测试之前我们必须保证至少有一个设备连接上。
（3）输入命令start –plan CTS来执行CTS测试方案，该方案有两万多条测试项目，需要很长时间，因此除了第一次测试之外，不建议这么做。我做的都是针对某些包的测试。如果连接了多个设备的话需加上-d参数，后面跟上设备id来告诉CTS需要测试的设备。
（4）对单独一个包进行测试的方法：start –plan CTS –p 包名；推荐用这种方法来进行针对性的测试。需要知道有哪些包名，可以输入命令：ls –plan CTS
（5）也可以针对单独一个case进行测试：start –plan CTS –test 类名#方法名
四、查看测试的结果：
测试生成的log在\android-cts\repository目录下以log+测试时间.txt命名。测试报告在android-cts\repository\results目录下，也是以测试时间命名。
五、注意事项：
（1）测试前需要安装一个apk：adb install -r android-cts/repository/testcases/.apk 然后在设置里面
D. 如何通过Android CTS测试
通过Android CTS测试的方法步骤：
一、运行CTS的方法，步骤如下：
1、进入目录android-cts，该目录是通过上面那两种方法获得的。在android-cts目录下会有3个文件夹，其中一个是tools。
2、进入tools目录，输入./startcts来启动CTS。
3、如果运行成功会出现Android CTS version 2.3_r1的字样（我的android的版本是2.3的）。如果有连接设备到PC上还会出现Device(设备ID)connected的字样。这里设备可以是连接PC的android的机器，也可以是模拟器。
二、CTS测试的方法：
1、在cts_host>下敲入help，会显示cts下的许多命令。ls –plan命令显示google自带的测试方案，如：Java、Signature、Android、CTS、VM、RefApp、Performance、AppSecurity。其中Performance这个方案是google暂不要求的。Java、Signature、Android、VM、RefApp、Appsecurity方案都是CTS方案的子集。
2、用命令ls -d来查看已连接的设备，CTS测试之前我们必须保证至少有一个设备连接上。
3、输入命令start –plan CTS来执行CTS测试方案，该方案有两万多条测试项目，需要很长时间，因此除了第一次测试之外，不建议这么做。我做的都是针对某些包的测试。如果连接了多个设备的话需加上-d参数，后面跟上设备id来告诉CTS需要测试的设备。
4、对单独一个包进行测试的方法：start –plan CTS –p 包名；推荐用这种方法来进行针对性的测试。需要知道有哪些包名，可以输入命令：ls –plan CTS
5、也可以针对单独一个case进行测试：start –plan CTS –test 类名#方法名
三、查看测试的结果：
测试生成的log在\android-cts\repository目录下以log+测试时间.txt命名。测试报告在android-cts\repository\results目录下，也是以测试时间命名。
四、注意事项：
测试前需要安装一个apk：adb install -r android-cts/repository/testcases/.apk 然后在设置里面
E. 如何进行android兼容性测试cts
二、运行CTS的方法，步骤如下：
（1）进入目录android-cts，该目录是通过上面那两种方法获得的。在android-cts目录下会有3个文件夹，其中一个是tools。
（2）进入tools目录，输入./startcts来启动CTS。
（3）如果运行成功会出现Android CTS version 2.3_r1的字样（我的android的版本是2.3的）。如果有连接设备到PC上还会出现Device(设备ID)connected的字样。这里设备可以是连接PC的android的机器，也可以是模拟器。
三、CTS测试的方法：
（1）在cts_host>下敲入help，会显示cts下的许多命令。ls –plan命令显示google自带的测试方案，如：Java、Signature、Android、CTS、VM、RefApp、Performance、AppSecurity。其中Performance这个方案是google暂不要求的。Java、Signature、Android、VM、RefApp、Appsecurity方案都是CTS方案的子集。
（2）用命令ls -d来查看已连接的设备，CTS测试之前我们必须保证至少有一个设备连接上。
（3）输入命令start –plan CTS来执行CTS测试方案，该方案有两万多条测试项目，需要很长时间，因此除了第一次测试之外，不建议这么做。我做的都是针对某些包的测试。如果连接了多个设备的话需加上-d参数，后面跟上设备id来告诉CTS需要测试的设备。
（4）对单独一个包进行测试的方法：start –plan CTS –p 包名；推荐用这种方法来进行针对性的测试。需要知道有哪些包名，可以输入命令：ls –plan CTS
（5）也可以针对单独一个case进行测试：start –plan CTS –test 类名#方法名
四、查看测试的结果：
测试生成的log在\android-cts\repository目录下以log+测试时间.txt命名。测试报告在android-cts\repository\results目录下，也是以测试时间命名。
五、注意事项：
（1）测试前需要安装一个apk：adb install -r android-cts/repository/testcases/.apk 然后在设置里面