1 介绍
Auto.js is a UiAutomator on android, does not need root access(安卓平台上的JavaScript自动化工具)
看作者的github ID
hyb1996应该是个90后大佬;由于Auto.js很适合用来写安卓脚本,被国内各种灰产滥用是少不了的,毕竟很多人靠这个赚钱。
我自己比较喜欢偶尔写一些游戏脚本
用用,之前一直用按键精灵写脚本,找图找色功能比较好用,但需要设备有root权限,而且用久了发现有些功能实现起来还比较麻烦,故这次打算找个新平台尝试一下。Autojs由于是基于安卓的无障碍服务,只有个别命令需要root权限,此外还支持对控件的操作,功能看上去还挺强大。
因为我的需求是能够写游戏脚本,不像一般的APP可以直接操作控件,而只能通过基于坐标的操作完成。所以Autojs里关于控件的部分可以略过不看(除了多账号登录时的登录界面可能会用到一点控件操作,其他基本用不到),大致的学习流程:
- 软件安装及环境搭建(版本选择、运行测试)
JavaScript
基础语法学习(变量类型、流程操作…)Auto.js
分模块学习,如系统交互(文件读写、设备信息、打开应用…)、找图找色(游戏脚本的核心)、UI界面、多线程…
2 安装及环境配置
我用的是最新的Pro版,去淘宝官方店买就行,也不贵;app
安装好了就可以在手机上编脚本了,但由于效率低大多数情况都是在电脑上编连接手机(或模拟器)进行测试,官方是通过VSCODE
的一个插件来实现这一交互的,虽然对像我这样的非VSCODE用户(Vim党)来说不够友好,但好像只有这一条路可走。
安装好后把Auto.js-Pro-Ext
这个插件装上(Vim用户再装个vscodevim),随便创建个.js
文件会发现右边有个绿色的小安卓图标,点击后(或者通过快捷键Ctrl+Shift+p
)发现可以通过输入IP(和电脑同一网络)、adb(插USB)两种方式连接,手机的话一般连接不会有什么问题,连接成功的话右下角会有一行提示。
要注意的是如果使用的是模拟器,这时候的网络配置就有点麻烦了。比如我用的雷电模拟器,需要开启网络桥接模式、并设置好静态IP才能连接上,具体操作可以看这篇文章。
(非Vim用户直接跳过就行)Vim用户可能需要配置下自己习惯了的常用快捷键,直接在插件的设置里打开settings.json
文件改就行了,范例如下:
{
"vim.easymotion": true,
"vim.incsearch": true,
"vim.useSystemClipboard": true,
"vim.useCtrlKeys": true,
"vim.hlsearch": true,
"vim.insertModeKeyBindings": [
{
"before": [
"<C-h>"
],
"after": [
"<left>"
]
},
{
"before": [
"<C-l>"
],
"after": [
"<right>"
]
},
{
"before": [
"<C-j>"
],
"after": [
"<down>"
]
},
{
"before": [
"<C-k>"
],
"after": [
"<up>"
]
},
{
"before": [
"<C-d>"
],
"after": [
"<Delete>"
]
},
],
"vim.normalModeKeyBindings": [
{
"before": [
"E"
],
"after": [
"$"
]
},
{
"before": [
"H"
],
"after": [
"^"
]
},
],
"vim.visualModeKeyBindings": [
{
"before": [
"E"
],
"after": [
"$"
]
},
{
"before": [
"H"
],
"after": [
"^"
]
},
],
"editor.formatOnSave": true,
}
连接上了之后当然是必不可少的hello world
测试,常用的输出方式有3种:
toast() //输出到手机屏幕
log() //输出到日志
toastLog() //前两者之和
console.log() //输出到控制台,console模块的一个成员函数,可以通过console.show()在手机上显示
3 JavaScript基础
推荐直接去w3school或者runoob过一遍,这里只列举一些我觉得要注意的地方。
直观感受,很多语法和C\C++一模一样(除了声明变量要用
var
、函数要加function
…)。undefined
:只声明过但未赋值的变量。==
与===
: 前者是equality
、后者为identity
,即后者不会进行类型转换,类型不同的结果一定不等。JS的数据类型:
var length = 7; // 数字 var lastName = "Gates"; // 字符串 var cars = ["Porsche", "Volvo", "BMW"]; // 数组 var x = {firstName:"Bill", lastName:"Gates"}; // 对象
null
:类型是对象,不存在的事物。null === undefined // false null == undefined // true
对象: 通过关键词 “new” 来声明 JavaScript 变量,则该变量会被创建为对象。
//也可以通过person.firstName="..."的方式初始化 var person = { firstName: "Bill", lastName : "Gates", id : 678, fullName : function() { //成员函数 return this.firstName + " " + this.lastName; } };
在字符串中换行,需要加一个反斜杠(非ECMAScript标准):
document.getElementById("demo").innerHTML = "Hello \ Kitty!";
String
和Number
相加时,会将数字转为字符串;String
和Number
相减时,会将字符串转为数字;数组添加元素:
array.push("value")
常用对象: Date() (获取时间)、 Math() (常用数学工具)
use strict;
: 定义 JavaScript 代码应该以“严格模式”执行。JavaScript的对象通过
引用
来寻址://person是个对象 var x = person; // 这不会创建 person 的副本,x相当于person的别名,即引用
4 Auto.js常用命令及模块
下面分几个部分把编写游戏脚本时可能用到的模块全部讲一下吧,顺便对自己也是个学习完善的过程,全部学完花的时间可能比较多,自己也还有别的事要做,尽量每天写一点吧。
官方文档地址:https://hyb1996.github.io/AutoJs-Docs/#/
4.1 系统读写等操作
4.1.1 App、Device
- 启动应用,有两种方式:
app.launchApp(appName)
,通过应用名称启动,即图标下显示的名称;app.launch(packageName)
,通过包名启动,关于如何获取应用的包名后面会讲到,举个栗子:app.launch("com.bilibili.priconne")
;
获取包名:
app.getPackageName(appName)
,与此相对的还有根据包名获取应用名,举个栗子:appName = app.getPackageName("公主连结R") toastLog(appName) //输出:com.bilibili.priconne
读写系统剪切板
setClip("将剪切板设置为这段话") //getClip()返回剪切板内容 toastLog("当前剪切板:"+getClip())
等待应用界面出现,
waitForPackage(package[, period = 200])
停止脚本:
exit()
设置脚本需要的安卓版本号
requiresApi(24)// 需要至少Android 7.0 requiresAutojsVersion("3.0.0")//指定Autojs最低版本号 //会自动检测当前版本号,若过低会报错
获取屏幕分辨率
var Width=device.width; var Height=device.height; toastLog(Width+"x"+Height);
获取设备识别码
Autojs里常用的设备标识是IMEI
和ANDROID_ID
。IMEI
(International Mobile Equipment Identity)是15位数字组成的国际移动设备身份码,写在主板上和硬件绑定,就算刷机也没法改变。AndroidId
是一串64位的编码(十六进制字符串),是随机生成的设备的第一个引导,通过它可以知道设备的寿命;在设备恢复出厂设置或刷机后,该值可能会改变,故和系统绑定。
当脚本要商业化的时候,可以通过设备码区分不同用户;如果脚本写出来只是一个人用,获取设备码应该也没啥用。var deviceId=device.getIMEI(); var androidId=device.getAndroidId(); toastLog(deviceId+"\n"+ androidId);
Device模块有很多功能,比如调整音量、屏幕亮度、获取内存和电量…但感觉写游戏脚本都用不到所以直接跳过吧。
4.1.2 Files
稍微复杂一点的脚本可能涉及到日志记录,比如刷了多少次图、有没有error之类,所以对文件的处理还是挺有用的。
返回路径
var path1=files.cwd(); //当前工作文件夹绝对路径 var path2=files.path("."); //相对路径转绝对路径 //还有一些不太常用的如files.getSdcardPath()、files.listDir(path[, filter])
文件(夹)操作(返回bool)
var path="/sdcard/newFolder/" if(!files.create(path)){} //创建文件或文件夹,若已存在则返回false,(需要上一级文件夹已存在) files.createWithDirs("/sdcard/newFolder1/newFolder2"); //若不存在会创建一系列文件夹,比上一个命令更强大 //还有些如删除文件、判断空文件夹等功能、略过。
文件读写(和python好像- -)
var path = "/sdcard/1.txt"; var text = "Hello, AutoJs"; //以写入模式打开文件 var file = open(path, "w"); //open函数还可以指定文件编码 // "r":读, "w":写 , "a":从文件末尾附加 file.write(text); //还可以:file.writeline()、file.writelines() // var text=file.read() ,或者file.readlines() file.close();
4.1.3 Shell
Autojs有shell函数和shell对象,前者适合执行单次命令,后者由于使用同一个shell进程所以对多条命令效率高:
//shell函数,返回result对象;result.code返回码,成功为0;result.result,运行结果(字符串);result.error,无错误时为空,若未获取到root权限可能返回"Permission denied"。
var result=shell("ls",true);
if(result.code==0){toast("执行成功");}
//shell对象
var sh=new Shell(true); //构造函数
sh.exec("ls"); //执行命令,注意该函数没有返回值!! 并且命令执行是"异步"的,不会等待上一步执行完成。
sh.exit(); //强制退出
sh.exitAndWaitFor(); //等待执行完成并退出
4.1.3.1 Android常用shell命令
Input
input text 'hello world' input keyevent 26 # Powerkey
am
# 感觉对写脚本没太大帮助... am start ... am kill ... am force-stop ... am restart ...
pm
pm list packages #列出所有APP包,这个命令感觉有点用 pm install ... pm uninstall ...
wm
wm size #查看屏幕尺寸 wm size 720x1280 # 修改尺寸 wm size reset #还原
4.2 游戏脚本核心
4.2.1 触摸模拟(基于坐标)、Keys
sleep(n)
:暂停运行n毫秒,游戏脚本中最常出现的一个命令;有一些操作必须给它一定的缓冲时间才能正确运行完成。随机数:
random(min,max)
指定区间、random()
范围是[0,1);点击坐标时常设置一个随机偏移,防止被检测到(每次都点同一个点还是太明显了)分辨率适配问题,
setScreenMetrics(1080, 1920);
、表示脚本适合的屏幕宽高为1080x1920(编脚本时基于的设备),如果在别的分辨率手机上运行则会自动放缩光标。听上去很好的一个功能,一般游戏脚本必加这一行,但具体效果如何我没有测试过。click(x,y)
:点击坐标(无需root权限),返回是否成功,点击过程大约150ms,可能被其他事件中断。更长时间的点击如longClick(x,y)
、持续600ms。press(x,y,duartion)
:按住坐标,一般超过500ms才被系统认为是长按。swipe(x1,y1,x2,y2,duration)
: 从(x1,y1)滑动到(x2,y2),持续duration。RootAutomator
上面的几个触摸操作都是免root的,而基于RootAutomator对象的触摸需要root权限,优点是执行没有延迟,明显比click要快。var ra=new RootAutomator(); //初始化一个对象 ra.tap(x,y,id); //id代表不同“手指”,用于多点触摸,不需要时可省略该参数 ra.swipe(x1,y1,x2,y2,duration,id) ra.press(x,y,duration,id) // 这些命令组合在一起就能完成复杂的操作了~ ra.touchDown(x,y,id) ra.touchMove(x,y,id) ra.touchUp(id)
模拟按键;(返回bool值)
if(back()){}; //按下返回键 home() //返回桌面 还有一些需要root权限的,开头字母大写: //Home()、Back()、Power()、Menu()、OK()、KeyCode()...
4.2.2 colors、images
4.2.2.1 colors
颜色常用十六进制值或RGB值来表示,如蓝色可表示为#0000FF
或(0,0,255)
,一般都是#
后面带6位十六进制数,分别表示R、G、B,但Autojs是8位,前面多了一个A(Alpha)
、表示透明度,即ARGB。
Autojs通过一个16进制整数或一个字符串表示一个颜色,两者可以互相转换
var myBlue=colors.toString(color.BLUE); //返回#ff0000ff,colors.BLUE代表蓝色,后面必须大写。 var numBlue=colors.parseColor("#ff0000ff"); //返回-16776961,至于为什么是这个数我也不清楚,平时还是用字符串表示比较好。
colors对象里还有一些判断两个颜色的相似度、返回A、R、G、B通道值的函数,平时也基本上用不上;颜色的用途主要体现在后面的多点找色上。
4.2.2.2 images
游戏脚本的灵魂所在,images主要有图片处理、找图、找色几个部分;想让脚本识别游戏的某个区域、如果该区域的位置是固定的,通过构造多点比色比较快,而如果位置不固定则常用找图的方式,虽然占用资源比较多但准确性有保障。
- images对象使用完后必须回收,防止内存泄漏。
var img=images.read("./name.png"); //读取图片,错误时返回null
//var img=images.load(url); //从网址获取图片
//...图片操作后回收
img.recycle();
// 例外:captureScreen()返回的图片无需回收
images对象能对图像进行复制、保存、Base64编码解码、剪切、调整大小、放缩、旋转、拼接、灰度化、阈值化、颜色控件转换、二值化、模糊与平滑处理、滤波…(强是很强大,就是基本上用不上)
获取截图权限:在找图找色之前往往要先获取当前屏幕的截图,这个截图一般是临时的、不会保存到文件(也可以设置保存)。 截图之前要向系统申请一次截图权限:
if(!requestScreenCapture()){ //可指定参数true(横屏截图) 或者 false(竖屏截图)
toast("请求截图失败");
exit();
}
- 请求截图:
captureScreen
//在此之前记住要请求一次截图权限
var img=captureScreen(); //可以指定保存路径path
- 颜色获取,很重要的一个函数,后面多点找色时可以先用它获取参数值。
//获取某点的ARGB颜色值
var color=images.pixel(img,100,200); //img是之前创建的images对象
- 区域找色(一种颜色);
findColor
、findColorInRegion
、findColorEquals
//首先说下region和threshold这两个参数,后面的找色函数options里都要用到:
//region、找色区域,默认全图、指定[x,y]代表左上角点,从(x,y)到右下角;指定[x,y,width,height]则代表从(x,y)到(x+width,y+height)。
//threshold、相似度临界值,0~255,默认为4;similarity=1-threshold/255,可以算出默认相似度达到了0.98,觉得太严了可以适当增大threshold
var point = images.findColor(img, "#ff0000", { region: [100, 200], threshold: 10 });
//如果找到则返回一个点,如:{463.0, 1242.0};找不到返回null。
//这里颜色值是6位,8位也行不过会忽略A通道(透明度)。
// findColorInRegion,功能和findColor一样,只是优化了下参数表示。
var point=images.findColorInRegion(img,"#ff0000",100,200,1080,1920,10);
// findColorEquals,要求颜色完全相等,相当于findColor的threshold参数设为0
var point=images.findColorEquals(img,"#ff0000",100,200,1080,1920);
- 多点找色:
findMultiColors
,先定位第一个点的颜色、根据(x,y)偏移获取并对比第二个点的颜色…以此类推,命令很麻烦,通常需要写一个函数来构造颜色列。
var point = images.findMultiColors(img, "#ff949fc7", //第一个点
[[60, 60, "#ffe6efe6"], //颜色Array,
[60, -60, "#ffeef3e6"],
[-60, 60, "#ffe6efe6"],
[-60, -60, "#ffeef3e6"]],
{ region: [1548, 803, 140, 140] }) //指定区域
- 检测某坐标颜色:前几个命令都是根据颜色找坐标,这个是给坐标、比较颜色
if(images.detectsColor(img,"#fed9a8",100,200,16,"diff")){}
//最后两个参数可省略,代表threshold和匹配算法;x=100,y=200
- 找图:有时候找颜色会匹配到一些奇怪的地方去,还得用找图来实现,有
images.findImage
、images.findImageInRegion
、images.matchTemplate
。
var temp1=images.read(pathToImage);
var point=images.findImage(img,temp1,{ region: [100, 200], threshold: 10 });
//同样findImageInRegion只是优化了下参数排列
//matchTemplate可以同时返回找到的多个位置,通过max控制最大的结果数量
var result=images.matchTemplate(img,temp1,{ region: [100, 200], threshold: 10 ,max:5});
//返回类型是一个MatchingResult对象,有point和similarity这两个数据成员。
4.3 脚本结构管理
4.3.1 Module
在一个文件里通过module.exports =...;
把某个对象导出,从而可以在另一个文件通过var name=require('file.js');
导入;相当于把整个文件当做一个函数,把exports的东西当做返回值。感觉用起来也不太方便,我选择不用这个功能。
4.3.2 Threads
- 启动一个子线程,
threads.start
:
//启动一个无限循环的线程
var thread = threads.start(function(){ //用thread对象可以控制线程运行状态,如果不需要操作可以改为:
//threads.start(function(){
while(true){
log("子线程运行中...");
sleep(1000);
}
});
sleep(5000);
thread.interrupt();
threads.shutDownAll()
: 停止所有通过threads.start()
启动的子线程等待线程开始执行(一般start后需要一段时间):
thread.waitFor();
(这里thread是前面创建的thread变量)等待线程执行完成:
thread.join();
,参数可以指定一个等待时间中断线程运行:
thread.interrupt();
注意多线程中的变量问题,涉及到线程安全,文档里说的很详细
线程间的通信与传递变量,通过
var connect = threads.disposable();
实现;发送结果:connect.setAndNotify(s);
,接收结果:connect.blockedGet(s);
4.4 交互界面
4.4.1 Events、Dialogs、Console
- Events模块主要用来监听按键、触摸、通知等,但放在单线程里可能会因为程序其他部分而无法及时执行,造成非预期的结果,常常和多线程
Threads
模块一起使用,如音量键关闭脚本的例子:
auto();
threads.start(function(){ //在子线程中调用observeKey()从而使按键事件处理在子线程执行
events.observeKey(); //启用按键监听
events.on("key_down", function(keyCode, events){
//常用事件有key、key_down、key_up、exit、toast、notification、touch(触摸某点)
if(keyCode == keys.volume_up){ //音量上键关闭脚本
exit();
}
});
});
events.on("exit", function(){ //脚本停止运行时会触发exit事件
toast("脚本已结束");
});
while(true){
log("脚本运行中...");
sleep(2000);
}
Dialogs
这部分提供对话框支持,但由于是弹出一个全屏的消息提示框,实际体验是并不太能用上;如果脚本和用户的交互性比较强的话可以考虑一下。
Console
控制台的作用更像是用于调试,但一般Windows下用VSCode写脚本也不需要在控制台上显示吧,所以这部分给人的感觉也是很鸡肋…不过console
的UI是固定的,也可以悬浮、最小化;有时不想设计UI的时候可以偷懒直接拿console
过来凑合用用。
4.4.2 Floaty、UI
界面设计这部分内容相当多,而且官方文档也有很多写得很简略(甚至一笔带过),要想真正从零开始设计出一个实用好看的UI出来还是有难度的;我是建议去网上多找几个模板文件运行运行,在别人的基础上修改起来就快多了,看不懂的地方再去翻翻文档解决。一般UI设计好后再和程序一对接(通过UI各组件的id),就可以打包做成apk了~
5 脚本实战:PriconneR
说来惭愧,作为一名二刺螈选手、PriconneR是我最近在玩的手游。一般我准备中长期玩的手游都会没事写写脚本,第一次从按键精灵转到用Autojs,就拿它作为案例练练手吧。
5.1 不同机型适配
游戏脚本最开始要考虑的问题就是用户需求吧。如果只是自己用用,那就安卓模拟器随便选个分辨率就可以开始写了;但如果用户很多而且手机分辨率各不相同,那在一开始写的时候就要注意适配的问题。我属于前者所以用模拟器就完事了~
5.2 需求分析
脚本需要实现哪些功能,这个需要对游戏有比较深的认识,至少要玩够一整天的游戏才会清楚哪些地方通过脚本实现比较方便、哪些地方手动就行了吧…把需要实现的功能全部列出来,有时候可能总结的不够全面,这时候可以看看别人是怎么写的(下载个游戏蜂窝app,看看别人写的脚本有哪些功能),毕竟论经验还是这些专门靠写脚本赚钱的人比较丰富吧。
以PriconneR为例,我总结了一些重复性高、比较枯燥的部分(每日任务),如:公会点赞、技能强化、日常探索、领取礼物和任务奖励、刷地下城、免费扭蛋、装备升星… (玩过的肯定明白吧,每天都要刷的)
5.3 基础模块编写与调试
对于上面这些需求,可以按顺序来编写,比如可以拍一拍脑袋、就决定先实现日常探索这个功能吧!接下来要做的就是进一步分解,把要实现这个功能的每一个步骤列出来,把每一步作为一个基础模块写成一个function或是别的。
比如日常探索这个功能,首先要进入探索页面吧,为此需要定位的基准(如游戏主页)吧,毕竟在哪个页面运行的脚本谁也说不准,那么第一个模块就是backToMainPage()
了;进入探索页面后还需要决定刷哪一关、用券刷还是手动刷、手动刷的话如何判断战斗结束、用券刷那么券没有了怎么办、刷完后会弹出一些确认窗口需要处理…一开始需要考虑的问题比较多没办法,但这些模块有很多是能直接放到别的功能中的,一般写着写着就会感觉越来越顺,之后要多考虑的往往是模块间的衔接,比如加个sleep(time)
保证动作能够顺利完成。
然后是整合模块进行调试,看能不能完成目标功能,如果不能那么是哪一步出问题了(图片识别失败?、动作间停顿时间过短?、没考虑意外情况出现?…)。有时候并不能立刻发现问题,而要等到用一段时间后。
5.4 功能实现
这一部分没啥好说的,一个功能完成、调试也没问题之后,那就下一个呗,只到实现所有当初列的需求功能。
5.5 UI制作
官方提供了很多案例,网上也有许多大佬自己做的漂亮UI,选一个自己进行修改就行了。我选择的是一个悬浮窗类型的界面,可以最小化到窗口边缘不占位置,也方便及时调整脚本的运行状态。
一般勾选框比较常用,其次是下拉选择以及按钮,功能这块最好加一个中止当前脚本运行,防止脚本不正确运行。
5.6 使用中微调
一般最经常调整的东西有两大块:一是间隔时间,即动作之间的sleep(time)
如何决定,这个要不断地尝试改良,没别的;二是图片识别,有时候换个电脑换个模拟器脚本就没法识图了,这时往往要考虑:
- 是不是图片选取不恰当,太小或者太大或者特征不明显
- 识图函数准确度参数是不是设置的太高或太低了
- 是不是用多点找色、区域找色等函数代替识图更好