本篇博客的视频教程首发于 Youtube:科技小飞哥,加入 电报粉丝群 获得最新视频更新和问题解答。 header

背景

不知道大家有没有这种经历,想要抢课,定场,发现抢不到,想要捡漏,又要随时刷,今天我就来讲一下我是怎么使用Go语言开发自动化脚本来解决定场,抢购,预约的难题。

基础知识

浏览器发送HTTP请求

我们在浏览器中打开一个网站执行一系列操作,其实就是用户通过浏览器与网站服务器的HTTP交互的过程。

下图是一个最简单的流程:

http flow

  1. 用户在浏览器输入账号密码登录(也可能是扫描二维码或者第三方账号登录),然后浏览器会发送一个HTTP请求到网站服务器,网站服务器验证成功之后根据你的账号信息生成一个Token或者Session,然后把Token或者SessionID返回给浏览器并告诉浏览器登录成功,浏览器跳转登录后的页面。
  2. 用户点击查询,比如查询是否有合适的Slot,浏览器发送查询HTTP请求给网站服务器,带上TokenToken是用来验证这个用户是谁,服务器验证成功之后返回可以预定的列表。比如一个可预订的时间列表。
  3. 用户选择列表里面一个可用的Slot,开始预订,浏览器发送预订HTTP请求给网站服务器,带上TokenSlotIdSlotId用来验证你要定的那个Slot是什么,比如是哪天什么时间段等等。如果服务器收到请求的时候这个Slot还是可用的,那么就记录下单并返回预订成功。
  4. 然后你就可以点击付款按钮,可以通过余额,银行卡或支付宝等第三方付款方式付款,付款成功会返回给浏览器告诉用户下单成功。

自动化流程

理解了这个最简单的流程,那我们就可以开始想怎么样自动化流程。

最简单的情况就是:我们把查询和预订的过程自动化。当然登录的过程也是可以的,只不过很多第三方/二维码登录的,有时候还需要验证码,比较复杂,为了简单我就自己通过浏览器登录拿到Token之后自动查询和预订。

http flow

  1. 登录成功后拿到Token。
  2. 脚本使用这个Token运行脚本工具,循环执行查询和预订的HTTP命令,如果预订成功,邮件通知给用户。
  3. 收到邮件之后打开浏览器付款。

Token一般来说每次登录后有效期为1小时到1天左右(取决于网站服务器的设定),所以我们需要每段时间获取一次Token重新执行脚本。

自动发送Email

SMTP是发送邮件的协议,我们可以通过简单的代码来实现发送邮件的功能,在这里主要是通过gomail.v2的 Go语言库 来支持订购成功之后发送邮件通知。

每个邮件运营商 (qq, 163, gmail, outlook, …)都有自己的SMTP的域名和端口, 比如你使用qq邮箱发邮件,去QQ邮箱的 帮助中心 可以查到他们的SMTP服务器端口是465或者587,就用他们提供的smtp.qq.com:587,即可发送成功。

其他的SMTP协议的运营商可以查看我的另一个博客:

各大邮箱smtp服务器及端口

实现

有了这些基础知识之后,我们就可以开始用代码实现脚本工具的自动化流程了。

模拟

需要实现自动化脚本,第一步就是需要模拟HTTP请求,相当于把用户在浏览器的一系列操作用代码来实现。

要代码实现我们就需要先知道发送的HTTP请求的URL,Header,Payload分别是什么。

开发者模式

Chrome浏览器使用F12进入开发者模式,选择Network->找到HTTP请求的Name->可以看到右边有Header、Preview、Response等信息,这就是用户行为(点击事件)产生的网络交互,也就是浏览器向服务器请求数据并返回给浏览器的过程。

而我们要模拟的就是这个HTTP网络交互的行为。

http flow

找到你要模拟的HTTP请求的Name,右键->Copy->Copy As cURL

cURL

cURL是一个Linux命令,开发人员使用它来与服务器进行数据交互,cURL 里面包括 url, body, header, 加密方式 等等,正确设置命令后执行即可得到服务器的正确响应。

拿到cURL我们可以写go语言代码来模拟HTTP请求,要自己填充Header,Body等信息。容易写错。庆幸的是,已经有人做了自动化的工具帮我们一键把cURL转成Go语言的代码,也就是说我们不用自己写具体的HTTP请求代码了。

网站地址:curl-to-go

我们把cURL复制到网站里面就可以实时得到具体的Go代码。

http flow

当然这个工具只帮我们创建了Body的结构体,具体的值还是需要我们去填充,我们从curl里面找到 --data-raw来自己填进去即可。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
// Generated by curl-to-Go: https://mholt.github.io/curl-to-go

// curl 'https://www.zhihu.com/api/v4/answers/2807591609/voters' \
//   -H 'authority: www.zhihu.com' \
//   -H 'accept: */*' \
//   -H 'accept-language: zh-CN,zh;q=0.9,en;q=0.8' \
//   -H 'content-type: application/json' \
//   --data-raw '{"type":"up"}' \
//   --compressed

type Payload struct {
	Type string `json:"type"`
}

data := Payload{
// fill struct
    Type: "up",  // fill struct yourself based on the data-raw
}
payloadBytes, err := json.Marshal(data)
if err != nil {
	// handle err
}
body := bytes.NewReader(payloadBytes)

req, err := http.NewRequest("POST", "https://www.zhihu.com/api/v4/answers/2807591609/voters", body)
if err != nil {
	// handle err
}
req.Header.Set("Authority", "www.zhihu.com")
req.Header.Set("Accept", "*/*")
req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8")
req.Header.Set("Content-Type", "application/json")
// Other Headers

resp, err := http.DefaultClient.Do(req)
if err != nil {
	// handle err
}
defer resp.Body.Close()

代码

整个流程清楚了,那么下一步就是打开你的编辑器,来实现代码了。我这里实现了一个网站的预订的代码,来给大家讲解一下,登录我并没有实现,而是使用curl to go 生成了Go语言代码并根据go struct改造具体条件。在Cookie没过期的情况下可以循环调用。

自动预订代码:github.com

auto_flow

  1. query.go,查询的HTTP请求,把刚才curl-to-go生成的Go代码Copy进来,填上Payload就可以请求成功了。
  2. book.go,把你刚才query的结果传进来,根据你的需求过滤满足条件的Slot,直接预订即可。
  3. email.go,发送邮件的接口,我使用了gomail.v2的库,非常好用。
  4. config.go,配置文件,通过json输入
  5. parse.go,解析respone的,
  6. main.go,主函数,读取json配置,定时执行查询和预订的接口,根据response的结果看是否成功,成功后发送邮件给你。
  7. README.md,告诉你怎么执行这个工具的。

这是相对比较简单的流程。

所以我们要做的就是手动在浏览器登录(也可以代码模拟登录),然后把返回的token放到query的HTTP请求里面。更简单的做法是,直接把query的cURL拿来curl-to-go转成go语言,Cookie已经在Header里面了。

然后我们再写booking的的流程,正常来说在一段时间内的Header都是一样的,我们直接把query的Header存起来赋值给booking的HTTP请求即可。

然后再写定时,你可以开启一个定时器,可以每x秒执行一次,然后执行n次停下来,或者永久执行。只是这个token一段时间后会过期,需要重新从浏览器登录并拿到Token信息复制到代码里面执行。

下一步就是发邮件,我们使用SMTP请求发送邮件,需要配置两个邮件,A发给B,然后需要填写A邮箱的SMTP+Port+email+password

我这边使用了gomail.v2的go语言库。

官网链接:gomail.v2 以供参考。

这样我们就写完代码了, 执行 go run main.go 就可以执行了。

然后你就可以玩玩手机等着预订成功之后给你发邮件了,你也可以只是查询,查询到之后给你发邮件你自己登录进去再预订。

结语

代码放在了 Github 上,有兴趣的小伙伴可以参考,只不过每个网站的HTTP调用的Header和payload的格式都不一样,还需要你自己修改一些代码。所以还需要有一定代码能力的人才可以改造成功。

但是整体的框架我已经搭好了,希望可以减少你大量的工作量。

请阅读你需要访问的网站的规定,是否禁止第三方脚本,避免自己的账号有被封禁的风险。请遵守法律法规。

<全文完>

视频教程

本篇博客的视频教程首发于 Youtube:科技小飞哥,加入 电报粉丝群 获得最新视频更新和问题解答。