有些朋友遇到的一些网站
和以往不太相同
这些数据是实时变化的
比如
文字直播的数据
正在直播的弹幕
股票的指数行情
正在聊天的数据
...
这些数据因为具有时效性
所以就不能像普通网站一样
后台久久更新一次
等用户访问再将新数据渲染到网页
在网页上要实现这种
实时变化的数据
一般来说有以下两种方式
轮询
这种方式就是
用 ajax 每隔一小段时间
去请求服务器的最新数据
只有你频繁勾搭服务器
它才会给你返回最新数据
另一种是
websocket
我们今天主要来说这个玩意
什么是 websocket 呢？
它是一种网络协议
我们熟知的协议有
http 、 ftp 这些
而 websocket 的协议是 ws
它可以做到的是
客户端与服务端的数据交互变得
实时
只要让前端和服务端握一次手
然后就可以和服务端建立长期的
连接
客户端握手订阅后
服务器只要有新的数据
就可以直接推送给客户端
是不是很主动咧
比如很多聊天室
就是用 socket 做到马上收到对方的消息
问题来了
对于这种
实时变换的数据
应该怎么爬呢
那么接下来就是
关于 websocket 的调试
我们可以在 Chrome 的调试面板中
选中 WS 进行过滤
当发现有 socket 连接的时候
就会出现这个
值得注意的是
这里返回的状态码是 101
和我们玩 http 略不同
http 成功响应的状态码为 200
点进去之后
你就可以看到
请求的 socket 地址
以及请求头相关信息
我们还可以点击右边的
Messages
来查看交互信息
看下面这里就是
websocket的信息收发
获取到这些之后
我们就可以使用 Python 来连接了
Python 有专门的库来操作 socket
比如 websocket-client、websockets
我们这次就来玩玩
websocket-client
pip install websocket-client
安装玩就可以直接使用了
关于 socket 的连接
一般都有这么几个回调方法
open 方法
会在服务器与我们链接成功后触发
message 方法
会在收到消息后触发
error 方法
会在连接过程中发生错误触发
close 方法
会在连接关闭的时候触发
接着我们就来体验一下吧
连接到 websocket 服务器
连接成功后我们就给服务器发送消息
在接收服务器消息这里获取
运行起来
这样就可以获取数据啦
对了
对于一些 wss 协议
可以使用这招搞定哦
ok
今天咱们就说到这里
那我们下回见咯
peace
记得关注
么么哒
猜你还想看
