嘿嘿嘿,小帅b又来跟你说说一些爬虫过程中需要斗智斗勇的事情了,这次咱们就来说说关于一些 JS 混淆加密的事。所谓 JS ,就是 JavaScript ,一种前端的脚本语言,一般情况下每个网站都需要 JS 来做一些数据交互,页面渲染等一些异步操作。当然,对于反爬的人来说,JS 的用处还可以用来对一些数据进行加密。





今天咱们就以有道词典这个在线翻译的网站为例,看看他们是如何加密请求数据的,以及小帅b是如何通过 Python 模拟请求从而获得关键数据的。






咱们打开有道翻译的网站:http://fanyi.youdao.com/





输入中文然后点击翻译按钮就会翻译出来英文,比如:





Hello, everyone, I'm Small handsome b.





哈哈哈,ok,我们打开开发者工具,按下 F12 来抓一下数据,当我们点击翻译的时候,可以看到有了一个请求:






点进去看可以发现,POST请求的地址是:

http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule





我们再来看一下请求过去携带的参数是啥





可以看到,还是需要挺多参数的,其中的 i 就是我们要翻译的内容,那简单啊~想要得到翻译后的数据,那么我们直接把请求头和所需参数的值复制一下,然后用 requests 请求一波不就搞定了?





说干就干,代码走起!


定义一个请求的 url 和 headers




再把 form data 的数据整过来




requests 走起




运行一波





what? 返回的是一个错误码。






好的吧,如果是这么简单,小帅b何必写这篇教程呢?如果你之前玩过加密相关的,那么你应该对 form data 中的 salt、sign 这两个字眼不陌生,那么,如何破呢?





接下来就是:

学习 python 的正确姿势




我们再点多几次翻译按钮,然后就可以看到有多次请求。





可以发现,每一次的请求中的 salt、sign、ts、bv 参数是会一直变化的。




how to do it?我们回到 NetWork ,我们看到 Initiator 这一栏,可以看到它请求到了 fanyi.min.js:1 这个 js 文件。





我们就点 fanyi.min.js:1 进去看看,牛的一比,直接看不懂...





还好,左下角有一个 {} ,可以点一下





发现有惊喜,直接帮我们把压缩的 js 代码格式化。





牛逼不,行号都给我们显示出来了,不过到了这里,依然懵逼,我们还是不知道怎么拿到 salt、sign、ts、bv 这些参数的值...


咋办?恩,Chrome浏览器的打断点功能在这个时候就要派上用场了。这时候还要把帅b语录搬过来应景哈哈哈。





那么如何使用断点功能呢,我们看到 Chrome 的右边是这样的:





看到这个 XHR/fetch BreakPoints 没,在这里我们可以添加 url ,根据请求这个 url 打断点。而我们要打的断点就是一开始获取到的请求 url : 


http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule


点击 XHR/fetch BreakPoints 右边的 + 号,然后把链接复制进去:




这时候再点击翻译按钮:





突然,你的屏幕一灰,表示好事将近,我们成功打上了断点,也就是说,现在我们可以在请求之前做一些骚操作。





这时候我们将右边的 Call Stack 展开:




这些,就是我们在点击翻译按钮之后,会调用到 js 里面的方法,从这里下手,来寻找那些参数是被如何加密的,说实话,用文字来说怎么去 debug 有点繁琐..要不,视频走起?



(放大看)



挖槽,我 1080p 的视频被腾讯压缩成 av 画质,但也不能否认我是全网第一良心博主有没有,请叫我良心b!!!





通过帅b的视频,相信你已经知道了这些参数是如何加密的了,那么接下来就可以通过 Python 模拟了。


代码走起!


ts 在 js 中是这样的:

r = "" + (new Date).getTime()


那么在 Python 中就是这样的:





bv 在 js 中是这样的:

n.md5(navigator.appVersion)


那么它在 Python 中就是这样的:



salt 在 js 中是这样的:

r + parseInt(10 * Math.random(), 10)


那么它在 Python 中就是这样的:



sign 在 js 中是这样的:

n.md5("fanyideskweb" + e + i + "@6f#X3=cCuncYssPsuRUE")


那么它在 Python 中就是这样的:





所以我们获取 form data 的方法就是这样的:





那么我们的请求就可以这样:




这样我们就使用了最正确的参数值来请求了,运行一波:





cool~~~拿到数据啦!顺便说一句,用到的库有这么几个:




完事了!


ps:觉得对你有帮助,给我点个在看,转发,赞赏。让帅b老仙,一直法力无边。另外,接下来会有骚动作,为了能让你及时收到通知,赶紧把这个公众号设置为星标,以免到时亏得一批,我们下回见,peace


扫一扫

学习 Python 没烦恼