服务端nodejs抓取jsonp接口数据实现示例
目录
- 前言
- 方法思路
- Node环境动态执行脚本
- eval()
- Function
- vm.runInThisContext (推荐)
- 完整代码实现
前言 众所周知,
jsonp
接口返回的是一段 js
脚本,在浏览器中使用 script
标签引入、加载成功后,会直接执行其中的 callback
方法,以参数的形象直接返回真正有用的接口数据,以此达到跨域请求的目的。但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑。出于好奇,最近在研究使用
node
程序分析股票的数据,看看能不能找到一些规律。但前提是要获取一批数据,所以查看了几个相关的网站平台,通过开发者工具的
network
查看,其中接口数据基本都是使用 jsonp
格式的。温馨提示: 不要过度频繁爬取数据,可能涉及网络安全问题。
方法思路
- 在
node
服务端使用axios
获取jsonp
返回的内容 - 使用
typeof
查看返回内容的类型 - 解析
jsonp
返回的内容、执行其中的callback
方法
node
环境中如何动态的执行这一段 String
类型的代码。Node环境动态执行脚本
eval()
直接调用,使用本地作用域。
function test() {let x = 10, y = 20; let sum = eval('x + y')console.log(sum); // 30}
Function
与
eval
不同的是,Function
创建的函数只能在全局作用域
中运行。test()
执行会报错:ReferenceError: x is not defined
。// 报错function test() {let x = 10, y = 20; let fn = new Function('return x + y')let sum = fn()console.log(sum) // ReferenceError: x is not defined}// 正常执行global.x = 10global.y = 20function test() {let fn = new Function('return x + y')let sum = fn()console.log(sum) // 30}
vm.runInThisContext (推荐)
vm 是
node
的核心模块,vm
可以使用 v8
的 Virtual Machine contexts 动态地编译和执行代码,而代码的执行上下文与当前进程隔离。【服务端nodejs抓取jsonp接口数据实现示例】被执行的代码无法获取本地作用域,只能在当前的 global 对象的上下文中编译并执行 code 。
const vm = require('vm')global.x = 10global.y = 20function test() {let sum = vm.runInThisContext('x + y')console.log(sum) // 30}
完整代码实现
// index.jsconst vm = require('vm')const axios = require('axios')// 在 global 对象上挂载对应的 callback 方法global.jQuery11230971606670044967_1649312313646 = function(res) {// jsonp 接口返回的数据console.log(res)// do something}async function getData() {let { data } = await axios({url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646& fid=f62& po=1& pz=10& pn=1& np=1& fltt=2& invt=2& fs=m%3A90+t%3A3& stat=1& fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124& ut=b2884a393a59ad64002292a3e90d46a5'})// 查看返回内容的类型console.log(typeof data)// 执行 callbackvm.runInThisContext(data)}// 调用抓取数据的方法getData()
特别提醒:浏览器环境与
Node
执行环境挂载全局对象是有区别的。在浏览器环境中,全局作用域可以使用
var
来声明一个变量或方法,会自动挂载到 window
对象上;但是在
Node
环境中,每个文件或者模块,都会被封闭在一个单独的作用域,因此不管在哪里声明的变量,相对于当前模块或文件,都是在局部作用域,不会自动挂载到全局 global
对象中,如果要使用必须手动去挂载。以上就是服务端nodejs抓取jsonp接口数据实现示例的详细内容,更多关于nodejs抓取jsonp接口数据的资料请关注脚本之家其它相关文章!
推荐阅读
- 投稿|华为让出的高端市场,小米12S靠徕卡能抢到吗?
- 投稿|预制菜上半年发展复盘:B端仍是突破口
- uni-app|uni-app app端web-view通信
- 【服务器数据恢复】IBM服务器raid5两块硬盘离线数据恢复案例
- PHP后端面试85问
- 分享10个常见的JavaScript前端手写功能
- 常用前端手写功能进阶示例详解
- 实现一个博客系统----基于前后端分离
- 新能源|便携储能:C端需求驱动渗透率 B端锂电成本定增长
- 前端|小程序内部引导关注公众号实现方法