开始监听网络请求

功能

对网页请求开始监听,需与【获取监听网络请求】、【停止监听网络请求】函数搭配使用。该功能在2024.03.12及之后版本的 Server 中由原“开始监听网络请求”名称更新为“开始监听网页Get请求”。

输入

名称 说明 示例
浏览器 【TBrowser】要抓取的浏览器网页,该字段仅支持浏览器变量。传入变量或者创建变量输出信息。 浏览器(传入变量)
网址 【字符串】输入请求URL监听网页请求(值为空则不筛选网页请求),支持通配符匹配(可使用正则表达式匹配)。 https://k.autohome.com.cn/4851/quality/01‘ 或 ‘https:\/\/chat.api.autohome.com.cn\/c1\/s1\/api\/GetBusinessInfo\?targetId=5769&targetType=1&timestamp=([0-9]+)&_appid=club.pc’(正则表达式匹配)
请求类型 【枚举】选择要获取的网页监听结果类型,可选all、main_frame、sub_frame、stylesheet、script、image、font、object、xmlhttprequest、ping、csp_report、media、websocket、other类型,按需求选择。 all

注意/说明

1.使用该函数前,需安装 Chrome 浏览器,若是执行此函数报超时,则需更新下 Chrome 插件,目前仅支持安装 “Chromeplug.exe” 插件,即旧版本谷歌插件。插件具体安装步骤可查看《支持工具部署手册》中的 “Chrome插件安装” 模块。
2.参数“网址”可通过在浏览器页面打开开发者调试工具(按【F12】键/单击鼠标右键-选择“检查”项),单击 “Network(网络)”-再次刷新浏览器页面-双击要抓取的网页请求后-单击 “Headers” 即可查看到 Request URL(请求URL)。 3.输入正则表达式匹配的请求 URL 地址时,可在浏览器页面打开开发者调试工具(按【F12】键/单击鼠标右键-选择“检查”项),单击“Console(控制台)”进入调试日志信息页面。
(1)输入以下代码内容可对输入正则表达式匹配的请求 URL 地址进行校验。var str:网页请求URL。var strg:需要检验的正则表达式请求 URL。

var str = 'https://chat.api.autohome.com.cn/c1/s1/api/GetBusinessInfo?targetId=5769&targetType=1&timestamp=1693313794204&_appid=club.pc'
var strg = /https:\/\/chat.api.autohome.com.cn\/c1\/s1\/api\/GetBusinessInfo\?targetId=5769&targetType=1&timestamp=([0-9]+)&_appid=club.pc/
var result = str.match(strg);
console.log(result)
if (result && (result.index >= 0)){
   console.log(1)
}else{
    console.log(0)
}

(2)输入后按回车键执行代码查看校验结果,为 1 时说明输入的正则表达式请求 URL 匹配成功,为 0 时则表示匹配失败。 4.参数“请求类型”中选择的网页监听结果类型对应开发者调试工具页面的显示类型。 5.开始监听后,需要对网页进行操作(如刷新、点击等),才能获取到网络请求。
6.该函数必须和【获取监听网络请求】、【停止监听网络请求】函数一起配合使用。
7.若出现以下结果报错,说明谷歌浏览器插件需更新至最新版,最新插件可在产品下载中心下载 “Resources.rar” 压缩文件或下载路径里获取:

8.该函数与【开始监听网页请求】函数区别在于:前者仅支持 get 请求,后者支持 post、get 等其他类型请求。

相关函数

【打开浏览器】、【获取监听网络请求】、【刷新】、【停止监听网络请求】、【日志消息】

示例/演示

1.首先打开浏览器要抓取的页面,即使用【打开浏览器】函数打开指定浏览器页面: 2.使用【开始监听网络请求】函数抓取网页请求的响应信息时,还需和【获取监听网络请求】、【停止监听网络请求】函数两者一起搭配使用:
(1)输入请求URL监听网页请求(为空时,则监听整个网页请求的响应信息): (2)开始监听后,还需对网页进行操作(如刷新、点击等),才能获取到网络请求,并将获取到的响应信息输出结果: (3)将网页监听到的结果使用【日志消息】打印出来并停止监听: (4)打印出来的结果与监听页面内容对比:

示例附件

组件[网页数据爬取监听功能]_20231009.db
组件[网页数据爬取监听功能(正则表达式匹配)]_20231011.db

下载路径

Chrome浏览器插件下载: ChromePlug.exe

results matching ""

    No results matching ""

    results matching ""

      No results matching ""