火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

问题如下:当我们看到的下载地址 down 后面的值不一样,每个链接都有改变怎么办?往下看

火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站! 火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

如本站类似的情况:这时我们可以通过抓包在返回的协议头中提取 你可能不知道咋办

方法来了 – 分别在宝塔创建(ajax防采集.php) 和 (cxyxt-ck.txt)的文件!

将以下代码复制到 ajax防采集.php 文件中【或直接获取下载文件文件】

日主题反爬 – ajax防采集 php代码 – 火车头调用!

 隐藏内容

 

if (isset($_GET[‘post_id’])) {
$post_id =$_GET[‘post_id’];
} else {
echo ‘没传递id’;
exit;
}

// 目标网站的的cookies-填入cxyxt-ck
$cookieUrl = ‘https://你的网址/cxyxt-ck.txt’;

// 使用cURL获取指定URL的内容
$ch = curl_init($cookieUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);$cookieData = curl_exec($ch);
curl_close($ch);

// 这里txt的保存cxyxt-ck【目标网站cookies】
$cookieString = trim($cookieData);

// 采集目标网站URL
$url = ‘https://目标网址/wp-admin/admin-ajax.php’;

// POST数据
$post_data = array(
‘action’ => ‘get_async_shop_down’,
‘post_id’ => $post_id
);

// 初始化curl会话
$ch = curl_init($url);

// 设置curl选项
curl_setopt($ch, CURLOPT_POST, true); // 设置为POST请求
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post_data)); // 设置POST数据
curl_setopt($ch, CURLOPT_COOKIE,$cookieString); // 设置Cookie
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 将响应作为字符串返回

// 执行curl会话
$response = curl_exec($ch);

// 关闭curl会话
curl_close($ch);

// 打印响应内容
echo $response;
?>

 

火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

双击打开 – ajax防采集.php文件 – 需要修改以下两处地方:

 

// 目标网站的的cookies-填入cxyxt-ck  —  第9行
$cookieUrl = ‘https://你的网址/cxyxt-ck.txt’;

火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站! 火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

// 采集目标网站URL  —  第21行
$url = ‘https://目标网址/wp-admin/admin-ajax.php’;

注:必须修改这两处重要的地方 – 不可直接使用

然后去目标网站F12刷新-获取cookies 【建议使用谷歌浏览器】 粘贴到 宝塔新建的 cxyxt-ck.txt文件里即可完成配置!

火车头采集开启有- ajax反爬的网站方法!

第一步:在源码中找到具有独特性的标签 – 我们需要用火车头采集 页面id

火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

火车头规则 – 获取id即可 – 用参数替换

第二步:创建关联多页编写规则 – 输出结果用 https://www.cxyxt.com/ajax防采集.php?post_id=[参数1]    注:网址需要替换

火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

数据来源 – 关联多页 – 下载地址 – 源码中    正则提取 ^(?[sS]*?)$

获取到的数据如下:

百度网盘

我们这时候可以直接在关联多页中用正则提取 网盘下载地址  用【参数1】输出即可

百度网盘

火车头采集下载地址遇到ajax防采集问题-火车头如何采集上有ajax的网站!

同理获取下载地址也是一样! 采集时注意,这是post网页访问你的网站-从而采集目标网站的地址 – 采集线程不要开太高

火车头coookies和useraget也别忘了设置 – 采集中cookies会失效的情况 – 会采集不到下载地址 – 需要更换cookies到宝塔cxyxt-ck.txt文件中

下载地址获取到后,也可配合我们的网盘批量转存工具,批量转存提取分享码-发布为自己的网盘链接