网易云音乐评论爬虫实战:破解加密接口抓取数据

news2026/3/28 22:58:20
一、接口分析找准评论数据请求入口在抓取网易云音乐歌曲评论时我们不难发现页面并不会随着翻页刷新跳转评论的加载属于异步AJAX请求。这类接口有一个明显特点接口地址固定不变分页切换完全依靠请求载荷中的参数控制无需更换请求URL这也是当下主流网站动态加载数据的常见实现方式。想要顺利拿到完整的评论数据第一步就是吃透接口的加密规则破解前端加密参数还原完整的请求逻辑才能精准构造出平台认可的合法请求载荷顺利打通数据抓取的关键环节。二、核心加密JS代码还原网易云音乐为了防止数据被随意爬取对评论接口做了严格的参数加密处理直接请求接口会被拒绝访问。想要攻克这个难点我们需要先还原前端的加密逻辑拿到生成params和encSecKey这两个核心校验参数的代码这也是整个爬虫能否跑通的关键所在。我们通过分析网页源码还原出完整的加密函数直接复用这套代码即可完成加密参数的生成省去手动逆向分析的繁琐步骤具体代码如下functiona(a){vard,e,babcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789,c;for(d0;ad;d1)eMath.random()*b.length,eMath.floor(e),cb.charAt(e);returnc}functionb(a,b){varcCryptoJS.enc.Utf8.parse(b),dCryptoJS.enc.Utf8.parse(0102030405060708),eCryptoJS.enc.Utf8.parse(a),fCryptoJS.AES.encrypt(e,c,{iv:d,mode:CryptoJS.mode.CBC});returnf.toString()}functionc(a,b,c){vard,e;returnsetMaxDigits(131),dnewRSAKeyPair(b,,c),eencryptedString(d,a)}functiond(d,e,f,g){varh{},ia(16);returnh.encTextb(d,g),h.encTextb(h.encText,i),h.encSecKeyc(i,e,f),h}functione(a,b,d,e){varf{};returnf.encTextc(ae,b,d),f}window.asrsead,window.ecnonasre// 构造请求参数varpageNo1varstr{rid:R_SO_4_2682113703,threadId:R_SO_4_2682113703,pageNo:${pageNo},pageSize:20,cursor:-1,offset:0,orderType:1,csrf_token:df9a3fb556b47931eeec5c5eb9faac9b}varbVA3xwindow.asrsea(str,010001,00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7,0CoJUm6Qyw8W8jud);// 生成最终请求载荷vare4i{params:bVA3x[encText],encSecKey:bVA3x[encSecKey]}console.log(e4i);三、Python爬虫代码实现搞定前端加密逻辑之后我们借助Python的requests库模拟浏览器发送请求把JS脚本生成的加密参数直接放入请求的data字段中作为载荷再搭配完整的请求头和Cookie信息伪装成正常的网页访问就能顺利通过平台的校验调用接口并获取返回的评论JSON数据。完整的Python代码如下这套代码适配固定接口地址后续想要翻页抓取只需要修改对应分页参数即可上手十分简单importrequests# 请求Cookie维持登录状态cookies{vinfo_n_f_l_n3:3916ff44beb0c078.1.0.1757143646311.0.1757143808916,_ga:GA1.1.303110697.1757770466,_clck:1l10bbd%5E2%5Efza%5E0%5E2082,_ga_C6TGHFPQ1H:GS2.1.s1757770465$o1$g1$t1757770693$j60$l0$h0,_iuqxldmzr_:32,_ntes_nnid:1ee47c1a495259c0598a10bf662afb17,1757998978281,_ntes_nuid:1ee47c1a495259c0598a10bf662afb17,NMTID:00Onmu3maG4d-bidkIqvMR7jmYMoK0AAAGZUOeSwA,WEVNSM:1.0.0,WNMCID:ixgtne.1757998979571.01.0,WM_TID:xSejT%2BxV169FUVUARFLC0mdBuTqCwgVE,sDeviceId:YD-QZLe%2FrgGqQ1ARxURVUaHgnYMn5zRcAzJ,ntes_utid:tid._.GaFvf4nQEeZFB1EBBAKSwiZYi9jUcF2I._.0,__snaker__id:QPd9674UKVC6UyD0,ntes_kaola_ad:1,__csrf:df9a3fb556b47931eeec5c5eb9faac9b,WM_NI:kK23WUdxhv5GPG3fEMO2OvOADLnrSQX%2FI1qKL%2FiF6qWmCvjqR79%2By3%2FnAONLuYrt3o5WWIMJovb0NQiglc5XxIdE0aJCrrxWNX8vxbZsmkjBieN6SCxdQu3Qy0XgFxPlckE%3D,WM_NIKE:9ca17ae2e6ffcda170e2e6eeb3d760afe9bba2c240b4e78ab7d45b979e9a87d2728696c0b4fb7daba985b5fb2af0fea7c3b92aa995fed4d65fa8a8a897b84d9499fd87c8478dee8197ce4b8894a293d25b9cf187d2f44190f1a7a7b57b95b38d97e97b92e9f7ccfc39edb28fb0cd48b787be95b265f78999aad042adaaaed1cd5babb9a484b854bc97aca6b36b8a9dbe93fb5d8e88f897fb6a9aada38ce94aabbb82d7d249bcbc9f96b25bbbf09888c57494b4ad8cc837e2a3,gdxidpyhxdE:Lr%5Cm7yjN0baYEslbOj70BUDx%2BaSZjyognN6TZ1qp4uNlg%2B7uwWfuXHxCZQ0koz%5CM6QC8Z87kvmw7Vq23kZMRAGPjo3tT0Za37oGUh6v95wvQOX8d9k9dPeixk7XVIMVownl8i2VoBNvmZKk2%2F4HeHBBnUv%2B5X5Qhd5gsHVfq52vpWnTA%3A1761309901295,__csrf:2e43ce8440e8205e4ff136f3bee8a999,MUSIC_U:00A6A69BA388EFF9FF603463A34052FA657123138702A5775E8A75E2BBE8E49E0814AACC357E7005C3F6BE0B9B8CCE2F34FA0F52FF11F21A892879D4B86B204FF69C20FEAA5239B90F3688D110A90F195A07B6432F29A3FD654CD91A34291DEE2DF4304B30FE2620A8E985679290983FD5F10427790F8AF4D8A6B515D20B37FB4BAFAC033F3D1F4CC49E66AA60E38F4C52704336694DB87DAAA5AAB16077972A982A24FE077C5C7CCE452DEB5BFFB3B267B4D5F5CD5414B3B14FAC60DA9EF8FEC0FF31B19D04F09263BF9BF643A46A14354CEEADEA26BB1C12CDEE4C4E9B6279BE90B82A2AD96682386EABA636B26A7CF1802D226CC46DA59C41F65C836BEE9D930B229DCC8CE609BCFF50DD0D52E40E89829B5D8AC419CDD30FD7A046422D0F16BD8DE34455B8D0DA9A369DD41E6C6394EDB2AF078FBBE219C9659033549885544E0F77B51B64AEE79965065357C4FE7222DC8CC181E7602CBF88AD2760EC257045DA8269508775488D84B8CB45F3173C694A5314567ACD1353A3290C9C979E9BF30B78FC78F5577F1F3CCDBF79B9823A6,JSESSIONID-WYYY:nkA34tOD5jlNrlto0vr%5CFq%5C1QSBOsUNotpH5B9uX3DK%5C1yO0tjI4pe%2Bkvi3rPSugdDD4DbpD%2Bpq%5CJ7FJ%5CmRrTorD3ZNHTVSehKch8St0xVd%2BXvBdVmGwmz09dmwVbyeiFRjy%2F8sCsqQivwfSPvGFBnE5khdkmCIn8HrJOnaSYSUDIJxa%3A1761313070855,}# 请求头模拟浏览器访问规避基础反爬headers{accept:*/*,accept-language:zh-CN,zh;q0.9,cache-control:no-cache,content-type:application/x-www-form-urlencoded,nm-gcore-status:1,origin:https://music.163.com,pragma:no-cache,priority:u1, i,referer:https://music.163.com/song?id2682113703,sec-ch-ua:Chromium;v140, NotA?Brand;v24, Google Chrome;v140,sec-ch-ua-mobile:?0,sec-ch-ua-platform:Windows,sec-fetch-dest:empty,sec-fetch-mode:cors,sec-fetch-site:same-origin,user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36,}# 接口公共参数params{csrf_token:df9a3fb556b47931eeec5c5eb9faac9b,}# 加密后的请求载荷替换为JS生成的最新参数即可data{params:LuinkKIvOA23xCKsaM72yok/qhQ/UH7oR1u5yjTzzv3TqaZAitAVLZZ0p93HupMAJpIo9Ik1JsGPj1Gj4CItoARiQrkpCqjT4qa4KHZqFRQV6OnEcCfgidjiaDj/SLasLb38s2qtjoWtxLclwUIAni4Smc7wZLNISUGfmzOlkGNOqJ5ORwUdRiqeP1hzcE94NsNi7rHMAQww/XPS09AOcwPxOeGlh0ueQCrTisKhLoiCvBF9OaOW4YLp/U458dSxr855EEDbmK23VGZEv5Kqsrnn78ZIs1f83Apcayv92NgyKwCi0mcH5yykHXaM8W27L8nUlk8dLbMFIv0CcM4rYnSW8ahhTJYSm8HVKVo,encSecKey:c023f645a6815df0d22b792757ed5d414afd3874242432e5b7df4bde40d1113b1c4e1217de5c38e40612c866136321c241719197f9225d86d2bda01151f1921943a9b8a0a3a494793855c4603ce64db8108d1f92b2737bfbfb41cc4696e61a20a0af8d8a216ebc00cd2e5e20bdc76b73a190a615efe31d43e9b9f7102fbb78ee}# 发送POST请求获取评论数据responserequests.post(https://music.163.com/weapi/comment/resource/comments/get,paramsparams,cookiescookies,headersheaders,datadata,)# 打印返回的JSON数据包含评论内容、发布时间等信息print(response.text)四、数据解析与分页思路接口成功响应后返回的是标准规整的JSON格式数据里面完整包含了当前页码下的所有评论内容、用户昵称、发布时间、点赞数量、评论楼层等详细信息数据结构清晰易懂。我们只需要借助Python自带的json库对返回的数据进行加载和解析就能精准提取出自己想要的字段后续还可以做数据保存、筛选、统计等后续处理。得益于接口固定的特性分页爬取的逻辑十分简单只需要修改JS代码中的pageNo参数重新生成一组加密载荷再替换Python代码中data里的对应参数即可循环爬取多页评论实现批量抓取。整个流程无需改动URL、请求头和Cookie仅调整分页参数就能实现翻页新手也能快速上手轻松掌握动态接口的爬取技巧。五、版权声明本文仅做技术交流和学习使用严格尊重网易云音乐平台版权所有内容请勿用于商业用途违者后果自负。六、进阶学习本次实战只是爬虫入门级案例主要带大家熟悉加密接口逆向、AJAX动态数据抓取的基础流程。想要掌握更多网站的加密破解技巧、高阶反爬绕过、高效批量爬取、数据清洗入库等硬核实战干货持续关注我后续会更新更多干货满满的爬虫教程和实战项目带你从零玩转网络爬虫攻克各类复杂接口。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2459462.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…