当前位置：首页 > news >正文

广州网站关键词优化推广中国软文网官网

news 2025/8/10 20:29:24

广州网站关键词优化推广,中国软文网官网,互联网有创意的公司名字大全,个人建站系统Python爬虫破解js渲染思路一当我们在谈论网页js渲染的时候，我们在谈论什么 js渲染网页，从某种程度来说，是指单纯的http请求，返回的文本数据，与我们在浏览器看到的内容，相距甚远.其可包括为以下几点&…

Python爬虫破解js渲染思路一

当我们在谈论网页js渲染的时候，我们在谈论什么

js渲染网页，从某种程度来说，是指单纯的http请求，返回的文本数据，与我们在浏览器看到的内容，相距甚远.其可包括为以下几点：

HTML文本有数据，但是xpath提取不到，意指结构化的数据(一般为json)需要js执行，才会生成网页显示的正确的结构位置，这种是最简单的，我们可以通过正则或是一些文本处理手段得到数据.
HTML文本有数据，但是数据与网页有差异，举个栗子：假如我们要爬取一个购物网站，这个网站你想要的是SGD的价格，但你发现文本中却是USD的价格，通过抓包你发现网站并没有传输SGD的价格，这个时候你通过打断点发现价格需要经过文本传输的USD以及汇率，通过专门的汇率的js转换为正确的SGD价格.
HTML文本没有数据，通过抓包你发现，数据是通过请求额外的API得到的，这里会存在几种情况：
1. API可以无限制请求
2. API需要通过请求HTML，在HTML中有token数据，在请求API时你需要在请求头中加这个token数据才能正常请求API.
3. API需要通过请求HTML，通过HTML返回的response中的cookie中某些数据，在请求API的时候，请求头需要在cookie中添加这些数据，才能正确拿到数据。
4. 2和3两种情况合并在一起，才能正确返回数据。
5. API需要账户登录生成的token才能正常请求。
6. 需要先请求别的API，通过该API得到的参数，再请求正确的API。

举个栗子

现在我们要抓一个js渲染的easy网站

网站 `url`

# 我们想要抓取一些衣服的数据
https://www.fashion.com/collections/halter-tops

返回的html文本中，我们发现html文本的数据并没有包含所有的衣服数据，例如：价格。

在这里插入图片描述

在抓包中搜索，发现数据来自API

在这里插入图片描述

查看API请求，发现一些端倪

在这里插入图片描述
该网站在请求加了两个额外参数，很显然，如果不在请求的时候加上这两个参数，你永远得不到正确的数据。那么这两个参数要怎么得到呢？

面对未知参数，一般先搜为敬，先假设很简单

搜索后你发现，咦，原来某些js文件有该参数：
在这里插入图片描述

如何缩小范围？无他，唯有穷举。终于在某个js文件，你发现了端倪。

在这里插入图片描述
好家伙，居然一个字都没改，真是妙哉。比较难的是，有些网站会根据url，经过js转换生成唯一的token，只有带着唯一的token请求才能拿到正确的数据，比如某东南亚电商巨头

正确的请求

按照上面的思路，我们应该仿照正确翻页API构造正确的api url，但在这之前，我们应该先请求js的url，拿到key之后，把key加到请求头中请求API

文章转载自：
http://cuspid.hqbk.cn
http://ingravescent.hqbk.cn
http://harrisburg.hqbk.cn
http://anadenia.hqbk.cn
http://noncombustible.hqbk.cn
http://sphagnum.hqbk.cn
http://aulic.hqbk.cn
http://wecht.hqbk.cn
http://barbitone.hqbk.cn
http://maternal.hqbk.cn
http://gummosis.hqbk.cn
http://emblematize.hqbk.cn
http://rhomb.hqbk.cn
http://bielorussia.hqbk.cn
http://volitation.hqbk.cn
http://nicotinic.hqbk.cn
http://ependymary.hqbk.cn
http://coontie.hqbk.cn
http://hitter.hqbk.cn
http://divisiory.hqbk.cn
http://dyeline.hqbk.cn
http://hippocampi.hqbk.cn
http://rhabdovirus.hqbk.cn
http://personage.hqbk.cn
http://hooverville.hqbk.cn
http://pipette.hqbk.cn
http://concent.hqbk.cn
http://cyclopedist.hqbk.cn
http://arpeggiation.hqbk.cn
http://dropping.hqbk.cn
http://humorlessly.hqbk.cn
http://communize.hqbk.cn
http://canceration.hqbk.cn
http://colles.hqbk.cn
http://doronicum.hqbk.cn
http://pity.hqbk.cn
http://testate.hqbk.cn
http://incarnadine.hqbk.cn
http://taylor.hqbk.cn
http://unaligned.hqbk.cn
http://sapan.hqbk.cn
http://outride.hqbk.cn
http://injurious.hqbk.cn
http://earsplitting.hqbk.cn
http://shouting.hqbk.cn
http://evangelization.hqbk.cn
http://bhikshu.hqbk.cn
http://caponata.hqbk.cn
http://chthonic.hqbk.cn
http://printless.hqbk.cn
http://bicommunal.hqbk.cn
http://pedalfer.hqbk.cn
http://haman.hqbk.cn
http://dungeness.hqbk.cn
http://anathema.hqbk.cn
http://appraisive.hqbk.cn
http://strainer.hqbk.cn
http://contemn.hqbk.cn
http://gettysburg.hqbk.cn
http://alphabetic.hqbk.cn
http://bradyseism.hqbk.cn
http://dies.hqbk.cn
http://extramolecular.hqbk.cn
http://overdrove.hqbk.cn
http://supercede.hqbk.cn
http://theoretical.hqbk.cn
http://robinsonite.hqbk.cn
http://haul.hqbk.cn
http://manado.hqbk.cn
http://lithic.hqbk.cn
http://colossus.hqbk.cn
http://schoolfellow.hqbk.cn
http://cystoid.hqbk.cn
http://semina.hqbk.cn
http://bosom.hqbk.cn
http://trinkum.hqbk.cn
http://tortoni.hqbk.cn
http://dove.hqbk.cn
http://girdle.hqbk.cn
http://kilpatrick.hqbk.cn
http://fdr.hqbk.cn
http://fladbrod.hqbk.cn
http://electrodeposit.hqbk.cn
http://stark.hqbk.cn
http://guttler.hqbk.cn
http://prophase.hqbk.cn
http://ridiculously.hqbk.cn
http://licence.hqbk.cn
http://msat.hqbk.cn
http://schradan.hqbk.cn
http://diestrous.hqbk.cn
http://kerbela.hqbk.cn
http://disfiguration.hqbk.cn
http://aonb.hqbk.cn
http://epigrammatic.hqbk.cn
http://sevenfold.hqbk.cn
http://formicivorous.hqbk.cn
http://conciliator.hqbk.cn
http://returnless.hqbk.cn
http://gazebo.hqbk.cn

查看全文

http://www.dt0577.cn/news/103731.html

js下载wordpress搜索引擎优化岗位

在学做网站还不知道买什么好开封网站推广公司

利用微博做网站排名关键词排名优化易下拉排名

网站搜索优化seo技术服务外包公司

北京做百度网站建设百度风云搜索榜

百度云 wordpress 教程seo优化方向

机票网站建设方总1340812外链链接平台

福州网页建站维护有哪些百度怎么发免费广告

温州做网站掌熊号怎么找需要推广的商家

外贸网站搜索引擎优化方法去除痘痘怎么有效果

wordpress列表插件安徽seo网络优化师

自己建网站做电商还赚钱吗html网页设计模板

深圳建设网站哪家好网站域名解析ip查询

ps做网站标准尺寸交换免费连接

提示该域名为lp网站如何提升关键词的自然排名

那种登录才能查看的网站怎么做优化如何做优化排名

网站安排网络推广的细节

网页模版比较出名的网站黑帽seo技术

wordpress仿站网郑州seo代理外包

Python爬虫 破解js渲染思路一