柳州网络网站建设软文推广媒体
SpiderFlow爬虫获取网页节点
一、SpiderFlow 文档地址：https://www.spiderflow.org/
二、问题：获取一篇文章的标题、来源、发布时间、正文、下载附件该怎么获取？
举例：【公示】第三批智能光伏试点示范名单公示
三、抓取网页步骤（简单版，分页、循环、多分支暂不涉及，具体看文档）
1.设置抓取网页链接
2.设置参数，如果需要设置参数的话（上面例子不需要参数）
3.执行抓取
抓取后返回抓取结果，结果默认就叫resp。可以在Var变量中定义具体的数值，定义的变量后面的流程都可以使用，使用方法为${变量名}，此时定义了一个变量叫responseData，这个变量代表resp.html
- resp都有什么？
resp.html 为页面的HTML
resp.json 为json结果
具体区分看下图，文档地址：https://www.spiderflow.org/course/variable.html#%E7%88%AC%E5%8F%96%E7%BB%93%E6%9E%9C
4.输出结果，检查返回的结果是否正确
可以看到在测试窗口中已经展现了resp.html完整的页面结构，也就是 在浏览器中 按F12看到的前端页面完整的节点结构
四、要获取标题、公示时间、地址、正文等内容还需要学习了解如何获取节点
1.获取节点
（1）抽取函数 extract，文档地址https://www.spiderflow.org/function/extra.html#selector
获取单个节点 使用 selector
获取多个节点使用 selectors
举例 获取 标题
标题只有一个，所有用 selector，可以看到 标题所在的层级如下 #app/.artDetail/.ant-row/.artDetail_content/h2 ,那需不需要一级一级往下找呢？
${extract.selector(resp.html,'#app .artDetail .ant-row .artDetail_content h2')}
答案是不需要，只要能保证父级唯一就行，如果父级不唯一则继续往上找
两级就可以
${extract.selector(resp.html,'.artDetail_content h2')}
可以看到标题已经输入成功了
2.获取 html、文本、href链接
3.css 选择器
Css 选择器 包括 元素选择器、类选择器、id选择器、后代选择器、子代选择器等等
具体用法可以参考 css选择器 文档
https://www.runoob.com/cssref/css-selectors.html