快捷导航

        国产视频列表数据

        2016-9-28 16:53| 发布者: ym| 查看: 42324| 国产小视频-国产自拍视频: 27

        摘要: 一、操作导航图 国产视频列表网页时,可以看到多条结构相同的信息,我们把这些结构化信息称为样例,例如,表格中的每一行就是样例,搜索结果中的每个结果也是样例。对于具有两个样例以上的网页,做上样例复制映射就能实 ...

        注:集搜客GooSeeker爬虫从V9.0.2版本开始,爬虫术语“主题”统一改为“任务”,在爬虫浏览器里先命名任务再创建规则,然后登录集搜客官网会员中心的“任务管理”里,就可以查看任务的国产视频执行情况、管理线索网址以及做调度设置了。

        一、操作步骤(观看视频)

        国产视频列表时,可以看到多条结构相同的信息,我们把一条信息称为一个样例,例如,表格中的每一行就是一个样例,又如,京东搜索列表中的每个商品也是一个样例。具有两个样例以上的列表网页,做样例复制就能把整个列表都国产视频下来。下面京东列表页为案例,操作步骤下:


        二、案例规则+操作步骤

        • 国产视频规则:京东商品列表国产视频(可点击下载)
        • 样本网址:https://search.jd.com/Search?keyword=%E5%B0%8F%E7%B1%B3&enc=utf-8&pvid=6a1e1a162bff4eaba55dfcdef7029257
        • 国产视频内容:每一个商品的标题,价格,国产小视频-国产自拍视频数,店铺名称

        第一步:打开网页

        1.1,打开GS爬虫浏览器,输入上述样本网址并Enter,加载出网页后再点击网址输入栏后面的“定义规则”按钮,可以看到一个浮窗显示出来,称为工作台,在上面定义规则;

        1.2,在工作台中输入主题名,可以点击“查重”看看名字是否被占用。


        第二步:标注信息

        2.1,在浏览器窗口双击要国产视频的内容,在弹出小窗中输入标签名,打勾确认或Enter,即完成了一个标注操作。首次标注还要输入整理箱名称。这也是标签与网页信息建立映射关系的过程。

        2.2,重复上一步骤,对其他信息进行标注。


        第三步:样例复制

        3.1,点击第一个样例里的任一内容,可以看到,在下面的DOM窗口,光标自动定位到了一个节点,右击这个节点,选择 样例复制映射→第一个。


        3.2,然后,点击第二个样例里的任一内容,同样,在下面的DOM窗口,光标自动定位到了一个节点,右击这个节点,选择 样例复制映射→第二个。


        这样就完成了样例复制映射。

        注意:有时样例复制的操作没有错误,但是测试后,只国产视频到一条数据。问题多半出在整理箱的定位方式上。整理箱默认的定位方式是“偏ID”,可是京东列表网页的整理箱定位方式一般要选”绝对定位“。


        第四步:存规则,抓数据

        4.1,规则测试成功后,点击“存规则”;

        4.2,点击“爬数据”,弹出DS打数机,开始国产视频在线数据。

        4.3,国产视频成功的数据会以xml文件的形式保存在DataScraperWorks文件夹中,详情见文章《查看数据结果》


        上篇文章:《国产视频网页数据》                                                                       下篇文章:《翻页国产视频》


        若有疑问可以集搜客爬虫软件
        24

        鲜花

        握手

        雷人
        5

        路过
        5

        鸡蛋

        刚表态过的朋友 (34 人)

        相关阅读

        发表国产小视频-国产自拍视频

        最新国产小视频-国产自拍视频

        国产小视频-国产自拍视频 Fuller 2019-4-17 15:19
        Heart2019: 为什么测试时能够显示出来一页的数据,但是爬取不出来呢?
        你在使用交流那里起一个帖子,把主题名贴出来,技术人员帮你诊断:https://www.gooseeker.com/doc/forum-54-1.html
        国产小视频-国产自拍视频 Heart2019 2019-4-17 14:09
        为什么测试时能够显示出来一页的数据,但是爬取不出来呢?
        国产小视频-国产自拍视频 Fuller 2018-8-13 10:57
        temprani: 你好,这个网址的样例复制映射无效,求解答 <a href="http://scjg.tj.gov.cn/gzfw/zhcx/sphsptjjscxkxxsjcx/index.html" target="_blank">http://scjg.tj.gov.cn/gzfw/zhcx/sphsptjjscxkxxsjcx/index.html</a>
        在创建规则工作台上有个“定位”按钮,点开以后,选择偏好class,就能避开唯一性的id,有唯一性的id,样例复制就失效了
        国产小视频-国产自拍视频 temprani 2018-8-13 10:05
        你好,这个网址的样例复制映射无效,求解答
        http://scjg.tj.gov.cn/gzfw/zhcx/sphsptjjscxkxxsjcx/index.html
        国产小视频-国产自拍视频 太极爬虫 2018-7-24 15:37
        Xiao_ze: 国产视频在线失败(超时),国产视频在线规则不合适或者超时时间设置太短,出现这个提示该怎么解决
        参考这个教程:怎样解决规则国产视频失败/遗漏的问题https://www.gooseeker.com/doc/article-272-1.html
        国产小视频-国产自拍视频 Xiao_ze 2018-7-24 15:17
        国产视频在线失败(超时),国产视频在线规则不合适或者超时时间设置太短,出现这个提示该怎么解决
        国产小视频-国产自拍视频 bowieD 2017-12-20 11:45
        eekeepol: 为什么我出来的结果只有一个呢?
        检查一下是否样例复制的节点是否选择正确,选择相邻的两个兄弟区块节点做样例复制,点击测试就能看到全部的列表数据
        国产小视频-国产自拍视频 eekeepol 2017-12-20 11:30
        为什么我出来的结果只有一个呢?
        国产小视频-国产自拍视频 umsung 2017-11-27 16:37
        ssoonzero: 今天第一次看,感觉不是人用的,完全不符合正常思维啊
        刚入门从基础教程开始学起 http://www.gooseeker.com/doc/article-266-1.html
        国产小视频-国产自拍视频 ssoonzero 2017-11-27 16:35
        今天第一次看,感觉不是人用的,完全不符合正常思维啊
        国产小视频-国产自拍视频 umsung 2017-11-22 14:04
        agreas: 为什么我国产视频到的列表数据是重复的
        是全部重复还是部分重复,是全部重复那就要检查规则是否正确,把定位方式改成绝对定位;部分重复的话,国产视频列表数据最后一页会有三页重复数据,是正常现象,在excel中去重复。
        国产小视频-国产自拍视频 agreas 2017-11-22 12:22
        为什么我国产视频到的列表数据是重复的
        国产小视频-国产自拍视频 wekrior 2017-11-1 21:59
        wekrior: 单个测试的时候是好的。  列表就怕不出数据了。结果都是重复的,求解 样例复制后,爬出来结果如下:  <代码>601668</代码>   <名称>中国建筑</名称>   <最新价> ...
        自问自答吧。今天刚开始用的新手。

        定位 方式改成绝对定位就OK了。
        国产小视频-国产自拍视频 Fuller 2017-11-1 21:55
        wekrior: 单个测试的时候是好的。  列表就怕不出数据了。结果都是重复的,求解 样例复制后,爬出来结果如下:  <代码>601668</代码>   <名称>中国建筑</名称>   <最新价> ...
        你到使用交流版块去发,可以发图片,文字,链接,这里是受限的。按照这个帖子的方法,可以解决你的问题:http://www.gooseeker.com/doc/article-232-1.html
        国产小视频-国产自拍视频 wekrior 2017-11-1 21:46
        单个测试的时候是好的。

        列表就怕不出数据了。结果都是重复的,求解
        样例复制后,爬出来结果如下:

        <代码>601668</代码>
                        <名称>中国建筑</名称>
                        <最新价>详情</最新价>
                        <今日涨跌幅>详情</今日涨跌幅>
                        <主力净流入>详情</主力净流入>
                        <主力净占比>详情</主力净占比>
                        <超大单净流入>详情</超大单净流入>
                        <超大单净占比>详情</超大单净占比>
                        <大单净流入>-1.40亿</大单净流入>
                        <大单净占比>-1.40亿</大单净占比>
                        <中单净流入>-1.40亿</中单净流入>
                        <中单净占比>-1.40亿</中单净占比>
                        <小单净流入>-1.40亿</小单净流入>
                        <小单净占比>-1.40亿</小单净占比>


        啊啊为什么发不了国产小视频-国产自拍视频1111
        国产小视频-国产自拍视频 Fuller 2017-10-17 20:27
        laughingduan: 如果是一个下拉列表没有文章,怎么能一直往下拉呢,比如<a href="http://www.meipai.com/square/59?single_column=1" target="_blank">http://www.meipai.com/square/59?single_column=1</a>
        我试了试这个网页,在GS浏览器中滚轮就能显示更多内容。你可以先用连续动作中的滚屏动作试试,应该可以。如果不行的话就用滚轮动作。这类国产视频都归为瀑布流网页国产视频,教程:http://www.gooseeker.com/doc/article-373-1.html
        国产小视频-国产自拍视频 laughingduan 2017-10-17 19:13
        如果是一个下拉列表没有文章,怎么能一直往下拉呢,比如http://www.meipai.com/square/59?single_column=1
        国产小视频-国产自拍视频 wfh8520 2017-8-1 14:43
        shenzhenwan10: 可以定义自动翻页, 每翻一页, 就国产视频一次. 整个过程是自动的
        你好,请问如何设置自动翻页呢?我也是一次只能国产视频到一页的数据。
        国产小视频-国产自拍视频 gz51837844 2017-7-15 13:19
        大锅方便面: 请教一下问什么设置好了样例,在浏览器里边的输出规则都能看到网页应该国产视频的信息,但是运行规则国产视频的结果文件里边只有一条数据。  这是什么原因造成的呢?谢谢 ...
        有可能页面还没有加载完全就执行国产视频在线了,你可以把DS打数机的菜单项:配置-》滚屏参数->滚屏次数 设置成正整数,比如2,再试试国产视频在线
        国产小视频-国产自拍视频 大锅方便面 2017-7-15 12:41
        请教一下问什么设置好了样例,在浏览器里边的输出规则都能看到网页应该国产视频的信息,但是运行规则国产视频的结果文件里边只有一条数据。  这是什么原因造成的呢?谢谢

        查看全部国产小视频-国产自拍视频(27)

        GMT+8, 2019-12-5 02:18