News

  • WAP手机版 保存到桌面加入收藏设为首页
视频教程

网钛文章管理系统采集教程(视频)

时间:2011-11-09 23:14:10   作者:网钛工作室   来源:网钛工作室   阅读:61578   评论:193
内容摘要:一、设置采集模块    在后台点击【采集管理】,出现的是【新增采集模块】的内容,主要设置下载的大小和超时时间,以及给采集项目分类,便于查询,目前作用不是很大。 二、设置采集规则...

视频教程:




图文教程:

    其实采集可以这么理解,定义头和尾,除了在截取链接不需要检测,在其它地方你定义的头和尾,在同G个html表里不能有相同的,为什么不能有相同的呢?是因为采集的每一步(除了截取链接外)都是根据你所定义的头和尾来截取页面内容的。所以你在定义头和尾不仅不能有相同的,还要尽可能地把不需要的内容排除开。如果你理解了这个定义头和尾,基本上对于简单的页面是能采集的。G面我以一个实例来说明一下:


一、设置采集模块
    在后台点击【采集管理】,出现的是【新增采集模块】的内容,主要设置下载的大小和超时时间,以及给采集项目分类,便于查询,目前作用不是很大。
 


 

 二、设置采集规则
1、点击【新增采集项目】,进入采集项目的第一步,我们以采集SOHU的国内IT信息为例,如图设置:

   1)项目名称:给采集项目命名
   2)所属模块:采集数据入库后,放入哪个栏目
   3)目标页面编码:国内的网站选择GB2312,国外网站选择UTF-8,台湾的繁体字网站选择BIG5;
   4)采集网址URL:就是要采集的列表页面,这一步很关键,这一步关系到你能否采集完所有内容。一般你进入采集页面先判断一下是不是有多页,如果有多页你进入第二页和第一页是不是有规律变化,比如是:xxxx_1.htm,xxx_2.htm,特别注意数字,如果第一页开始就有_id的规律,那就把第一页作为列表网址,如果第一页与第二页没相关规律,而是从第二页开始才能这样的规律,那将第二页作为列表网址,第一页放到一边,等所有数据采集完了,再来采集单独页面,反正以后也只采集第一页,为啥?因为一般更新的都在第一页。
   5)分页/多页采集设置:若只采集一个页面,选择“不作设置”,采集多页面,可选择其他3项;
   6)采集属性:“立即入库”指一采集就在前台显示,建议此项不要选择,没选择此项,采集结果将进入【采集结果】页面, 后再入库;“保存远程图片”指把图片保存到本地;“倒序采集”指采集结果的排序顺序,打勾它,采集记录顺序和采集列表页一致。
   7)状态:指入库后文章的状态,即文章在前台是显示,还是隐藏;
   8)其它设置项 是按字面的意思,一般默认设置就行,就不详细说了
 


2、列表链接设置
   1)打开采集页面,如http://it.sohu.com/itguonei.shtml
 

鼠标右击页面,弹出窗口,选择【查看源代码(V)】,在源代码中找到所要采集的列表,如下图, 
 

 

找出“列表开始代码”、“列表结束代码”、“链接开始代码”、“链接结束代码”,最后两项一般默认就行,然后点击“下一步”。
 


 

3、正文内容设置

    打开列表页中的一个内容页,如http://it.sohu.com/20101104/n277154569.shtml,鼠标右击页面,弹出窗口,选择【查看源代码(V)】,在源代码中找到所要采集的“标题开始代码”、“标题结束代码”、“正文开始代码”、“正文结束代码”,其他几个设置项视需要而定,可默认,然后点击“下一步”。
 


 

4、正文内容采集效果

 
      点击“点击查看正文内容采集效果”,出现如下页面,那采集结果正常。
 

 
点击“完成”后,会跳转到【采集项目管理】页面

    注:若采集结果有问题,修改“列表链接设置”、“正文内容设置”中的起始、终止代码,多试几次,就可得出所要的内容了,有的页面可能无法采集,不同所有的页面都可以采集的。

三、采集项目管理

    现在就可以开始采集了,点击右边的采集按钮,进行单个采集,或者勾选几个要采集的项目,点击“批量采集”按钮。建议上面设置项中不要勾选“立即入库”,担心采集有异常,这样采集结束后,采集内容将在【采集结果】页面中显示,检查没问题后,再点击入库,最后到前台检查下数据,这样整个采集过程就完成了。
 

 


相关评论
打两弱队你们就喊打脸萨里 那C罗的标准也太低了
孙杨律师与WADA证人对峙 质疑检查官违规操作
21岁日本前锋宣布参加选秀!在NCAA场均19.7分
我亲眼看过高以翔两场球:一个温暖的男人、球员
最强棋士战柯洁幸运逆转井山 将与朴廷桓争冠
读秒阶段门线封堵救主 高准翼:那是个正确的决定
欧冠-莱万马内失良机 利物浦主场遭零封言和拜仁
足协已将三候选土帅资料递交上级 除二李还有宝山
荷兰0-0平北爱出线 周六足彩头奖1439注11567元
帕托自掏腰包与天津天海解约 与队友告别离开天津
噩耗!状元接受右膝半月板手术 预计伤停6-8周
富士通杯回顾:刘小光重锤击倒韩国围棋皇帝进四强
艾克森头顶脚踢2连击碎质疑 卡帅教里皮该如何用他
天海国门张鹭涉醉驾被刑拘 曾陪同张修维进公安局
吴清源杯回眸(八):坊巷高朋咏茉莉 激弈次合荡心弦
尤文签巴萨铁闸达协议 曼联面前抢世界杯冠军国脚
KG爆料梦4曾为姚明下百万赌注 但都被姚明防住
董瀚麟超越吕晓明独享CBA历史出场数第33名
鲁能提前四天赴济南奥体踩场 费莱尼单独康复训练
狂轰142分创纪录!易建联29+12广东大胜新疆1-0
今日推荐:

惨绝!利物浦被这梦魇害了3次 因它已丢2冠|gif
华夏幸福迎来主场收官战 阿根廷二老将谢幕告别
欧冠-阿圭罗破门 10人曼城90分钟绝杀 3-2逆转胜
巴萨锋王比梅西先老了!25小时球荒 欧冠指不上他
丹麦赛谌龙完败获亚军 桃田26连胜夺赛季第九冠
美国队世界杯头号劲敌来了!西班牙已成为过去
科尔装大了!居然喝上了! 酒醒了球咋输了??
服!曼城招黑男变英超最强王牌 瓜帅又一神作啊
曝英国首富想要收购切尔西!阿布开价25亿英镑
巴萨主客场两张脸!欧冠主场35场不败 6年没输过
周五足彩伤停:汉堡主力前锋停赛 塞尔塔失3主力
巴萨vs西班牙人首发:梅西领衔 武磊进入替补席
巴萨2亿违约金锁死16岁天才 皇马想挖走完全没戏
连续致命失误!中国男篮加时负波兰将打生死战
拿着300万干着2000万的活!全联盟就他一个
英锦赛希金斯零封头号克星 中国8人登场5人获胜
华以刚《棋赛缘》前言:还原中国围棋人奋斗过程
国内掀起马拉松热潮 带动举办地旅游热度增长
内部消息?TT:欧文的球衣会在骑士队退役
内马尔抵达马德里遭球迷嘲讽:快滚到巴萨去!