采集碰到的一大堆麻烦事

今天想采集一个网站，准备拿ruby来练练，结果碰到一大堆麻烦事，C#代码写的是多点，感觉还是顺手些。

由于不想写正则，找了几个插件试

（1）scrapi，顺利安装完成，确根本采集不到信息

require 'scrapi'
require 'open-uri'task :dream => :environment do url='http://www.hushibo.cn' html = open(url).readputs html
end

就这就报一大堆错，实在没信心写下去了，换下一个 Hpricot

gem install hpricot

结果在windows ruby1.9.1上装不了，万股无奈下只好用nokogiri，用的人确很少，文档太难找，http://nokogiri.org/Nokogiri/XML/NodeSet.html硬着头皮看了半天，总算知道了点皮毛，把我的采集任务算是完成了

require 'nokogiri'
require 'open-uri'task :dreamtype => :environment do doc = Nokogiri::HTML(open('http://www.hushibo.cn'))tpes = []doc.css("table.txt>td:nth-child(12)>a").each do |link|#puts link.contenttpes.push(link.content)end#puts doctpes.each do |t|#puts tpes.lengthDream.create(:parent_id => 6,:name => t)endend

采集碰到的一大堆麻烦事相关推荐

php querylist 404,Querylist批量采集碰到404咋办
public function makeids() { $index = input('param.index');//接收id用于半自动采集 $last = input('param.last'); ...
联通eSIM卡哪些城市可以开通办理
联通eSIM卡哪些城市可以开通办理支持eSIM功能手机型号名单广州深圳等6城率先启动 3月7日上午,中国联通于上海.天津.广州.深圳.郑州和长沙6城市率先启动Apple Watch Series ...
Ubuntu网络环境配置
在安装完vm和Ubuntu之后,我使用了Iifconfig,我的目的是查看该虚拟机是否网络连通了,是否可以使用网络,很遗憾的是,没有.下面进行网络环境配置的总结. 首先你需要做的是打开你windows ...
excel文件损坏修复绝招_Excel被删除并清空，会计别哭，一招拯救！
不怕一万,只怕万一. 比如,做了很长时间的一张表格,没有保存,台式电脑突然断电了: 再比如,重要的表格不小心删除,并清空回收站. 遇到这两种情况,内心是相当抓狂,甚至想把电脑砸了.此刻,如果有哪个大神 ...
万字长文阐述前端技术浪潮与应用
把握方向,迎接机遇,迎娶白富美,走向人生巅峰. 前端技术浪潮与应用一.前端基建 01.前端可视化 02.前端跨端跨栈 03.微前端 04.前端稳定性/质量保障体系 05.总结二.前端行业新资讯 ① ...
M1 MacBook pro操作指南
0x00 如何安装kali虚拟机详细教程:https://www.youtube.com/watch?v=9zdjQ9w_v_4 鉴于各种原因,目前选择使用UTM作为虚拟化软件,需要注意的是不要在a ...
VOS 系统报错，系统挂断 VOS不通，各种vos疑难杂病都在这里
VOIP系统挂机原因有时候在做对接的时候,烦死人了,一大堆问题,不是这里,就是那里,一手资源还比较好,经过多人经手的,那叫一个痛苦,你对接上家,上家,还要对接上家,上上家有可能还要对接落地服务器,落 ...
VOS错误代码分机及解决方案
VOIP系统挂机原因有时候在做对接的时候,烦死人了,一大堆问题,不是这里,就是那里,一手资源还比较好,经过多人经手的,那叫一个痛苦,你对接上家,上家,还要对接上家,上上家有可能还要对接落地服务器,落 ...
Unity学习笔记5：2D坦克大战
之前看了很长一段时间的视频,但是基本没有手动操作过,究竟沉淀了多少还真难说得清楚. 所以直接看实例视频跟着做了. 视频地址:http://www.sikiedu.com/my/course/90 un ...

采集碰到的一大堆麻烦事

采集碰到的一大堆麻烦事相关推荐

最新文章

热门文章