装了一个开源的蜘蛛程序

小叶 · 2005-10-25, 10:59

http://www.92key.com/s/

老外做的开源系统,
国内汉化的一塌糊涂,,,除了界面外,
连编码都没转换.

wm_chief^© · 2005-10-25, 11:04

过后研究。帝国搜索引擎也将不久面市

jcking · 2005-10-25, 11:11

小叶 · 2005-10-25, 11:19

引用:

作者: wm_chief

过后研究。帝国搜索引擎也将不久面市

你可以对这个进行二次开发就不错了,,
开源的东西,,有一些技术已经很成熟,
一些缩略,快照没有,还有一些关键字区分不好,,

jcking · 2005-10-25, 11:19

引用:

作者: 小叶

你可以对这个进行二次开发就不错了,,
开源的东西,,有一些技术已经很成熟,
一些缩略,快照没有,还有一些关键字区分不好,,

wm_chief^© · 2005-10-25, 11:23

引用:

作者: 小叶

你可以对这个进行二次开发就不错了,,
开源的东西,,有一些技术已经很成熟,
一些缩略,快照没有,还有一些关键字区分不好,,

搜索好像不是很好。我主要研究蜘蛛织网。。。

小叶 · 2005-10-25, 11:24

好像就是OE技术,,而且速度和效率很低,,
我怀疑这个开源程序的官方自己用Exe这样的实体软件做爬行..

wm_chief^© · 2005-10-25, 11:25

引用:

作者: 小叶

好像就是OE技术,,而且速度和效率很低,,
我怀疑这个开源程序的官方自己用Exe这样的实体软件做爬行..

机器开着，影响不大，不过用exe可实现多线程，效果会更好

小叶 · 2005-10-25, 11:26

引用:

作者: wm_chief

机器开着，影响不大，不过用exe可实现多线程，效果会更好

但数据库膨胀急剧厉害...一个站爬下就几百M了..

wm_chief^© · 2005-10-25, 11:28

引用:

作者: 小叶

但数据库膨胀急剧厉害...一个站爬下就几百M了..

嗯，是个比较大的问题

小叶 · 2005-10-25, 11:30

引用:

作者: wm_chief

嗯，是个比较大的问题

以前落伍一个叫bigfoot的开发过一个独立引擎的搜索,,
还不是找人赞助带宽和服务器,,
数据膨胀太快了,蜘蛛都不敢随便放出去咬人.

老林^© · 2005-10-25, 11:44

只要摸透中文分词　下一个百度也就来鸟

wm_chief^© · 2005-10-25, 13:30

引用:

作者: 老林

只要摸透中文分词　下一个百度也就来鸟

主要要有钱砸。：）

3web.com.cn · 2005-10-25, 14:21

关注学习中。。。
下回请教

老林^© · 2005-10-25, 14:52

引用:

作者: wm_chief

主要要有钱砸。：）

拿下一个专利　钱马上跟着来　这东东喜欢的人多了

双至强仅二千,企商在线,最早租用商	魔兽世界私服魔兽世界私服	亿恩1元帮您升级服务器！	天龙八部私服完美世界私服新开传奇私服
传奇私服热血江湖私服	仙境私服天龙八部私服	魔域私服魔域私服	新开传奇私服魔域私服传奇私服

2005-10-25, 10:59	#1 (页面定位)
小叶注册日期: 2005-09-04 住址: 火星人帖子: 17760	装了一个开源的蜘蛛程序 http://www.92key.com/s/ 老外做的开源系统, 国内汉化的一塌糊涂,,,除了界面外, 连编码都没转换. 匆匆人生中,你做了几件令自己骄傲的事呢?

2005-10-25, 11:24	#7 (页面定位)
小叶注册日期: 2005-09-04 住址: 火星人帖子: 17760	好像就是OE技术,,而且速度和效率很低,, 我怀疑这个开源程序的官方自己用Exe这样的实体软件做爬行.. 匆匆人生中,你做了几件令自己骄傲的事呢?

2005-10-25, 14:21	#14 (页面定位)
3web.com.cn 注册日期: 2005-10-24 帖子: 338	关注学习中。。。下回请教网联数据 - 专业的虚拟主机提供商，域名申请，企业邮局，企业建站，支持用户在线管理：域名、邮箱、空间等 QQ：88639634 冲红、黄、蓝钻\会员。代办QQ全套服务服务包括有：QQ会员 QQ红钻 QQ黄钻 QQ蓝钻移动QQ QQ短信超人 QQ炫铃 QQ网络电话 QQ高级交友 QQ魔法表情 QQ网络硬盘(512M)。优惠多多，敬请咨询。