关于目前 V2EX 搜索所用到的软件

This topic created in 5953 days ago, the information mentioned may be changed or developed.

Index and Search Server:

Tokyo Dystopia http://1978th.net/tokyodystopia/

API Server:

Tornado: http://www.tornadoweb.org/

及用来起到加速目的的 Nginx 和 Memcached。

Server

V2EX

Tornado

18 replies • 1970-01-01 08:00:00 +08:00

Livid

MOD

PRO

Jul 22, 2010

Tornado 是一个非常好用的技术。

如果你不方便访问 Tornado 的网站的话，这里是我做的镜像：

http://web.me.com/v2ex.livid/tornado/

Livid

MOD

PRO

Jul 22, 2010

及目前最新 0.2 版本的下载：

http://web.me.com/v2ex.livid/tornado/static/tornado-0.2.tar.gz

gonbo

Jul 22, 2010

呵呵，分词怎么做的？

Livid

MOD

PRO

Jul 22, 2010 via iPhone

N-gram

gonbo

Jul 22, 2010

这个，聊胜于无

gonbo

Jul 22, 2010

当然 search不是社区的主要功能，不提供也可以。呵呵

Kenyth

Jul 22, 2010

跟我之前了解到的全文搜索方案有点不一样。

你的方案应该不全是在GAE上实现的吧？

其他的server是host在什么地方的呢？

Livid

MOD

PRO

Jul 22, 2010 via iPhone

在另一个云里。

Kenyth

Jul 22, 2010

是在Amazon的云里吗？

Kenyth

Jul 22, 2010

还有你的index server是怎么访问这个v2ex的数据的呢，直接开的HTTP的API？这样要达到近似于实时索引应该要用掉不少GAE上的quota吧？

还是你已经开始用Google Storage（没用过这个，不太了解）来访问了？

areless

Jul 22, 2010

sphinx现在有realtime了。

Livid

MOD

PRO

Jul 22, 2010

2.4.0 时这部分通讯代码会开源的。

Kenyth

Jul 22, 2010

可以有的一种方案是：

<ul>
<li>Storage用独立的方案（Google的、Amazon的或者其他的，我总觉得GAE的datastore有性能问题，GAE上quota太容易就用掉了）
<li>处理一个数据变更请求时异步的ping一下索引服务器，索引服务器再去异步的访问storage并建立索引
</ul>

云一出来，跨云的解决方案也一并出来了。

cnleoyang

Jul 22, 2010

@areless 是的，刚刚发布了beta。
@Kenyth Google Storage for developers的速度和流量相当不错，官方提供python版本的库。

Livid

MOD

PRO

Jul 22, 2010 via iPad

一个贴子连上回复通常数据流量是不会超过 10K 的。

lin

Jul 23, 2010

我对这些东西完全不懂，但是刚才无意中看到有一篇叫

full text search on app engine

的东西：

http://www.ultrasaurus.com/sarahblog/2010/06/full-text-search-on-app-engine/

不知道有没有什么价值，先贴上来。

oldgun

Jul 24, 2010

@Livid,这里不必翻墙。

oldgun

Jul 24, 2010

http://www.tornadoweb.org.nyud.net/