cooljs
V2EX  ›  数据库

感觉 elasticsearch 很不适合个人开发啊

  •  
  •   cooljs · May 16, 2019 · 9461 views
    This topic created in 2743 days ago, the information mentioned may be changed or developed.

    感觉很吃配置,在 1g 内存的 vps 上运行,各种出错。。要么 java 内存不够了,要么 es 连接超时了。。蓝瘦

    Supplement 1  ·  May 16, 2019

    本地开发可以了,还有一个问题,es生产环境的最低配置是多少呢?,主要用来做图片的检索

    88 replies  •  2019-06-12 20:52:51 +08:00
    mokeyjay
    mokeyjay
    May 16, 2019
    1
    开发就在本地嘛
    xpresslink
    xpresslink
    May 16, 2019❤️4
    2
    省钱和省事之间通常都是有冲突的。
    cooljs
    cooljs
    OP
    May 16, 2019
    3
    @mokeyjay 小程序开发,还得要一个域名
    shyling
    shyling
    May 16, 2019
    4
    你手机运存都不止 1g 了。。。。1g 只是玩具。。。
    kwklover
    kwklover
    May 16, 2019 via Android
    5
    你用 ES 做什么用途?ES 都是吃内存大户。
    xpresslink
    xpresslink
    May 16, 2019
    6
    你在本机弄个 32G 内存,开虚拟机跑个 Docker 吧。没好办法,es 最少要 2G 内存才能正常跑起来。
    Vegetable
    Vegetable
    May 16, 2019
    7
    JAVA 系的东西是很吃内存呀
    gosansam
    gosansam
    May 16, 2019
    8
    虚拟内存搞起来 docker 搞起来
    cooljs
    cooljs
    OP
    May 16, 2019
    9
    @kwklover 用来做图片检索的
    cooljs
    cooljs
    OP
    May 16, 2019
    10
    @xpresslink
    @gosansam 我是开发微信小程序,他的请求有域名验证,本地开发还不行
    cooljs
    cooljs
    OP
    May 16, 2019
    11
    @Vegetable 蓝瘦
    misaka19000
    misaka19000
    May 16, 2019
    12
    1g。。。Java 本来就吃内存,然后 Lucene 还要依赖 page_cache,1g 就不要用 ES 了吧
    Navee
    Navee
    May 16, 2019
    13
    测试用本地跑 1g 内存是够的
    在 vps 跑要看你 vps 是什么实例,那种小型实例有 1g 内存也不要折腾了,cpu、磁盘都是瓶颈
    misaka19000
    misaka19000
    May 16, 2019
    14
    而且 ES 不组集群不能使用到 ES 的优势特性,楼主是为了使用 ES 的搜索特性吗?
    auin
    auin
    May 16, 2019
    15
    应该是 1g 内存的 vps 不适合 elasticsearch 开发
    nisnaker
    nisnaker
    May 16, 2019
    16
    @cooljs #10 小程序开发的时候能在本地 IDE 里把域名验证关掉
    xiaoyangsa
    xiaoyangsa
    May 16, 2019
    17
    1g 服务器可以做.域名映射到本地吧~
    zjsxwc
    zjsxwc
    May 16, 2019
    18
    ES 本来就是给集群跑的,单机还容易跑挂掉的
    cooljs
    cooljs
    OP
    May 16, 2019
    19
    @misaka19000 是的,主要是为了他的搜索特性
    wyntalgeer
    wyntalgeer
    May 16, 2019
    20
    1g 的 VPS 就不要运行 java 程序了吧
    chennqqi
    chennqqi
    May 16, 2019
    21
    楼主非要在 1G 环境下跑可以设置 jvm.options 里
    -Xms2g -> -Xms1g#设置最小堆的值为 1g
    -Xmx2g -> -Xmx1g #设置组大堆的值为 1g
    cooljs
    cooljs
    OP
    May 16, 2019
    22
    @Navee 2g2c 的服务器怎么样
    4BVL25L90W260T9U
    4BVL25L90W260T9U
    May 16, 2019
    23
    可以试试 sonic,rust 写的,非常省内存
    cooljs
    cooljs
    OP
    May 16, 2019❤️1
    24
    @chennqqi 嘿嘿,1g 也跑不起来,直接`JavaThread "Unknown thread"`,必须 512m 才行
    AngryPanda
    AngryPanda
    May 16, 2019
    25
    楼主还有个选择,使用云版 es
    iyaozhen
    iyaozhen
    May 16, 2019 via Android❤️1
    26
    1g 玩个 dan,我们 10 台 128g 内存、3t ssd 的机器都存不了啥,分片都不敢开多。说的不好听,没资源还是不要入坑,当然自己学习可以本机玩玩。

    数据量不大,说真的 MySQL 就行了
    cooljs
    cooljs
    OP
    May 16, 2019
    27
    @nisnaker 关闭了确定 localhost:3000 这样的可以吗?
    cooljs
    cooljs
    OP
    May 16, 2019
    28
    @xiaoyangsa 没有公网 ip,可以映射吗
    cooljs
    cooljs
    OP
    May 16, 2019
    29
    @ospider 选数据库还考虑了使用人多不多,这个没听过诶
    cooljs
    cooljs
    OP
    May 16, 2019
    30
    @iyaozhen 我是想用他的搜索排序
    misaka19000
    misaka19000
    May 16, 2019
    31
    楼上加一,数据量不多直接全文检索就可以搞定
    chinesestudio
    chinesestudio
    May 16, 2019 via Android
    32
    本地开发 frp 穿透 512 也够
    misaka19000
    misaka19000
    May 16, 2019
    33
    或者自己分词然后计算一下相关度,虽然简陋不过应该可以应付一些情况了
    Proxy233
    Proxy233
    May 16, 2019 via Android
    34
    测试和个人可以试试这个: https://app.vizion.ai
    jaylee77
    jaylee77
    May 16, 2019
    35
    @cooljs 你去试试关掉域名校验,是不是比回贴容易得多呢?
    cooljs
    cooljs
    OP
    May 16, 2019
    36
    @AngryPanda 是不是小贵的那种
    cooljs
    cooljs
    OP
    May 16, 2019
    37
    @jaylee77 因为之前试过,localhost 不行
    cooljs
    cooljs
    OP
    May 16, 2019
    38
    @Proxy233 好,多谢老哥
    testplusplus
    testplusplus
    May 16, 2019
    39
    1g 内存上 ES ?一般不都是关系型数据库扛不住查询之后才会去用吗
    cooljs
    cooljs
    OP
    May 16, 2019
    40
    @misaka19000 嗯,不行就换数据库了,
    deepzz
    deepzz
    May 16, 2019 via iPhone
    41
    本人博客就上了 es,哈哈。
    fxxkgw
    fxxkgw
    May 16, 2019
    42
    这玩意是真的吃内存 我一直都觉得是自己太菜 没优化好他的配置。。什么看源码 不可能看的。
    jaylee77
    jaylee77
    May 16, 2019
    43
    @cooljs



    不行?
    JackyCDK
    JackyCDK
    May 16, 2019
    44
    把这台机改成 ngrok 呗...
    cooljs
    cooljs
    OP
    May 16, 2019
    45
    @deepzz 哈哈,你的服务器是啥配置
    cooljs
    cooljs
    OP
    May 16, 2019
    46
    @fxxkgw 不用怀疑,就是我们太菜,😂,es 需要专门的人来搞
    cooljs
    cooljs
    OP
    May 16, 2019
    47
    @jaylee77 我错了大佬,我再试一下😂
    cooljs
    cooljs
    OP
    May 16, 2019
    48
    @JackyCDK 感觉很难的样子
    JackyCDK
    JackyCDK
    May 16, 2019
    49
    @cooljs #48 就改成一条隧道,代理到你自己的开发环境而已,很简单的
    cooljs
    cooljs
    OP
    May 16, 2019
    50
    @JackyCDK 谢谢大佬,我用了本地开发可以了
    cooljs
    cooljs
    OP
    May 16, 2019
    51
    @jaylee77 可以了,之前不知道怎么搞的,谢谢大佬
    yepinf
    yepinf
    May 16, 2019 via iPhone
    52
    不妨试试 solr 比较省内存
    deepzz
    deepzz
    May 16, 2019 via iPhone
    53
    @deepzz @cooljs @cooljs 1 核 1g,限制了 jvm 内存
    DeepRedApple
    DeepRedApple
    May 16, 2019
    54
    直接虚拟机或者 Docker 跑,可以的
    moodasmood
    moodasmood
    May 16, 2019 via Android
    55
    我们公司 es 集群都是 88 核的机器
    fyibmsd
    fyibmsd
    May 16, 2019
    56
    不止 1g 不够 至少也要三台机器吧
    iyaozhen
    iyaozhen
    May 16, 2019 via Android
    57
    @cooljs 最低配置你去看看阿里云的套餐就了解了。好像得 2 核 2gb 内存
    neoblackcap
    neoblackcap
    May 16, 2019
    58
    es 算是穷人的搜索引擎,他们家的东西啊,大企业都觉得可用吧,但跟商业的比起来也就那样了。他们工程师都透露 elk 整套东西对内存的利用不咋地
    jamblues
    jamblues
    May 16, 2019 via iPhone
    59
    图片检索 mysql +redis 就够用了 simhash 分段检索 降维 轻轻松松 实在不行可以上穷人玩的 sphinx
    LukeChien
    LukeChien
    May 16, 2019 via Android
    60
    国外有云托管,在各个公有云上有节点,共享集群
    lusi1990
    lusi1990
    May 16, 2019 via Android
    61
    看下官方文档 ,有最低配置和建议配置
    hurrytospring
    hurrytospring
    May 16, 2019
    62
    本地跑方法太多了。。改 host 文件,代理,关闭验证。。。
    TimLang
    TimLang
    May 16, 2019
    63
    如果你是小站长,肯定不适合用 elasticsearch,成本(服务器)太高,建议使用 postgresql,可以搜索下,自带全文检索,而且有现成的分词插件。
    iyangyuan
    iyangyuan
    May 16, 2019 via iPhone
    64
    小站直接用 mysql 自己实现倒排索引,简单高效
    cooljs
    cooljs
    OP
    May 16, 2019
    65
    @deepzz 牛批啊,es 不会莫名其妙的抽风吗
    cooljs
    cooljs
    OP
    May 16, 2019
    66
    cooljs
    cooljs
    OP
    May 16, 2019
    67
    @neoblackcap 你这个问题,堆配置就可以解决,,估计是这样的😂
    cooljs
    cooljs
    OP
    May 16, 2019
    68
    @LukeChien 有关键词吗
    @lusi1990 OK
    @jamblues
    @TimLang
    @iyangyuan 我是根据搜索内容排序,我查查 pg,mysql 的资料,多谢大佬们
    hxt
    hxt
    May 16, 2019
    69
    你要存的数据量是多少级别的,访问量多少?字段配置把要用到查询的字段设为 index,其他的字段用 store 类型。jvm 设小点,以及 linux 加下虚拟内存。数据量不多配置合理访问量也不多 1g 机器可以跑的。
    AlloVince
    AlloVince
    May 16, 2019
    70
    x-pack 是付费的,报价是$5000/节点 /年,3 nodes 起卖,个人用户老老实实用云服务吧
    cooljs
    cooljs
    OP
    May 16, 2019
    71
    @hxt 我 bulk 存入 4000 条数据,总是超时,就两个字段一个 text,一个 keyword,我试着加下虚拟内存
    cooljs
    cooljs
    OP
    May 16, 2019
    72
    @AlloVince 没说用 xpack 啊😂
    rrfeng
    rrfeng
    May 16, 2019
    73
    这就好比你有 10G 数据要分析起了个 hadoop ?
    AlloVince
    AlloVince
    May 16, 2019
    74
    @cooljs 不用 x-pack 连最基本的权限管理都做不了,等于无法上线
    fiht
    fiht
    May 16, 2019
    75
    楼主你有空看一下这个---> https://github.com/valeriansaliou/sonic
    试用一下看行不行,我 star 了还没来得及试用
    cabing
    cabing
    May 16, 2019
    76
    不一定非得 es 吧。自己玩找个开源的也行。
    glfpes
    glfpes
    May 16, 2019 via Android
    77
    可以购买云服务商的 es 服务
    fiht
    fiht
    May 16, 2019
    78
    @cabing 老哥 es 就是开源的
    fengjianxinghun
    fengjianxinghun
    May 16, 2019 via iPhone
    79
    rust 的 sonic 穷鬼的 es
    cabing
    cabing
    May 16, 2019
    80
    @fiht 我知道大名鼎鼎的 es 是开源的。开源的搜索引擎有好多。。不一定非得 es。
    EugeneYWang
    EugeneYWang
    May 16, 2019
    81
    @AlloVince
    @cooljs

    AWS 有基于 ES 做出魔改版,不仅开源,还包含了权限管理功能等等额外功能。

    另外,我个人也很推荐 LZ 先看看 PG,PG 生态圈里真的很好,国内很多人不知道。但是阿里就一直很看好 PG。

    如果 PG 的全文搜索不够用的话,可以看看 AWS 的魔改版,近几个月推出的。
    EugeneYWang
    EugeneYWang
    May 16, 2019
    82
    BTW,我个人不是阿里的员工。只是了解过他们跟 PG 的部分相关公开信息。
    flashrick
    flashrick
    May 17, 2019
    83
    讯搜呢?听说过没用过
    cooljs
    cooljs
    OP
    May 17, 2019
    84
    @EugeneYWang 好的,谢谢大佬
    @AlloVince 权限管理用后端框架来控制
    @fiht
    @fengjianxinghun sonic 有中文分词吗
    alexmy
    alexmy
    May 17, 2019
    85
    自己玩的话,那些大器物本地用用就好啦,小服务器撑不起。
    brust
    brust
    May 29, 2019
    86
    我的 es 都是限制 128m 的
    因为没钱 1 核 1G
    cooljs
    cooljs
    OP
    May 30, 2019
    87
    @brust 128m 也可以吗?具体怎么操作的
    kwklover
    kwklover
    Jun 12, 2019 via Android
    88
    如果是用于站内搜索,可以试试我的小作品 www.searcheasy.net 一核一 G 照样能跑啊
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1153 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 99ms · UTC 17:56 · PVG 01:56 · LAX 09:56 · JFK 12:56
    ♥ Do have faith in what you're doing.