jinxueliu
V2EX  ›  数据库

存储大量的文件该选用哪种数据库?

  •  
  •   jinxueliu · Aug 31, 2016 · 3432 views
    This topic created in 3718 days ago, the information mentioned may be changed or developed.

    存储大量的文件(每个文件 10Mb 左右)该选用哪种数据库?有哪些可选方案,优缺点是什么? 希望大家不吝赐教

    Supplement 1  ·  Sep 1, 2016
    从大家的回答中受益匪浅,看来还是应该创建文件系统来存储这些文件
    22 replies  •  2016-09-01 13:48:41 +08:00
    paulw54jrn
    paulw54jrn
    Aug 31, 2016
    1
    如果用云的话就是存 S3(或对应的服务上), 然后 meta data 存数据库用于检索.

    自己搭的话可以 HDFS, 可以 NFS + RDBMS
    VeryEase
    VeryEase
    Aug 31, 2016
    2
    二进制文件为什么要存数据库.... 如果真要这么做的话,可以考虑下 mongodb , 以前做过某款产品,开发版就是这么干的,后来放弃这种做法了。
    lhbc
    lhbc
    Aug 31, 2016 via Android
    3
    身为程序员
    “大量”这种词就不应该说
    e8c47a0d
    e8c47a0d
    Aug 31, 2016
    4
    为什么要存在数据库里……
    hanxiV2EX
    hanxiV2EX
    Aug 31, 2016 via iPhone
    5
    存文件,数据库只存路径
    zhuangzhuang1988
    zhuangzhuang1988
    Aug 31, 2016
    6
    @e8c47a0d 为什么不能存数据里面?!
    https://book.douban.com/subject/6800774/
    参见这个。。不过有好有坏。。。
    whatot
    whatot
    Aug 31, 2016
    7
    在几乎所有情况下,都是应该减少数据库内部的数据量。
    你这样使用数据库完全就是在浪费数据库的能力。

    存文件还是用对象存储,元数据放数据库。
    htfy96
    htfy96
    Aug 31, 2016
    8
    建议 GlusterFS 。 mongoDB 稳定性。。 https://news.ycombinator.com/item?id=9912842
    purrgil
    purrgil
    Aug 31, 2016
    9
    什么叫大量?

    2T 硬盘就叫大数据?
    lcsoft
    lcsoft
    Aug 31, 2016
    10
    很好奇,除了要索引文件内容做全文搜索,还有哪些原因需要把文件塞到数据库里?
    kingoldlucky
    kingoldlucky
    Aug 31, 2016
    11
    对象存储 ~~ 文件和元数据分开放 现在大互联网公司都这么干 对于海量小文件也适用
    lianxiaoyi
    lianxiaoyi
    Aug 31, 2016 via Android
    12
    这种东西毫不犹豫丢阿里云 oss 或者七牛啊!然后数据库装唯一标识!用数据库存储,你考虑过数据库带宽的感受没?
    tjxjj
    tjxjj
    Aug 31, 2016
    13
    真和数据库压根没啥关系。数据库最多放个索引和元数据,核心还是你这些文件是否要考虑分库,分目录和带宽(如果经常要用的话,如果是图片还需要创建低分辨率的图片等等)
    Powered
    Powered
    Aug 31, 2016 via Android
    14
    有目录的文件夹->自建分布式文件系统
    没有目录的单个文件->对象存储
    carmark
    carmark
    Aug 31, 2016
    15
    msg7086
    msg7086
    Aug 31, 2016
    16
    文件系统就是一个数据库。
    pubby
    pubby
    Aug 31, 2016 via Android
    17
    @carmark 在用
    dsg001
    dsg001
    Sep 1, 2016
    18
    几千万<100K 文件硬盘扛不住,压缩后扔到数据库
    jinxueliu
    jinxueliu
    OP
    Sep 1, 2016
    19
    @lhbc @purrgil 可能我的表述有问题,重点是想解决文件分布式存储的问题,使得每个节点都能快速访问
    ooonme
    ooonme
    Sep 1, 2016 via iPhone
    20
    @jinxueliu hdfs 太小的文件要做合并的
    lhbc
    lhbc
    Sep 1, 2016 via Android
    21
    @jinxueliu 大量 是什么概念?
    十万级?百万级?千万级?亿级?
    每一个级别的技术差异是不一样的。
    没给具体的数量级,哪有什么方案可言。
    efurture
    efurture
    Sep 1, 2016
    22
    文件系统,数据库存路径
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3614 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 66ms · UTC 05:17 · PVG 13:17 · LAX 21:17 · JFK 00:17
    ♥ Do have faith in what you're doing.