• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yaotian
V2EX  ›  程序员

大家在linux下打开过10G的大文件进行编辑吗?

  •  
  •   yaotian · May 22, 2013 · 14595 views
    This topic created in 4925 days ago, the information mentioned may be changed or developed.
    如果你用vim的话,就很悲剧。

    收集一下你们的做法。
    19 replies  •  2015-10-03 03:26:24 +08:00
    cloudzhou
    cloudzhou
    May 22, 2013
    1
    你是真的需要编辑呢?(大部分都是不需要的)
    还是只是为了查看相关内容
    一般 sed 和 grep 能解决大部分的需求
    molinxx
    molinxx
    May 22, 2013
    2
    10G还真没试过,1G左右的经常~VIM还好,要等20秒左右加载完成,opensuse系统1230V2的U
    molinxx
    molinxx
    May 22, 2013
    3
    只查看还是用less,编辑还是sed awk吧~
    hadoop
    hadoop
    May 22, 2013 via Android
    4
    @molinxx vim这种必须在文件打开时一次性load进来,完全可以只load一部分,剩下的都用户定位到那里再load。而且我猜测vim内部是不是组织文件内容时需要额外的内存消耗,打开1g文件一般vim占用内存一般要大于1g
    cassyfar
    cassyfar
    May 22, 2013
    5
    我也在想这个问题
    lululau
    lululau
    May 22, 2013
    6
    有一种特例,可以用dd来完成,速度很快,例如,如果要将 bigfile 中的第 m 个字节到第 n 个字节(从1开始)替换成字符串 x, 且x的长度为 (m-n+1),那么可以用命令 dd 来完成编辑:

    echo -n x | dd of=bigfile seek=$((m-1)) bs=1 count=$((m-n+1)) conv=notrunc
    molinxx
    molinxx
    May 22, 2013
    7
    @hadoop 1G左右的话只有刚加载的时候会占用些内存,打开之后就没那么多了~
    RisingV
    RisingV
    May 22, 2013
    8
    我的第一反映是,windows直接趴下
    slimbloody
    slimbloody
    May 22, 2013
    9
    很想知道你为什么要编辑一个10G的文件?这个文件的作用和类型是什么
    reusFork
    reusFork
    May 22, 2013
    10
    sed啊…
    yaotian
    yaotian
    OP
    May 22, 2013
    11
    clino
    clino
    May 22, 2013
    12
    hexedit 这个也算编辑吧? 嘿嘿
    VYSE
    VYSE
    May 22, 2013
    13
    多数Editor会预载到内存,HEX EDITOR更适合一些。推荐wxHexEditor,追赶WINHEX的LINUX下HEX编辑器
    vking
    vking
    May 22, 2013
    14
    @RisingV notepad++(或其他類似編輯器)的异步加载比你想象中的猛.
    ForgotFun
    ForgotFun
    May 23, 2013
    15
    32位系统上肯定是打不开10G的文件的,因为默认系统调用open不支持大于4G文件,除非用open64或者BIG_FIRLE 参数.
    46fo
    46fo
    May 23, 2013 via iPhone
    16
    @RisingV 你out了。ue就能打开。亲测
    williamx
    williamx
    May 23, 2013
    17
    说说看是什么类型的文件,让我长长见识啊!
    tuoxie007
    tuoxie007
    May 23, 2013 via iPad
    18
    我也就用more看看log,随便就好多个G
    butfly
    butfly
    Oct 3, 2015
    19
    楼上都太孤陋寡闻了。编辑过 svnadmin dump 出来的 10G 的文件么?没办法…… load 的时候报错……

    PS , windows 下新点的编辑器都没问题的。当然还在用 x86 的就不说了。

    听说 joe 可以部分加载。 1G 文件只占 50M 内存。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1850 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 06:54 · PVG 14:54 · LAX 22:54 · JFK 01:54
    ♥ Do have faith in what you're doing.