uyhyygyug1234

安利一下 一个叫 gnu parallel 的神器

  •  
  •   uyhyygyug1234 · Jul 31, 2016 · 3820 views
    This topic created in 3751 days ago, the information mentioned may be changed or developed.
    搜了一下,发现分享的不多啊。安利一下。

    先黑一下~~哈哈
    两核的 cpu


    四核的


    16 核的


    并行效果:

    grep 一个大文件,速度提高了 20 倍

    详细请看 : http://www.jianshu.com/p/c5a2369fa613
    16 replies  •  2016-08-01 13:39:30 +08:00
    pathbox
    pathbox
    Jul 31, 2016
    1
    运维 用这个还是挺好的
    uyhyygyug1234
    uyhyygyug1234
    OP
    Jul 31, 2016 via Android
    2
    @pathbox 运维这种工具多,什么 fabric , ansible 之类的。都并行的。
    cuebyte
    cuebyte
    Jul 31, 2016
    3
    cool, despite it's a nagware. lol
    ivmm
    ivmm
    Jul 31, 2016
    4
    我还以为和 PD 有什么关联。
    fcicq
    fcicq
    Jul 31, 2016
    5
    time 的统计方法有问题, user cpu time 的计数不对. 另外这个 grep 应该换成 fgrep.
    loading
    loading
    Jul 31, 2016 via Android
    6
    四核…
    h4lt
    h4lt
    Jul 31, 2016
    7
    看了下楼主的这几篇文章,都挺不错呢。感谢。
    uyhyygyug1234
    uyhyygyug1234
    OP
    Jul 31, 2016 via Android
    8
    @fcicq fgrep 的确在这个例子里要快点,因为就是找个子串
    vibbow
    vibbow
    Jul 31, 2016
    9
    四核的为什么会有 CPU4 混进来...
    uyhyygyug1234
    uyhyygyug1234
    OP
    Jul 31, 2016 via Android
    10
    @vibbow 不要在意这些细节,哈哈。
    @loading
    pH
    pH
    Jul 31, 2016
    11
    @vibbow 这个亮点确实 666 啊
    9hills
    9hills
    Jul 31, 2016❤️1
    12
    parallel 确实是运维神器,而且参数爆多功能十分强大
    dudesun
    dudesun
    Aug 1, 2016
    13
    其实就是 perl 写的 map reduce
    uyhyygyug1234
    uyhyygyug1234
    OP
    Aug 1, 2016 via Android
    14
    @dudesun 是啊
    21grams
    21grams
    Aug 1, 2016
    15
    perl 写的? 有 python 版吗?
    uyhyygyug1234
    uyhyygyug1234
    OP
    Aug 1, 2016 via Android
    16
    @21grams 木有,就是个工具,其实用啥写的无所谓,感觉重写一遍工作量不小啊
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   691 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 22:24 · PVG 06:24 · LAX 14:24 · JFK 17:24
    ♥ Do have faith in what you're doing.