• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cloudaice
V2EX  ›  程序员

分享一个github用户活跃度排名和中国github用户分布网站

  •  
  •   cloudaice ·
    cloudaice · May 22, 2013 · 13206 views
    This topic created in 4918 days ago, the information mentioned may be changed or developed.
    前段时间写了一个github用户活跃度实时排名应用。里面包括github用户在全国省市的分布状况。看看各位githuber自己的活跃度排名吧,或者在world top1000里面有没有你的身影。

    http://data.cloudaice.com
    58 replies  •  2019-04-14 11:33:51 +08:00
    flowerpiggy
    flowerpiggy
    May 22, 2013
    1
    除了北京和上海,就浙江代码猴子最多了。
    cloudaice
    cloudaice
    OP
    May 22, 2013
    2
    @flowerpiggy 其实浙江90%以上都是在杭州,而这其中大部分都是阿里巴巴的人。
    flowerpiggy
    flowerpiggy
    May 22, 2013❤️1
    3
    是啊,因为有阿里巴巴,杭州聚集了很多猿,大有南方IT之都的架势了。
    另台湾是0?是没数据还是真是0?
    linzhi
    linzhi
    May 22, 2013
    4
    排名第一的是个妹子啊

    BTW:没写地址的人没算在内吧
    cloudaice
    cloudaice
    OP
    May 22, 2013
    5
    @linzhi 对,要是没写地址的话就没办法统计,不过里面关于地名统计还是有些问题,因为有些基本都是直接写地级市,没有写省,我对像杭州这样的比较多的做了单独处理,但是其他的都没有单独处理,不知道有没有对中国省市区进行模糊匹配的库可以利用。
    cloudaice
    cloudaice
    OP
    May 22, 2013
    6
    @linzhi 开始我也以为是妹子,但是发现不是,只是用了一个妹子的头像。。。
    panxianhai
    panxianhai
    May 22, 2013
    7
    这个中国地图使用什么做的?D3?
    cloudaice
    cloudaice
    OP
    May 22, 2013❤️2
    8
    @panxianhai 开始我也打算用d3做的,但是发现还要拿中国地图的数据,后来发现了这么一个东西

    https://github.com/rockyuse/svgmap?source=cc

    于是就直接拿来用了。
    panxianhai
    panxianhai
    May 22, 2013
    9
    @cloudaice 这是个好东西,谢谢告知。
    aisk
    aisk
    May 22, 2013
    10
    超时了……
    cloudaice
    cloudaice
    OP
    May 22, 2013
    11
    @aisk 我服务器是搭在heroku上的,国内访问heroku那么慢啊。
    aisk
    aisk
    May 22, 2013
    12
    @cloudaice 开了梯子秒开,看来是heroku的问题了
    cloudaice
    cloudaice
    OP
    May 22, 2013
    13
    @aisk 嗯嗯,怪不得,之前也有人反映打不开。
    Keinez
    Keinez
    May 22, 2013
    14
    @cloudaice 记得前段时间有消息说heroku作为免费云被太多人用来翻墙,已经被认证了……
    至少现在我挂着VPN是秒开。
    qiibeta
    qiibeta
    May 22, 2013
    15
    同上……必须开梯子,不然根本打不开
    YUCOAT
    YUCOAT
    May 22, 2013
    16
    排名第一的难道是python-china.org的那位?
    csslayer
    csslayer
    May 22, 2013
    17
    有bug?……

    用China 这边的一个个到 World 那边去搜,只能找到前两个,但是 Score 是一样的……所以 World 那边统计没完?
    YUCOAT
    YUCOAT
    May 22, 2013
    18
    我居然上榜了。。。。小小滴动!
    alexrezit
    alexrezit
    May 22, 2013
    19
    分数是怎么算的? 抓取时间呢? 我想看看自己的排名, 结果改了地址之后好久也没找到.
    alexrezit
    alexrezit
    May 22, 2013
    20
    好吧... 找到了... #146
    最近还要更新一些东西, 试试看能不能进 top 100.
    wencheng
    wencheng
    May 22, 2013
    21
    @cloudaice 直接无法访问了
    TankyWoo
    TankyWoo
    May 23, 2013
    22
    才300多名。。。

    被定位为China,现在把地址改详细了
    TankyWoo
    TankyWoo
    May 23, 2013
    23
    前7名全是JS。。。
    hzlzh
    hzlzh
    May 23, 2013 via iPhone
    24
    排在#132,看了下调用的官方api gist China
    cloudaice
    cloudaice
    OP
    May 23, 2013
    25
    @csslayer 是这样的,这个统计首先根据followers的人数来抓,比如china的,首先抓取followers数目的前1000个人。就是说follwers的数目没有进前1000,那么contributions再多也没用。你说的情况应该是followers数目还没有在world的前1000.
    cloudaice
    cloudaice
    OP
    May 23, 2013
    26
    @alexrezit 改完之后可能要等等,后台抓取基本10分钟就可以一个轮回了,考虑抓取失败造成的影响,应该很快就可以看到的。
    cloudaice
    cloudaice
    OP
    May 23, 2013
    27
    @alexrezit 另外分数计算是先根据followers的值做一个函数映射,然后加上你的contributions的值,具体函数图可以在about页面看到。这样做主要是考虑有些人follwers很多但是contributions比较少。照顾那些正在努力contribute的同学们。
    cloudaice
    cloudaice
    OP
    May 23, 2013
    28
    有兴趣的同学多提一些pull request啊,目前一个主要的问题就是匹配地名,很多地名写的不详细的,就没办法统计到分布图里面,大家有没有解决的办法,比如关于中国地级市的地名模糊匹配的库。
    alexrezit
    alexrezit
    May 23, 2013
    29
    @cloudaice
    囧... 我的 followers 还没到上限的三分之一...
    ljbha007
    ljbha007
    May 23, 2013
    30
    为啥重庆只有两个啊。。
    这个数据是怎么来的?
    TankyWoo
    TankyWoo
    May 23, 2013
    31
    囧,突然发现,我昨天把地址从China改为Beijing, China后,榜上就没名了

    而且好像格局变了很多,昨天我200多分才300多名,今天看到200多分都前100了
    TankyWoo
    TankyWoo
    May 23, 2013
    32
    囧,现在又有了,而且前进到180多名了。。。
    tulike1
    tulike1
    May 23, 2013
    33
    ini
    ini
    May 23, 2013
    34
    居然能进top100。。老夫自己都表示很震惊。。
    ini
    ini
    May 23, 2013
    35
    @cloudaice
    楼主你确定你的算法没问题么。。我表示看了一下,排我后面的很多人followers比我多,项目的stargazers,folkers也比我多,为毛我会排在前面,老夫会愧疚的。。
    MrMign
    MrMign
    May 23, 2013
    36
    @Keinez heroku也可以用来翻吗?跟gae似的??
    darcy
    darcy
    May 23, 2013
    37
    @hzlzh 貌似楼主调整了算法,你已经上升至40,而livid却从表里消失了。
    xupefei
    xupefei
    May 23, 2013
    38
    算法好像有问题啊……比如 #893(https://github.com/swestrich)后面的人明显比这位贡献多啊。
    另外,CTRL+F 关键字 “null” 还能搜到不少排名诡异的同学……
    hzlzh
    hzlzh
    May 23, 2013
    39
    @darcy 看了下#40,算法是改了,昨天的算法是 follower + contributions 生加,现在contributions权重增加了。
    linzhi
    linzhi
    May 23, 2013
    40
    楼主的算法修改了一次 貌似还没以前的好啊 我这种水货都能在250左右啊
    66beta
    66beta
    May 23, 2013
    41
    全上海只有100多???
    全国排名包含全部吗?为毛没我垫底?
    tangzx
    tangzx
    May 23, 2013 via iPhone
    42
    俺也表示鸭梨很大,大粗人一个居然能进top100实在有愧啊
    sivacohan
    sivacohan
    May 23, 2013
    43
    长春铁通用户表示无法访问。
    rove
    rove
    May 23, 2013
    44
    @sivacohan
    北京电信表示也没打开,翻一下墙就能打开了

    好多省市都是0..
    cloudaice
    cloudaice
    OP
    May 23, 2013
    45
    @ljbha007 通过抓取github用户在github上填的地址信息
    cloudaice
    cloudaice
    OP
    May 23, 2013
    46
    @TankyWoo 很有可能是抓取contributions的时候,出现了网络错误,我处理错误的时候默认给contributions赋予0。但是下一个轮回又会重新抓取,所以又回来了。不过这个问题的确需要解决。
    sivacohan
    sivacohan
    May 23, 2013
    47
    @rove

    长春铁通表示 PPTP 完全连不上。
    ssh 80% 丢包
    cloudaice
    cloudaice
    OP
    May 23, 2013
    48
    @tulike1 果然很不错,多谢告知。
    AlloVince
    AlloVince
    May 23, 2013
    49
    #21 但似乎与地图的数据不匹配
    cloudaice
    cloudaice
    OP
    May 23, 2013
    50
    @ini 应该是你最近一年的contributions比它们多,可以看这里有具体算法描述:
    https://github.com/cloudaice/simple-data
    相对来说比较侧重活跃度,
    alexrezit
    alexrezit
    May 23, 2013
    51
    @cloudaice
    嗯. 我现在就不见了. 300+ contributions.
    qiibeta
    qiibeta
    May 23, 2013
    52
    昨天还在China前10……今天影子都见不到
    cloudaice
    cloudaice
    OP
    May 23, 2013
    53
    我查看了一下服务器log,可能是因为我抓取github信息频率过高,一些很多页面信息抓取都失败了。我修改下代码,感谢各位的反馈啊!!!
    cloudaice
    cloudaice
    OP
    May 23, 2013
    54
    @darcy 今天的排名榜单的确有问题,发现是github的搜索功能出现了问题,例如在github的搜索框里面输入 livid 用户名,查询该用户,发现查不到。而这个应用一部分是给予github搜索功能的,其他很多大神没有在表里面也是这个原因。
    TankyWoo
    TankyWoo
    May 23, 2013
    55
    @cloudaice 如果这样,可以先获取时,保存上次结果,如果获取不到,可以使用上次结果。

    再进一步,如果N次后一直提示NULL,则可以清0

    一个建议,可以考虑下
    cloudaice
    cloudaice
    OP
    May 23, 2013
    56
    @TankyWoo 多谢!!!
    lotus9
    lotus9
    Apr 13, 2014
    57
    厉害~~~
    bysocket
    bysocket
    Apr 14, 2019
    58
    竟然有我
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2110 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 114ms · UTC 00:44 · PVG 08:44 · LAX 16:44 · JFK 19:44
    ♥ Do have faith in what you're doing.