V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  cloudzhou  ›  全部回复第 61 页 / 共 93 页
回复总数  1844
1 ... 57  58  59  60  61  62  63  64  65  66 ... 93  
2023 年 2 月 17 日
回复了 machen 创建的主题 程序员 美团:某动态线程池框架是官方开源的么?
@dqzcwxb 你说的都是 *理论上*,好像我们现实中没遇到这场景一样,还是 Go 的服务,够原生协程了吧
现实就是:几十万的协程,就把服务快击垮了,cpu 99% 以上,响应不过来,总有其他短板阿

你要是写一个 hello world ,确实可以不用考虑
2023 年 2 月 17 日
回复了 machen 创建的主题 程序员 美团:某动态线程池框架是官方开源的么?
@TWorldIsNButThis 是啊,我只是针对上面一个发言,就是协程不是万能的,并发控制一样需要,甚至因为协程更加容易滥用
2023 年 2 月 17 日
回复了 machen 创建的主题 程序员 美团:某动态线程池框架是官方开源的么?
@lmshl
这个倒是说得太早,尤其是 Java 世界,要原生支持协程且有一段时间。
即便支持协程,对于协程数量的控制还是要需要的,比如有时候消费延后的 kafka ,积累了几十万数据,任何语言启动几十万协程,都不是一个小代价,会系统抖动,影响其他逻辑。

只是技术上我一直倾向一个观点,不要依赖人,依赖算法,而这个 lib 只是提供了一个依赖人去修改的功能,就很鸡肋。
2023 年 2 月 17 日
回复了 machen 创建的主题 程序员 美团:某动态线程池框架是官方开源的么?
你这个需求,是为了动态修改线程池状态,但是这个反而不是我们更需要的,
我做了类似的一个线程池框架,最终实现是:

---------------------------------------------------

# Executor 基于命名空间的公用线程池

## 背景

- 合理使用 Java 线程池并没有想象那么容易,容易滥用
- 能否合理做到 try{}catch{},log ,reject(CallerRunsPolicy/AbortPolicy/DiscardPolicy)
- 在尽量使用资源和防止滥用取得一个平衡

## 设计

- 全局共用线程池,便于管理全部线程,唯一是要注意资源隔离
- 提供梯度降级线程池处理,最大并发控制
- wait group ( fork -> join 模型)
- 监控上报(以 namespace 作为划分)
- 优先级
- 保持和 java.util.concurrent.Executor 一致接口

## 使用场景

### 1. 需要限制最大并发线程数量

比如:kafka 消费,要防止积累的数据瞬间占用大量线程,必要时异步转同步,阻塞消费(典型场景:***)

```
executor.execute("process***", () -> {
handle***(xxx);
}, Opt.withMaxConcurrent(100));
```

### 2. 定义并发上限之后不同表现

```
executor.execute("lowPriority", new Runnable(){...}, Opt.withRejectPolicy());
// CallerRunsPolicy 转变成为当前线程执行
// AbortPolicy 打印异常并且放弃
// DiscardPolicy 默默丢弃
```

### 3. 低优先级

比如: 可以丢失的异步任务,达到最大线程数之后,将放在低优先级 pool ( 64 线程) 执行,相互竞争

```
executor.execute("lowPriority", new Runnable(){...}, Opt.withLowPriority());
```

### 4. fork -> join 模型

比如: 发出多个异步任务,等待集体完成

```
executor.execute("job1", new Runnable(){...}, Opt.withConcurrentGroup("thread-group"));
executor.execute("job2", new Runnable(){...}, Opt.withConcurrentGroup("thread-group"));
executor.execute("job3", new Runnable(){...}, Opt.withConcurrentGroup("thread-group"));
executor.wait("thread-group")
// job 1-3 done
```

### 5. log / monitor

对于开启的任务,都进行 log 和耗时监控,同时上报 monitor

---------------------------------------------------

搞一个全局线程池(最大可能是 2048/4096 ,...),通过同步原语控制并发数( or 百分比,10%)
来让资源最大化使用,但是同时不至于滥用资源,至于这个控制算法,需要仔细斟酌,这才是核心需要

至于那些资源动态改来改去,最多算是一个 1.0 版本,我们需要的是,让机器帮我们选择,作出决定。
2023 年 2 月 14 日
回复了 go522000 创建的主题 问与答 在这个情人节,我提出了离婚。心好累。
作为程序员,精准量化有必要:
1. 加班频率到底如何,是否影响生活了,还是你意气用事
2. 她对孩子怎么样,付出如何

---
以女方角度,没准是,费心费力代娃,努力工作,加班还被老公吼
2023 年 2 月 14 日
回复了 sillydaddy 创建的主题 生活 自己或者小孩子还有必要学习英语吗?
这个问题在于一门新的语言,算不算基础学科的一部分

比如数学,大部分人的数学,在初中阶段就够用了;普通程序员,微积分用的都很少,高中水平够了

对于基础学科,就好比有了计算器,我们依然会教小孩数学,并且认为是必须的学科
那这个问题,我依然会教育小孩英语,一门最广泛,各种领域获取资源最便利的一门学科,同时也是文化的一部分
2023 年 2 月 13 日
回复了 zzzkkk 创建的主题 杭州 手里 150 万 年入 54 万 又不想买房了
如果你考虑利息这个角度,那么永远都不需要买房,除非像日本那样低利率时代。
核心问题还是:是否需要一个房子,带给你幸福感如何
地方水质不同,饮水机是我对所有人推荐的,不用都不知道水能那么脏
最贵的 RO 反渗透,不过根据我的实测,换了后水质好很多
2023 年 1 月 29 日
回复了 rockddd 创建的主题 生活 想买辆好点的车,很纠结麻烦各位帮我分析分析
车贬值和维护成本极高,如果一定要 530 ,可以考虑成色好点的二手车
我第一辆车,15w 落地,五年之后二手 4.5w ,算下来一年 2w 折旧+几 k 维护
2023 年 1 月 11 日
回复了 quxuanxuan 创建的主题 问与答 全铝定制价格咨询
阳台柜用铝的比较好,但是卧室用铝柜会不会感觉没那么好的质感
2023 年 1 月 11 日
回复了 byewind 创建的主题 分享创造 为什么我辞掉了腾讯阿里的工作选择做自由职业?
这里有性别差异的:
对于女性来说,颜值影响较大,从各个方面
男性相对没有那么大
2023 年 1 月 10 日
回复了 changnet 创建的主题 问与答 你们真能看清楚色盲卡上的数字么
并且你这个色弱感觉比我还严重,第一张图 ES 非常明显,第二图我看不出来
2023 年 1 月 10 日
回复了 changnet 创建的主题 问与答 你们真能看清楚色盲卡上的数字么
说个有趣的事情:
我玩和平精英雨林地图的时候,就是绿油油画面,队友很容易找到人,我都是要到跟前才能看到人
就这地图,对色弱人群都是不友好的,哈哈哈
2023 年 1 月 10 日
回复了 changnet 创建的主题 问与答 你们真能看清楚色盲卡上的数字么
@changnet 其实你不大愿意承认自己色弱,哈哈

说实话,是不是色弱,很明显的,很简单,你看不出来就是色弱,不管你说的能区分颜色还是看很久看出来
尤其和正常人对比,他们分分钟看出来

像我从小就知道自己色弱,内心毫无波澜
2023 年 1 月 9 日
回复了 changnet 创建的主题 问与答 你们真能看清楚色盲卡上的数字么
@deorth 是的,有些验证码,我是真看不出来阿
2023 年 1 月 9 日
回复了 changnet 创建的主题 问与答 你们真能看清楚色盲卡上的数字么
色弱并不影响领取驾照,除非色盲,大部分情况能给你通过,不通过说明真的严重
2023 年 1 月 9 日
回复了 changnet 创建的主题 问与答 你们真能看清楚色盲卡上的数字么
@changnet 别怀疑,就是色弱

我换驾照的时候,在车管所直接通不过,要求我去医院,医院也是勉强给我过的,说我是色弱。
2023 年 1 月 4 日
回复了 Features 创建的主题 桂林 买房子,存款嗖的一声全刷了
注意买现房,尤其 2 、3 线城市
2023 年 1 月 3 日
回复了 changnet 创建的主题 生活 艰难的广州买房-买房篇
这个时间很不错了,该出手出手,21 年初买的,近 400w 的房子,目前楼盘已经挂出 340w 价格了 ~~
1 ... 57  58  59  60  61  62  63  64  65  66 ... 93  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   992 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 19:04 · PVG 03:04 · LAX 12:04 · JFK 15:04
♥ Do have faith in what you're doing.