adds soft pool cleaner, configuration and allocation limiter for CollectColumnValuesJob #3618
Conversation
…ectColumnValuesJob
| // We use a semaphore here to pace the allocation and sending of messages (the number of permits is magic) | ||
| final Semaphore semaphore = new Semaphore(4); | ||
|
|
There was a problem hiding this comment.
@awildturtok kann ich auch gerne wieder raus nehmen. Habe es noch nicht mit großen Daten getestet
| */ | ||
| @NotNull | ||
| @Valid | ||
| private DataSize messageChunkSize = DataSize.kilobytes(2); |
There was a problem hiding this comment.
Das war vorher auf 2 MB gepinnt, aber wir haben die selten ausgenutzt, ich will es jetzt nochmal mit kleineren Buffern testen
There was a problem hiding this comment.
ja das war ja damals auf 32MB. Dann mach doch lieber 4KB, oder versuch direkt an die pagesize zu kommen.
| private final Supplier<T> supplier; | ||
| private final ClusterConfig config; | ||
| private final Thread poolCleaner = new Thread(this::cleanPool, "SoftPool Cleaner"); |
There was a problem hiding this comment.
Ich habe hier einen Cleaner eingeführt, da ich gemerkt habe, dass sich hier die Referenzen an sammeln und die IoBuffer sonst erst abgeräumt werden, wenn der RAM vollläuft. Genau dann werden sie aber auch normaler weise gebraucht
| @@ -63,21 +67,47 @@ public void react(Worker context) throws Exception { | |||
|
|
|||
| final AtomicInteger done = new AtomicInteger(); | |||
|
|
|||
| // We use a semaphore here to pace the allocation and sending of messages (the number of permits is magic) | |||
| final Semaphore semaphore = new Semaphore(4); | |||
There was a problem hiding this comment.
warum möchtest du denn keinen RateLimiter verwenden?
There was a problem hiding this comment.
So wie ich mir das vorstelle ist ein Ratelimiter von der Größe her unboundet also wenn es mal stockt und Nachrichten können gerade nicht rausgeschickt werden, würde der Ratelimiter nach einiger Zeit wieder Threads reinlassen die weiter Speicher allozieren und die Pressure erhöhen.
Andererseits, wenn wir viele Nachrichten haben, die schnell versendet werden können, dann bremst uns der Ratelimiter
| */ | ||
| @NotNull | ||
| @Valid | ||
| private DataSize messageChunkSize = DataSize.kilobytes(2); |
There was a problem hiding this comment.
ja das war ja damals auf 32MB. Dann mach doch lieber 4KB, oder versuch direkt an die pagesize zu kommen.
| Uninterruptibles.sleepUninterruptibly(config.getSoftPoolCleanerPause().toSeconds(), TimeUnit.SECONDS); | ||
|
|
||
| log.trace("Running pool cleaner"); | ||
| while (poolSize.get() > config.getSoftPoolBaselineSize()) { |
There was a problem hiding this comment.
wo wird die poolSize gezählt?
There was a problem hiding this comment.
Im borrow wird decremented und im offer incremented. Ist in den Logs versteckt, das ist gerade noch schlecht :D
No description provided.