Latency numbers every programmer should know:
-问题定位工具
-pprof
-基本原理：
-----The builtin Go CPU profiler uses the setitimer(2) system call to ask the operating system to be sent a SIGPROF signal 100 times a second. Each signal stops the Go process and gets delivered to a random thread’s sigtrampgo() function. This function then proceeds to call sigprof() or sigprofNonGo() to record the thread’s current stack.
---Since Go uses non-blocking I/O, Goroutines that wait on I/O are parked and not running on any threads. Therefore they end up being largely invisible to Go’s builtin CPU profiler.
-
每秒被唤醒 100 次，记录每个线程上的栈。
-fgprof
-----fgprof is implemented as a background goroutine that wakes up 99 times per second and calls runtime.GoroutineProfile. This returns a list of all goroutines regardless of their current On/Off CPU scheduling status and their call stacks.
-
比较类似，但是会包含那些 Off CPU 的 goroutine。
-可以用来诊断 CPU、IO 混合的执行时间占比。
-局部优化
-| - - | -
-
-
-调用外部命令 - |
-
package main
-
-import (
- "os/exec"
- "testing"
-
- uuid "github.com/satori/go.uuid"
-)
-
-var uu []byte
-var u1 uuid.UUID
-
-func BenchmarkUUIDExec(b *testing.B) {
- for i := 0; i < b.N; i++ {
- uu, _ = exec.Command("uuidgen").Output()
- }
-}
-
-func BenchmarkUUIDLib(b *testing.B) {
- for i := 0; i < b.N; i++ {
- u1 = uuid.NewV4()
- }
-}| - - | -
-
-
-字符串操作 - |
-
用加号连接，和 Sprintf 差别还是比较大的：
-func BenchmarkBytesBufferAppend(b *testing.B) {
- for i := 0; i < b.N; i++ {
- var msg bytes.Buffer
- msg.WriteString("userid : " + "1")
- msg.WriteString("location : " + "ab")
- }
-}
-
-func BenchmarkBytesBufferAppendSprintf(b *testing.B) {
- for i := 0; i < b.N; i++ {
- var msg bytes.Buffer
- msg.WriteString(fmt.Sprintf("userid : %d", 1))
- msg.WriteString(fmt.Sprintf("location : %s", "ab"))
- }
-}
-fmt.打印系列大部分会造成变量逃逸(interface 参数)。
-性能瓶颈举例
-过多的对象
- - - -过多的调度 CPU 占用(例如火焰图中，schedule 有一大条)
-类似 fasthttp 的 workerpool。
-创建好的 goroutine 可以反复使用，并且自己实现可以控制最大的并发 worker 数。
-锁冲突
-通过阶梯加压，观察 goroutine 的变化趋势。当触发锁瓶颈时，会出现大量等锁的 goroutine。
-程序局部性
-false sharing
-时间局部性、空间局部性
-var semtable [semTabSize]struct { - root semaRoot - pad [cpu.CacheLinePadSize - unsafe.Sizeof(semaRoot{})]byte -}
-var timers [timersLen]struct { - timersBucket
- // The padding should eliminate false sharing
- // between timersBucket values.
- pad [cpu.CacheLinePadSize - unsafe.Sizeof(timersBucket{})%cpu.CacheLinePadSize]byte
-}
-类似下面的二维数组，怎么遍历更快？
-var a = [10000][10000]int{}
-在标准库中，考虑到局部性而实现的 sort 的例子：
-func quickSort_func(data lessSwap, a, b, maxDepth int) { - for b-a > 12 { - if maxDepth == 0 { - heapSort_func(data, a, b) - return - } - maxDepth-- - mlo, mhi := doPivot_func(data, a, b) - if mlo-a < b-mhi { - quickSort_func(data, a, mlo, maxDepth) - a = mhi - } else { - quickSort_func(data, mhi, b, maxDepth) - b = mlo - } - } - if b-a > 1 { - for i := a + 6; i < b; i++ { - if data.Less(i, i-6) { - data.Swap(i, i-6) - } - } - insertionSort_func(data, a, b) - } -}
-timer 性能问题
--
-
-
-
老版本的 timer 会有大量的 syscall → https://github.com/golang/go/issues/25471
-
-
go1.13
-% time seconds usecs/call calls errors syscall ------- ----------- ----------- --------- --------- ---------------- - 84.00 12.007993 459 26148 3874 futex - 11.43 1.634512 146 11180 nanosleep - 4.45 0.635987 32 20185 sched_yield
-go1.14
-% time seconds usecs/call calls errors syscall ------- ----------- ----------- --------- --------- ---------------- - 58.78 4.837332 174 27770 4662 futex - 19.50 1.605189 440 3646 nanosleep - 11.55 0.950730 44 21569 epoll_pwait - 9.75 0.802715 36 22181 sched_yield:w
--
-
-
-
用时间轮实现粗粒度的时间库
-
-
可以搜搜大量的 timewheel 库。
-
+
+