Lua table 如何实现最快的 insert?

Fastest Table Inserts

Posted by ms2008 on March 10, 2020

前两天群里有个朋友贴出一段代码:

function _M.table_keys(self, tb)
    if type(tb) ~= "table" then
        ngx.log(ngx.WARN, type(tb) .. "was given to table_keys")
        return tb
    end

    local t = {}
    for key,_ in pairs(tb) do
        table.insert(t, key)
    end

    return t
end

用来拷贝 HTTP Header,是这样来调用的:

request.REQUEST_HEADERS_NAMES = twaf_func:table_keys(request_headers)

但是他发现,这个操作很耗性能。加了这句,就少了 “5000” 并发。

且不管他这 “5000” 并发是怎么计算出来的。今天,我们就来探讨下 table insert 最快的方法。

CASE 1

题外话:根据 Lua Wiki 上的优化建议,local 化的变量会更快。但是这在 LuaJIT 上几乎已经没有了优势。

local t = {}
local table_insert = table.insert

for i=1,1e7 do
    table_insert(t, i)
end

最经典的写法,LuaJIT 2.1 耗时:1838ms

CASE 2

根据 Lua Wiki 上的优化建议 Lua 5.1 Optimization Notes:

Short inline expressions can be faster than function calls. t[#t+1] = 0 is faster than table.insert(t, 0).

local t = {}

for i=1,1e7 do
    t[#t+1] = i
end

优化后,LuaJIT 2.1 耗时:1836ms

似乎和 CASE-1 并没有明显差距,lua-resty-waf 的作者指出了其中的问题

通过对比二者的 trace log,可以发现它们几乎没有明显区别,但是都调用了 lj_tab_len 来获取 t 的长度,这个操作的时间复杂度为 O(log n),那么完成整个 insert 动作的时间复杂度就是 O(n log n),是影响二者耗时的主要原因。

CASE 3

我们尝试将 lj_tab_len 干掉,自己来计算 t 的长度。那么理论上完成整个 insert 动作的时间复杂度就简化为了 O(n)

local t = {}
local c = 1

for i=1,1e7 do
    t[c] = i
    c = c + 1
end

结果 LuaJIT 2.1 耗时:57ms

一个简单的优化,性能就提升了惊人的 32 倍!

CASE 4

CASE-3 的性能已经非常好了,但还是漏了一个优化的点:table 的扩容。

table 的扩容用的是 hashpow2,它是不小于 table hash or array 区域数量的 2^n^ 形式的整数

local table_new = require "table.new"

local t = table_new(1e7, 0)
local c = 1

for i=1,1e7 do
    t[c] = i
    c = c + 1
end

结果 LuaJIT 2.1 耗时:30ms

性能进一步提升到 64 倍!!!还可以更快吗?

参考文献