LMDB 内存占用过高？数据量大时的优化策略

LMDB\uFF08Lightning Memory-Mapped Database\uFF09\u662F\u4E00\u79CD\u9AD8\u6548\u7684\u952E\u503C\u5B58\u50A8\u5E93\uFF0C\u5B83\u5728\u4E00\u4E9B\u60C5\u51B5\u4E0B\u53EF\u80FD\u5728\u6570\u636E\u91CF\u5927\u7684\u65F6\u5019\u5360\u7528\u8F83\u9AD8\u7684\u5185\u5B58\u3002\u4E0B\u9762\u662F\u4E00\u4E9B\u53EF\u80FD\u5BFC\u81F4\u8FD9\u79CD\u60C5\u51B5\u7684\u539F\u56E0\uFF1A\n\n1\u3002\u5185\u5B58\u5F71\u50CF\uFF1A\uFF08LMDB\u4F7F\u7528\u5185\u5B58\u5F71\u50CF\u6280\u672F\uFF0C\u5C06\u6570\u636E\u6587\u4EF6\u5F71\u50CF\u5230\u5185\u5B58\u4E2D\u8FDB\u884C\u8BBF\u95EE\u3002\u5F53\u6570\u636E\u91CF\u8F83\u5927\u65F6\uFF0C\u9700\u8981\u5F71\u50CF\u7684\u5185\u5B58\u7A7A\u95F4\u4E5F\u4F1A\u589E\u52A0\uFF0C\u5BFC\u81F4\u5360\u7528\u66F4\u591A\u7684\u5185\u5B58\u3002\n\n2\u3002\u6570\u636E\u9884\u52A0\u8F7D\uFF1A\uFF08LMDB\u5728\u542F\u52A8\u65F6\u4F1A\u5C06\u6574\u4E2A\u6570\u636E\u5E93\u6587\u4EF6\u52A0\u8F7D\u5230\u5185\u5B58\u4E2D\u3002\u5982\u679C\u6570\u636E\u91CF\u5F88\u5927\uFF0C\u8FD9\u4E2A\u8FDB\u7A0B\u53EF\u80FD\u5360\u7528\u8F83\u591A\u7684\u5185\u5B58\u3002\n\n3\u3002\u6570\u636E\u7D22\u5F15\uFF1A\uFF08LMDB\u4F7F\u7528\uFF08B+\u6811\u7D22\u5F15\u6765\u52A0\u901F\u6570\u636E\u7684\u627E\u6270\u548C\u8BBF\u95EE\u3002\u7D22\u5F15\u6570\u636E\u4E5F\u9700\u8981\u5B58\u50A8\u5728\u5185\u5B58\u4E2D\uFF0C\u5F53\u6570\u636E\u91CF\u5927\u65F6\uFF0C\u7D22\u5F15\u6570\u636E\u7684\u5927\u5C0F\u4E5F\u4F1A\u589E\u52A0\uFF0C\u5BFC\u81F4\u5360\u7528\u66F4\u591A\u7684\u5185\u5B58\u3002\n\n4\u3002\u6570\u636E\u7F13\u5B58\uFF1A\uFF08LMDB\u4F7F\u7528\u4E86\u4E00\u4E2A\u6570\u636E\u7F13\u5B58\u6765\u7F13\u5B58\u6700\u8FD1\u8BBF\u95EE\u7684\u6570\u636E\u5757\uFF0C\u4EE5\u63D0\u9AD8\u8BFB\u53D6\u6027\u80FD\u3002\u5F53\u6570\u636E\u91CF\u5927\u65F6\uFF0C\u7F13\u5B58\u7684\u6570\u636E\u5757\u6570\u91CF\u4E5F\u4F1A\u589E\u52A0\uFF0C\u5BFC\u81F4\u5360\u7528\u66F4\u591A\u7684\u5185\u5B58\u3002\n\n\u5982\u679C\u4F60\u7684\u5E94\u7528\u7A0B\u5E8F\u9700\u8981\u5904\u7406\u5927\u91CF\u7684\u6570\u636E\uFF0C\u800C\u4E14\u5BF9\u5185\u5B58\u5360\u7528\u6709\u9650\u5236\uFF0C\u53EF\u4EE5\u8003\u8651\u4EE5\u4E0B\u51E0\u79CD\u65B9\u6CD5\u6765\u964D\u4F4E\uFF08LMDB\u7684\u5185\u5B58\u5360\u7528\uFF1A\n\n1\u3002\u51CF\u5C11\u5185\u5B58\u5F71\u50CF\u7684\u5927\u5C0F\uFF1A\uFF08\u53EF\u4EE5\u901A\u8FC7\u8C03\u6574\uFF08LMDB\u7684\u914D\u7F6E\u53C2\u6570\u6765\u51CF\u5C11\u5185\u5B58\u5F71\u50CF\u7684\u5927\u5C0F\uFF0C\u5BFC\u81F4\u964D\u4F4E\u5185\u5B58\u5360\u7528\u3002\u5177\u4F53\u7684\u65B9\u6CD5\u53EF\u4EE5\u53C2\u8003\uFF08LMDB\u7684\u6587\u6863\u6216\u8005\u76F8\u5173\u7684\u914D\u7F6E\u6587\u4EF6\u3002\n\n2\u3002\u589E\u52A0\u6570\u636E\u7F13\u5B58\u7684\u5927\u5C0F\uFF1A\uFF08\u53EF\u4EE5\u901A\u8FC7\u589E\u52A0\uFF08LMDB\u7684\u7F13\u5B58\u5927\u5C0F\u6765\u63D0\u9AD8\u8BFB\u53D6\u6027\u80FD\uFF0C\u4F46\u662F\u540C\u65F6\u4E5F\u4F1A\u589E\u52A0\u5185\u5B58\u5360\u7528\u3002\u53EF\u4EE5\u6839\u636E\u5B9E\u9645\u9700\u6C42\u6765\u8C03\u6574\u7F13\u5B58\u5927\u5C0F\u3002\n\n3\u3002\u5206\u6279\u5904\u7406\u6570\u636E\uFF1A\uFF08\u5982\u679C\u6570\u636E\u91CF\u975E\u5E38\u5927\uFF0C\u53EF\u4EE5\u8003\u8651\u5C06\u6570\u636E\u5206\u6279\u5904\u7406\uFF0C\u53EA\u52A0\u8F7D\u90E8\u5206\u6570\u636E\u5230\u5185\u5B58\u4E2D\u8FDB\u884C\u64CD\u4F5C\uFF0C\u5BFC\u81F4\u964D\u4F4E\u5185\u5B58\u5360\u7528\u3002\n\n4\u3002\u4F18\u5316\u6570\u636E\u6A21\u578B\u548C\u7D22\u5F15\uFF1A\uFF08\u901A\u8FC7\u4F18\u5316\u6570\u636E\u6A21\u578B\u548C\u7D22\u5F15\u7684\u8BBE\u8BA1\uFF0C\u53EF\u4EE5\u51CF\u5C11\u6570\u636E\u91CF\u548C\u7D22\u5F15\u6570\u636E\u7684\u5927\u5C0F\uFF0C\u5BFC\u81F4\u964D\u4F4E\u5185\u5B58\u5360\u7528\u3002\n\n\u9700\u8981\u6CE8\u610F\u7684\u662F\uFF0C\uFF08LMDB\u5728\u8BBE\u8BA1\u4E0A\u8E29\u6C42\u7684\u662F\u9AD8\u6027\u80FD\u548C\u4F4E\u5EF6\u7B54\uFF0C\u6240\u4EE5\u5728\u4E00\u4E9B\u60C5\u51B5\u4E0B\u53EF\u80FD\u4F1A\u7206\u793A\u4E00\u90E8\u5206\u5185\u5B58\u5360\u7528\u6765\u63D0\u9AD8\u8BFB\u5199\u6027\u80FD\u3002\u5982\u679C\u5BF9\u5185\u5B58\u5360\u7528\u6709\u4E25\u683C\u7684\u9650\u5236\uFF0C\u53EF\u4EE5\u8003\u8651\u5176\u4ED6\u9002\u5408\u5185\u5B58\u9650\u5236\u7684\u952E\u503C\u5B58\u50A8\u5E93\u3002