python缓存内存泄漏可通过弱引用优化:一、weakvaluedictionary自动清理值;二、weakkeydictionary自动失效键;三、weakref.ref配合回调清理;四、封装lru_cache返回弱引用。

如果在Python缓存实现中,对象生命周期不受控导致内存持续增长,则可能是由于缓存持有强引用而阻碍垃圾回收。以下是利用弱引用优化缓存行为的具体方式:
一、使用 weakref.WeakValueDictionary 构建自动清理缓存
WeakValueDictionary 的值以弱引用方式存储,当缓存中的对象不再被其他地方强引用时,该键值对会自动从字典中移除,避免内存泄漏。
1、导入 weakref 模块:import weakref。
2、创建缓存实例:cache = weakref.WeakValueDictionary()。
立即学习“Python免费学习笔记(深入)”;
3、向缓存中插入对象:cache[‘key’] = some_object,其中 some_object 必须是可哈希且支持弱引用的类型(如自定义类需未禁用 __weakref__)。
4、访问缓存值:value = cache.get(‘key’),若原对象已被回收,则返回 None。
二、为不可哈希对象使用 weakref.WeakKeyDictionary
WeakKeyDictionary 的键以弱引用方式存储,适用于将外部对象作为键、且希望键对象销毁后对应条目自动失效的场景,例如以实例为键缓存其计算结果。
1、初始化字典:result_cache = weakref.WeakKeyDictionary()。
2、将实例与计算结果配对存入:result_cache[instance] = expensive_computation(instance)。
3、后续通过同一实例对象查询:if instance in result_cache: return result_cache[instance],若 instance 已被回收,则 in 判断为 False。
三、手动管理弱引用配合回调清理缓存项
通过 weakref.ref 创建带回调的弱引用,在对象即将被回收时触发清理逻辑,适用于需要执行额外释放操作(如关闭句柄、注销监听)的缓存条目。
1、定义清理函数:def on_object_dead(weak_ref): cache.pop(weak_ref, None)。
2、创建带回调的弱引用:weak_obj = weakref.ref(obj, on_object_dead)。
3、将弱引用对象存入缓存字典:cache[‘key’] = weak_obj。
4、每次访问前检查有效性:obj = cache[‘key’](); if obj is not None: use(obj)。
四、结合 functools.lru_cache 与弱引用包装器
标准 lru_cache 默认持有强引用,可通过封装函数使其返回弱引用对象,从而控制缓存中实际持有的引用强度。
1、定义弱引用包装函数:def weak_cached_func(func): return Lambda *a, **kw: weakref.ref(func(*a, **kw))。
2、应用装饰:@weak_cached_func。
3、调用后显式解包:result_ref = cached_func(); actual_result = result_ref(),若返回 None 表示原对象已回收。