【通过Cpython3.9源码看看python的内存回收机制】

news/2024/11/13 2:10:12/

在这里插入图片描述

一:建立对象引用计数

1. 相关代码

void
_Py_NewReference(PyObject *op)
{if (_Py_tracemalloc_config.tracing) {_PyTraceMalloc_NewReference(op);}
#ifdef Py_REF_DEBUG_Py_RefTotal++;
#endifPy_SET_REFCNT(op, 1);
#ifdef Py_TRACE_REFS_Py_AddToAllObjects(op, 1);
#endif
}

2. 代码解释

_Py_NewReference这个函数的主要目的是为新创建的Python对象建立引用计数。在CPython中,引用计数是用来管理内存的一种方法,当一个Python对象的引用计数变为零时,表示没有其他对象引用该对象,因此可以安全地将其内存回收。

下面是_Py_NewReference函数的各个部分的简要说明:

  1. _Py_tracemalloc_config.tracing:当内存追踪功能启用时(即_Py_tracemalloc_config.tracing为真),调用_PyTraceMalloc_NewReference(op)以记录新引用的内存分配。
  2. #ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则增加全局引用计数_Py_RefTotal
  3. Py_SET_REFCNT(op, 1):将新对象op的引用计数设置为1。
  4. #ifdef Py_TRACE_REFS:如果启用了引用跟踪功能(即编译时定义了Py_TRACE_REFS),则调用_Py_AddToAllObjects(op, 1)将新对象op添加到所有对象列表中以进行跟踪。

这个函数通常在创建新的Python对象时调用,以便正确初始化引用计数。需要注意的是,这个函数是CPython内部使用的,不应该在普通Python代码或扩展模块中直接使用。

#ifdef Py_REF_DEBUG是一个C预处理器指令,它会检查是否在编译时定义了Py_REF_DEBUG宏。如果定义了这个宏,那么在#ifdef#endif之间的代码块将被编译并包含在最终的程序中。否则,这部分代码将被忽略。

Py_REF_DEBUG宏用于启用引用计数调试功能。这个功能允许CPython开发者和扩展模块开发者在开发过程中更轻松地追踪和诊断潜在的引用计数错误。这对于调试内存泄漏或提前释放对象等问题非常有用。

当启用Py_REF_DEBUG时,_Py_RefTotal变量被用来跟踪当前分配给Python对象的总引用计数。这个全局计数器在每次创建新引用(如在_Py_NewReference函数中)时递增,在释放引用时递减。通过检查_Py_RefTotal的值,开发者可以在某些情况下发现可能的内存泄漏或错误的引用计数操作。

需要注意的是,Py_REF_DEBUG功能会带来一定的性能开销,因此在生产环境中通常不启用。在发布构建中,默认情况下不会定义Py_REF_DEBUG宏。在开发和调试阶段,可以通过配置构建选项来启用这个功能。

二: 引用计数增加

1. 相关源码

// 引用计数增加
void
Py_IncRef(PyObject *o)
{Py_XINCREF(o);
}// 宏定义
#define Py_XINCREF(op) _Py_XINCREF(_PyObject_CAST(op))// 内联函数
static inline void _Py_XINCREF(PyObject *op)
{if (op != NULL) {Py_INCREF(op);}
}// 宏定义
#define Py_INCREF(op) _Py_INCREF(_PyObject_CAST(op))static inline void _Py_INCREF(PyObject *op)
{
#ifdef Py_REF_DEBUG_Py_RefTotal++;
#endifop->ob_refcnt++;  // 对象的引用计数加1
}

2. 源码解释

_Py_INCREF函数是一个静态内联函数,用于增加给定Python对象(op)的引用计数。内联函数允许编译器在调用处内联展开函数体,以减少函数调用的开销。以下是_Py_INCREF函数的各个部分的简要说明:

  1. #ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则增加全局引用计数_Py_RefTotal
  2. op->ob_refcnt++:增加给定Python对象op的引用计数(ob_refcnt字段)。

Py_INCREF是一个宏,用于调用_Py_INCREF函数。在调用_Py_INCREF之前,它首先使用_PyObject_CAST宏将给定的对象(op)转换为PyObject指针。这是为了确保_Py_INCREF函数接收到的参数具有正确的类型。在编写Python C扩展时,通常会使用Py_INCREF宏来增加Python对象的引用计数。

三:引用计数减少

1. 相关源码

void
Py_DecRef(PyObject *o)
{Py_XDECREF(o);
}#define Py_XDECREF(op) _Py_XDECREF(_PyObject_CAST(op))static inline void _Py_XDECREF(PyObject *op)
{if (op != NULL) {Py_DECREF(op);}
}define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))static inline void _Py_DECREF(
#ifdef Py_REF_DEBUGconst char *filename, int lineno,
#endifPyObject *op)
{
#ifdef Py_REF_DEBUG_Py_RefTotal--;
#endifif (--op->ob_refcnt != 0) {
#ifdef Py_REF_DEBUGif (op->ob_refcnt < 0) {_Py_NegativeRefcount(filename, lineno, op);}
#endif}else {_Py_Dealloc(op);}
}// 引用计数等于0了,就调用dealloc函数进行对象删除
void
_Py_Dealloc(PyObject *op)
{destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS_Py_ForgetReference(op);
#endif(*dealloc)(op);
}

2. 源码解释

在这段代码中,我们可以看到Py_DecRefPy_XDECREF_Py_XDECREFPy_DECREF_Py_DECREF这几个用于处理Python对象引用计数的函数和宏。

  1. Py_DecRef:这是一个简单的封装函数,接受一个指向PyObject的指针o作为参数,然后调用Py_XDECREF(o)宏。

  2. Py_XDECREF:这是一个宏,用于调用_Py_XDECREF函数。在调用之前,它使用_PyObject_CAST(op)宏将给定的对象(op)转换为PyObject指针。

  3. _Py_XDECREF:这是一个静态内联函数,用于在给定对象不为NULL时调用Py_DECREF宏。这意味着如果对象指针为空(即op == NULL),则不会对引用计数进行任何操作。

  4. Py_DECREF:这是一个宏,用于调用_Py_DECREF函数。在调用之前,它使用_PyObject_CAST(op)宏将给定的对象(op)转换为PyObject指针。

  5. _Py_DECREF:这是一个静态内联函数,用于减少给定Python对象(op)的引用计数。以下是_Py_DECREF函数的各个部分的简要说明:

    a. #ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则减少全局引用计数_Py_RefTotal

    b. 减少对象的引用计数:使用--op->ob_refcnt来减少给定对象op的引用计数。

    c. 判断引用计数是否为0:如果引用计数不为0,表示仍有其他对象引用该对象。如果引用计数为0,则调用_Py_Dealloc(op)来释放对象的内存。在引用计数调试模式下,还会检查引用计数是否为负数,如果是,则调用_Py_NegativeRefcount(filename, lineno, op)报告错误。

在Python C扩展中,通常使用Py_DECREFPy_XDECREF宏来减少Python对象的引用计数。这些宏提供了安全和高效的方式来处理引用计数,以防止内存泄漏和提前释放对象。

四:对象删除

1. 相关源码

void
_Py_Dealloc(PyObject *op)
{destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS_Py_ForgetReference(op);
#endif(*dealloc)(op);
}

2. 源码解释

_Py_Dealloc函数是CPython中用于释放Python对象内存的函数。它在对象的引用计数变为零时调用,表示没有其他对象引用该对象,可以安全地回收其内存。以下是_Py_Dealloc函数的各个部分的简要说明:

  1. destructor dealloc = Py_TYPE(op)->tp_dealloc;:从给定Python对象op的类型对象中获取析构函数(tp_dealloc),并将其赋值给dealloc。每个类型对象都有一个与之关联的析构函数,该函数负责清理该类型的对象所占用的内存。
  2. #ifdef Py_TRACE_REFS:如果启用了引用跟踪功能(即编译时定义了Py_TRACE_REFS),则调用_Py_ForgetReference(op)将对象op从所有对象列表中删除,以便不再跟踪该对象。
  3. (*dealloc)(op);:调用dealloc指向的析构函数,释放对象op所占用的内存。这里使用了函数指针,这意味着dealloc可以指向任何类型的析构函数,从而可以灵活地处理不同类型的Python对象。

需要注意的是,_Py_Dealloc函数是CPython内部使用的,不应该在普通Python代码或扩展模块中直接使用。在Python扩展模块中,您应该使用相应的宏和API函数来管理引用计数,例如Py_DECREFPy_XDECREF

Py_TYPE(op)是一个宏,用于获取给定Python对象(op)的类型。它返回一个指向PyTypeObject结构的指针,这个结构包含了对象类型的相关信息,如类型名、方法、属性、析构函数等。

在CPython内部实现中,每个Python对象都包含一个指向其类型对象的指针。这个指针位于PyObject结构的ob_type字段中。Py_TYPE(op)宏实际上就是访问这个ob_type字段,即op->ob_type

在Python C扩展和嵌入式代码中,Py_TYPE(op)宏可以用于检查对象的类型、获取类型特定的函数或执行类型相关的操作。例如,可以通过比较两个对象的类型对象来判断它们是否属于相同的类型。


http://www.ppmy.cn/news/47045.html

相关文章

webRtc播放rtsp视频流(vue2、vue3+vite+ts)

一、下载webRtc 开发环境用的win10版本的。 github上直接下载&#xff0c;速度感人。 Releases mpromonet/webrtc-streamer GitHub 提供资源下载&#xff0c;0积分 https://download.csdn.net/download/weiqiang915/87700892 二、启动&#xff0c;测试 webrtc-streame…

辉煌优配|刚刚!“中字头”再度爆发

今天早盘&#xff0c;A股全体持续震动收拾&#xff0c;上证50指数跌破2700点整数关口&#xff0c;沪深300亦失守4100点。 盘面上&#xff0c;国防军工、种业、中字头、电气设备等板块涨幅居前&#xff0c;前期抢手的人工智能、半导体、信创、软件服务等板块全线回调。北上资金净…

高效又稳定的ChatGPT大模型训练技巧总结,让训练事半功倍!

文&#xff5c;python 前言 近期&#xff0c;ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术&#xff08;LLM&#xff0c; large language model&#xff09;实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络&#xff0c;通过极大规模的…

腾讯新增长,AI扛大旗?

经历了疫情期间的低谷与波折&#xff0c;腾讯正在恢复它的活力。 3月22日&#xff0c;腾讯发布了2022年第四季度及全年财报。财报显示&#xff0c;2022全年营收为5546亿元人民币&#xff0c;归母净利润(Non-IFRS)为1156亿元人民币&#xff1b;2022年腾讯第四季度的营收为1450亿…

Python爬虫实战——获取电影影评

Python爬虫实战——获取电影影评 前言第三方库的安装示例代码效果演示结尾 前言 使用Python爬取指定电影的影评&#xff0c; 注意&#xff1a;本文仅用于学习交流&#xff0c;禁止用于盈利或侵权行为。 操作系统&#xff1a;windows10 家庭版 开发环境&#xff1a;Pycharm Co…

nginx 简介 第四章

一、Nginx简介 1、Nginx简介 Nginx&#xff08;特点&#xff1a;占用内存少&#xff0c;并发能力强&#xff09; Nginx是一个高性能的 HTTP 和反向代理服务器。 Nginx是一款轻量级的 Web 服务器/反向代理服务器及电子邮件 单台物理服务器可支持30 000&#xff5e;50 000个并发…

当,Kotlin Flow与Channel相逢

Flow之所以用起来香&#xff0c;Flow便捷的操作符功不可没&#xff0c;而想要熟练使用更复杂的操作符&#xff0c;那么需要厘清Flow和Channel的关系。 本篇文章构成&#xff1a; 1. Flow与Channel 对比 1.1 Flow核心原理与使用场景 原理 先看最简单的Demo&#xff1a; fun…

WMS智能仓储

子产品介绍篇--智能仓储 智能仓储 我们通常也称 WMS 系统。是一个实时的计算机软件系统&#xff0c;它能够按照运作的业务规则和运算法则&#xff0c;对信息、资源、行为、存货和分销运作进行更完美地管理&#xff0c;提高效率。 一. 仓储管理系统&#xff08;wms&#xff09;…