【通过Cpython3.9源码看看python的内存回收机制】

news/2024/5/19 21:29:10/

在这里插入图片描述

一:建立对象引用计数

1. 相关代码

void
_Py_NewReference(PyObject *op)
{if (_Py_tracemalloc_config.tracing) {_PyTraceMalloc_NewReference(op);}
#ifdef Py_REF_DEBUG_Py_RefTotal++;
#endifPy_SET_REFCNT(op, 1);
#ifdef Py_TRACE_REFS_Py_AddToAllObjects(op, 1);
#endif
}

2. 代码解释

_Py_NewReference这个函数的主要目的是为新创建的Python对象建立引用计数。在CPython中,引用计数是用来管理内存的一种方法,当一个Python对象的引用计数变为零时,表示没有其他对象引用该对象,因此可以安全地将其内存回收。

下面是_Py_NewReference函数的各个部分的简要说明:

  1. _Py_tracemalloc_config.tracing:当内存追踪功能启用时(即_Py_tracemalloc_config.tracing为真),调用_PyTraceMalloc_NewReference(op)以记录新引用的内存分配。
  2. #ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则增加全局引用计数_Py_RefTotal
  3. Py_SET_REFCNT(op, 1):将新对象op的引用计数设置为1。
  4. #ifdef Py_TRACE_REFS:如果启用了引用跟踪功能(即编译时定义了Py_TRACE_REFS),则调用_Py_AddToAllObjects(op, 1)将新对象op添加到所有对象列表中以进行跟踪。

这个函数通常在创建新的Python对象时调用,以便正确初始化引用计数。需要注意的是,这个函数是CPython内部使用的,不应该在普通Python代码或扩展模块中直接使用。

#ifdef Py_REF_DEBUG是一个C预处理器指令,它会检查是否在编译时定义了Py_REF_DEBUG宏。如果定义了这个宏,那么在#ifdef#endif之间的代码块将被编译并包含在最终的程序中。否则,这部分代码将被忽略。

Py_REF_DEBUG宏用于启用引用计数调试功能。这个功能允许CPython开发者和扩展模块开发者在开发过程中更轻松地追踪和诊断潜在的引用计数错误。这对于调试内存泄漏或提前释放对象等问题非常有用。

当启用Py_REF_DEBUG时,_Py_RefTotal变量被用来跟踪当前分配给Python对象的总引用计数。这个全局计数器在每次创建新引用(如在_Py_NewReference函数中)时递增,在释放引用时递减。通过检查_Py_RefTotal的值,开发者可以在某些情况下发现可能的内存泄漏或错误的引用计数操作。

需要注意的是,Py_REF_DEBUG功能会带来一定的性能开销,因此在生产环境中通常不启用。在发布构建中,默认情况下不会定义Py_REF_DEBUG宏。在开发和调试阶段,可以通过配置构建选项来启用这个功能。

二: 引用计数增加

1. 相关源码

// 引用计数增加
void
Py_IncRef(PyObject *o)
{Py_XINCREF(o);
}// 宏定义
#define Py_XINCREF(op) _Py_XINCREF(_PyObject_CAST(op))// 内联函数
static inline void _Py_XINCREF(PyObject *op)
{if (op != NULL) {Py_INCREF(op);}
}// 宏定义
#define Py_INCREF(op) _Py_INCREF(_PyObject_CAST(op))static inline void _Py_INCREF(PyObject *op)
{
#ifdef Py_REF_DEBUG_Py_RefTotal++;
#endifop->ob_refcnt++;  // 对象的引用计数加1
}

2. 源码解释

_Py_INCREF函数是一个静态内联函数,用于增加给定Python对象(op)的引用计数。内联函数允许编译器在调用处内联展开函数体,以减少函数调用的开销。以下是_Py_INCREF函数的各个部分的简要说明:

  1. #ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则增加全局引用计数_Py_RefTotal
  2. op->ob_refcnt++:增加给定Python对象op的引用计数(ob_refcnt字段)。

Py_INCREF是一个宏,用于调用_Py_INCREF函数。在调用_Py_INCREF之前,它首先使用_PyObject_CAST宏将给定的对象(op)转换为PyObject指针。这是为了确保_Py_INCREF函数接收到的参数具有正确的类型。在编写Python C扩展时,通常会使用Py_INCREF宏来增加Python对象的引用计数。

三:引用计数减少

1. 相关源码

void
Py_DecRef(PyObject *o)
{Py_XDECREF(o);
}#define Py_XDECREF(op) _Py_XDECREF(_PyObject_CAST(op))static inline void _Py_XDECREF(PyObject *op)
{if (op != NULL) {Py_DECREF(op);}
}define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))static inline void _Py_DECREF(
#ifdef Py_REF_DEBUGconst char *filename, int lineno,
#endifPyObject *op)
{
#ifdef Py_REF_DEBUG_Py_RefTotal--;
#endifif (--op->ob_refcnt != 0) {
#ifdef Py_REF_DEBUGif (op->ob_refcnt < 0) {_Py_NegativeRefcount(filename, lineno, op);}
#endif}else {_Py_Dealloc(op);}
}// 引用计数等于0了,就调用dealloc函数进行对象删除
void
_Py_Dealloc(PyObject *op)
{destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS_Py_ForgetReference(op);
#endif(*dealloc)(op);
}

2. 源码解释

在这段代码中,我们可以看到Py_DecRefPy_XDECREF_Py_XDECREFPy_DECREF_Py_DECREF这几个用于处理Python对象引用计数的函数和宏。

  1. Py_DecRef:这是一个简单的封装函数,接受一个指向PyObject的指针o作为参数,然后调用Py_XDECREF(o)宏。

  2. Py_XDECREF:这是一个宏,用于调用_Py_XDECREF函数。在调用之前,它使用_PyObject_CAST(op)宏将给定的对象(op)转换为PyObject指针。

  3. _Py_XDECREF:这是一个静态内联函数,用于在给定对象不为NULL时调用Py_DECREF宏。这意味着如果对象指针为空(即op == NULL),则不会对引用计数进行任何操作。

  4. Py_DECREF:这是一个宏,用于调用_Py_DECREF函数。在调用之前,它使用_PyObject_CAST(op)宏将给定的对象(op)转换为PyObject指针。

  5. _Py_DECREF:这是一个静态内联函数,用于减少给定Python对象(op)的引用计数。以下是_Py_DECREF函数的各个部分的简要说明:

    a. #ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则减少全局引用计数_Py_RefTotal

    b. 减少对象的引用计数:使用--op->ob_refcnt来减少给定对象op的引用计数。

    c. 判断引用计数是否为0:如果引用计数不为0,表示仍有其他对象引用该对象。如果引用计数为0,则调用_Py_Dealloc(op)来释放对象的内存。在引用计数调试模式下,还会检查引用计数是否为负数,如果是,则调用_Py_NegativeRefcount(filename, lineno, op)报告错误。

在Python C扩展中,通常使用Py_DECREFPy_XDECREF宏来减少Python对象的引用计数。这些宏提供了安全和高效的方式来处理引用计数,以防止内存泄漏和提前释放对象。

四:对象删除

1. 相关源码

void
_Py_Dealloc(PyObject *op)
{destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS_Py_ForgetReference(op);
#endif(*dealloc)(op);
}

2. 源码解释

_Py_Dealloc函数是CPython中用于释放Python对象内存的函数。它在对象的引用计数变为零时调用,表示没有其他对象引用该对象,可以安全地回收其内存。以下是_Py_Dealloc函数的各个部分的简要说明:

  1. destructor dealloc = Py_TYPE(op)->tp_dealloc;:从给定Python对象op的类型对象中获取析构函数(tp_dealloc),并将其赋值给dealloc。每个类型对象都有一个与之关联的析构函数,该函数负责清理该类型的对象所占用的内存。
  2. #ifdef Py_TRACE_REFS:如果启用了引用跟踪功能(即编译时定义了Py_TRACE_REFS),则调用_Py_ForgetReference(op)将对象op从所有对象列表中删除,以便不再跟踪该对象。
  3. (*dealloc)(op);:调用dealloc指向的析构函数,释放对象op所占用的内存。这里使用了函数指针,这意味着dealloc可以指向任何类型的析构函数,从而可以灵活地处理不同类型的Python对象。

需要注意的是,_Py_Dealloc函数是CPython内部使用的,不应该在普通Python代码或扩展模块中直接使用。在Python扩展模块中,您应该使用相应的宏和API函数来管理引用计数,例如Py_DECREFPy_XDECREF

Py_TYPE(op)是一个宏,用于获取给定Python对象(op)的类型。它返回一个指向PyTypeObject结构的指针,这个结构包含了对象类型的相关信息,如类型名、方法、属性、析构函数等。

在CPython内部实现中,每个Python对象都包含一个指向其类型对象的指针。这个指针位于PyObject结构的ob_type字段中。Py_TYPE(op)宏实际上就是访问这个ob_type字段,即op->ob_type

在Python C扩展和嵌入式代码中,Py_TYPE(op)宏可以用于检查对象的类型、获取类型特定的函数或执行类型相关的操作。例如,可以通过比较两个对象的类型对象来判断它们是否属于相同的类型。


http://www.ppmy.cn/news/47045.html

相关文章

webRtc播放rtsp视频流(vue2、vue3+vite+ts)

一、下载webRtc 开发环境用的win10版本的。 github上直接下载&#xff0c;速度感人。 Releases mpromonet/webrtc-streamer GitHub 提供资源下载&#xff0c;0积分 https://download.csdn.net/download/weiqiang915/87700892 二、启动&#xff0c;测试 webrtc-streame…

辉煌优配|刚刚!“中字头”再度爆发

今天早盘&#xff0c;A股全体持续震动收拾&#xff0c;上证50指数跌破2700点整数关口&#xff0c;沪深300亦失守4100点。 盘面上&#xff0c;国防军工、种业、中字头、电气设备等板块涨幅居前&#xff0c;前期抢手的人工智能、半导体、信创、软件服务等板块全线回调。北上资金净…

高效又稳定的ChatGPT大模型训练技巧总结,让训练事半功倍!

文&#xff5c;python 前言 近期&#xff0c;ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术&#xff08;LLM&#xff0c; large language model&#xff09;实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络&#xff0c;通过极大规模的…

腾讯新增长,AI扛大旗?

经历了疫情期间的低谷与波折&#xff0c;腾讯正在恢复它的活力。 3月22日&#xff0c;腾讯发布了2022年第四季度及全年财报。财报显示&#xff0c;2022全年营收为5546亿元人民币&#xff0c;归母净利润(Non-IFRS)为1156亿元人民币&#xff1b;2022年腾讯第四季度的营收为1450亿…

Python爬虫实战——获取电影影评

Python爬虫实战——获取电影影评 前言第三方库的安装示例代码效果演示结尾 前言 使用Python爬取指定电影的影评&#xff0c; 注意&#xff1a;本文仅用于学习交流&#xff0c;禁止用于盈利或侵权行为。 操作系统&#xff1a;windows10 家庭版 开发环境&#xff1a;Pycharm Co…

nginx 简介 第四章

一、Nginx简介 1、Nginx简介 Nginx&#xff08;特点&#xff1a;占用内存少&#xff0c;并发能力强&#xff09; Nginx是一个高性能的 HTTP 和反向代理服务器。 Nginx是一款轻量级的 Web 服务器/反向代理服务器及电子邮件 单台物理服务器可支持30 000&#xff5e;50 000个并发…

当,Kotlin Flow与Channel相逢

Flow之所以用起来香&#xff0c;Flow便捷的操作符功不可没&#xff0c;而想要熟练使用更复杂的操作符&#xff0c;那么需要厘清Flow和Channel的关系。 本篇文章构成&#xff1a; 1. Flow与Channel 对比 1.1 Flow核心原理与使用场景 原理 先看最简单的Demo&#xff1a; fun…

WMS智能仓储

子产品介绍篇--智能仓储 智能仓储 我们通常也称 WMS 系统。是一个实时的计算机软件系统&#xff0c;它能够按照运作的业务规则和运算法则&#xff0c;对信息、资源、行为、存货和分销运作进行更完美地管理&#xff0c;提高效率。 一. 仓储管理系统&#xff08;wms&#xff09;…

柔性数组【结构体和动态内存的结合】

全文目录 前言柔性数组的定义语法柔性数组的特点柔性数组的使用柔性数组的优势 前言 很多人可能没有听过柔性数组这个概念&#xff0c;但是在C99中柔性数组是确实存在的。我个人感觉有点像动态内存和结构体的结合。 柔性数组的定义语法 结构中的最后一个元素允许是未知大小的…

IO多路复用 学习笔记 (阻塞 IO,非阻塞IO,select 模型,poll 模型,epoll 模型)

参考了一下网络资源做的笔记 什么是IO多路复用 就是用一个线程或者一个进程监控文件描述符是否能执行 IO操作 传统网络IO - 阻塞 IO &#xff08;BIO&#xff09; 阻塞IO就是当我们执行一次IO操作中&#xff0c;整个程序是阻塞的&#xff0c;意味在途中我们必须等待返回才…

你了解C语言中的数组指针和函数指针吗?

如题&#xff0c;本篇文章重点讲解C语言中的数组指针和函数指针。这2种指针其实都不是很常用&#xff0c;个人感觉使用起来代码的可读性不是很高&#xff0c;但是还是需要了解一下。 数组指针 数组指针&#xff0c;即指向数组的指针&#xff0c;是用来存放数组的地址的。那如…

车载网络 - Autosar网络管理 - 跳转状态

四、Autosar网络管理跳转状态 网络模式对应报文状态 Autosar网络管理报文各个状态对应的网络管理报文和应用报文的发送和接收状态。 网络模式 网络管理报文 应用报文 收发类型 发送报文 接收报文 发送报文 接收报文 总线睡眠模式(BSM) No Yes No NA 准备总线睡眠模…

第14届蓝桥杯 | 冶炼金属

作者&#xff1a;指针不指南吗 专栏&#xff1a;第14届蓝桥杯真题 &#x1f43e;慢慢来&#xff0c;慢慢来&#x1f43e; 文章目录 题目代码摸索第一次 AC 5/10第二次 AC 100% 反思 题目 链接&#xff1a; 4956. 冶炼金属 - AcWing题库 小蓝有一个神奇的炉子用于将普通金属 O …

老宋 带你五分钟搞懂vue

Vue 1.1 什么是框架 任何编程语言在最初的时候都是没有框架的&#xff0c;后来随着在实际开发过程中不断总结『经验』&#xff0c;积累『最佳实践』&#xff0c;慢慢的人们发现很多『特定场景』下的『特定问题』总是可以『套用固定解决方案』。于是有人把成熟的『固定解决方案…

javascript之函数

什么是函数&#xff1f; &#xff08;函数是由事件驱动的或者当它被调用时执行的可重复使用的代码块。&#xff09; 是封装了一段可以重复调用执行的代码&#xff0c;通过找个代码块&#xff0c;能够实现大量代码的重复使用 使用函数的方式&#xff1a; 声明函数调用函数 声…

使用vscode+cmake进行c++代码编写

1. 前言 因为vcode的主题格式比visual studio好看&#xff0c;而且注释使用ctr/注释非常方便。所以对于一下小型的c代码测试&#xff0c;例如用不到外部库&#xff0c;只需要纯c自己语法&#xff0c;我就想和python一样&#xff0c;在vscode上写。因此记录一下比较简单的典型的…

C++算法初级10——动态规划

C算法初级10——动态规划 文章目录 C算法初级10——动态规划最优化问题动态规划分析流程和条件 最优化问题 生活中我们常常遇到这样一些问题&#xff1a; 看到上面的例子&#xff0c;我们发现这些问题都是在最大化&#xff08;或者最小化&#xff09;某个指标&#xff1a;最小…

剪枝与重参第七课:YOLOv8剪枝

目录 YOLOv8剪枝前言1.Overview2.Pretrain(option)3.Constrained Training4.Prune4.1 检查BN层的bias4.2 设置阈值和剪枝率4.3 最小剪枝Conv单元的TopConv4.4 最小剪枝Conv单元的BottomConv4.5 Seq剪枝4.6 Detect-FPN剪枝4.7 完整示例代码 5.YOLOv8剪枝总结总结 YOLOv8剪枝 前…

你真的会用iPad吗,如何使iPad秒变生产力工具?在iPad上用vscode写代码搞开发

目录 前言 视频教程 1. 本地环境配置 2. 内网穿透 2.1 安装cpolar内网穿透(支持一键自动安装脚本) 2.2 创建HTTP隧道 3. 测试远程访问 4. 配置固定二级子域名 4.1 保留二级子域名 4.2 配置二级子域名 5. 测试使用固定二级子域名远程访问 6. iPad通过软件远程vscode…

Java的时代依然还在,合格的Java工程师成为紧缺人才

Java的时代依然还在&#xff0c;合格的Java工程师成为紧缺人才 编程语言的世界变化莫测&#xff0c;在其中浮浮沉沉28年的Java&#xff0c;也经历见证了很多语言的兴起和衰败。在最新的编程语言排行榜中&#xff0c;Java依旧位居前三&#xff0c;可见Java的发展后劲有多强&…