python减小内存占用_如何将Python内存占用缩小20倍?

news/2025/2/14 17:09:23/

当程序执行过程中RAM中有大量对象处于活动状态时,可能会出现内存问题,特别是在对可用内存总量有限制的情况下。

下面概述了一些减小对象大小的方法,这些方法可以显著减少纯Python程序所需的RAM数量。

注: 这是我原帖子的英文版本(原帖子是用俄文写的)。(https://habr.com/ru/post/455722/ )

为了简单起见,我们将考虑用Python中的结构来表示坐标为x、y、z的点,并通过名称来访问坐标值。

Dict

在小程序中,特别是在脚本中,使用内置的dict来表示结构信息是非常简单方便的:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-1.jpg (6.06 KB, 下载次数: 0)

2020-11-8 08:06 上传

随着Python 3.6中使用一组有序键的更紧凑实现方式的出现,dict变得更有吸引力。但是,让我们看看它在RAM中的内存大小:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-2.jpg (4.43 KB, 下载次数: 0)

2020-11-8 08:06 上传

它需要大量内存,特别是当你突然需要创建大量实例时:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-3.jpg (17.2 KB, 下载次数: 0)

2020-11-8 08:06 上传

类实例

对于那些喜欢将所有东西放置在类中的人来说,最好将结构定义为一个可以通过属性名访问的类,:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-4.jpg (10.78 KB, 下载次数: 1)

2020-11-8 08:06 上传

类实例的结构很有趣:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-5.jpg (18.95 KB, 下载次数: 0)

2020-11-8 08:06 上传

这里的__weakref__是对这个对象的所谓弱引用列表的一个引用,__dict__字段是对类实例字典的引用,它包含实例属性的值(注意64位的引用平台会占用8个字节)。从Python 3.3开始,共享空间用于在字典中存储类的所有实例的键。这减少了RAM中实例堆栈的大小:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-6.jpg (6.8 KB, 下载次数: 0)

2020-11-8 08:06 上传

因此,大量的类实例占用的内存比一个普通字典(dict)占用的要小:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-7.jpg (16.23 KB, 下载次数: 0)

2020-11-8 08:06 上传

很容易看出,由于实例字典的大小,RAM中实例的大小依旧很大。

带有__slots__的类实例

通过消除 __dict__和__weakref__,可以显著减小RAM中的类实例的大小。这通过一个带有__slots__的小“技巧”是可能实现的:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-8.jpg (12.89 KB, 下载次数: 0)

2020-11-8 08:06 上传

RAM中的对象大小明显变小了:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-9.jpg (18.05 KB, 下载次数: 0)

2020-11-8 08:06 上传

在类定义中使用__slots__可以显著减少大量实例对内存空间的占用:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-10.jpg (16.62 KB, 下载次数: 0)

2020-11-8 08:06 上传

目前,这是大幅度减少RAM中类实例的内存占用的主要方法。

这是因为在内存中,对象引用会紧跟标题之后被存储在内存中——属性值,并通过类字典中的特殊描述符来访问它们:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-11.jpg (15 KB, 下载次数: 0)

2020-11-8 08:06 上传

要自动化使用 __slots__创建一个类的过程,有一个库[namedlist] (https://pypi.org/project/namedlist )可以使用。namedlist.namedlist函数会创建一个带有__slots__的类:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-12.jpg (4.88 KB, 下载次数: 1)

2020-11-8 08:06 上传

另一个包[attrs] (https://pypi.org/project/attrs )允许你使用和不使用__slots__自动创建类。

元组

Python还有一个内置的类型tuple(元组),用于表示不可变的数据结构。一个元组是一个固定的结构或记录,但没有字段名。对于字段访问,使用的是字段索引。元组字段在元组实例创建时就一次性与值对象相关联:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-13.jpg (5.77 KB, 下载次数: 0)

2020-11-8 08:06 上传

元组的实例是相当简洁的:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-14.jpg (4.37 KB, 下载次数: 0)

2020-11-8 08:06 上传

它们在内存中占用的字节比使用__slots__的类实例要多8个字节,因为内存中的元组跟踪也包含许多字段:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-15.jpg (20.47 KB, 下载次数: 1)

2020-11-8 08:06 上传

Namedtuple(命名元组)

由于元组使用的非常广泛,某天有人可能会提交一个通过名称访问字段的请求。这个请求的答案是collections.namedtuple模块。

namedtuple函数的目的是自动生成这样的类:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-16.jpg (4.96 KB, 下载次数: 0)

2020-11-8 08:06 上传

它会创建一个元组子类,其中定义了用于按名称访问字段的描述符。在我们的例子中,它看起来是这样的:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-17.jpg (18.53 KB, 下载次数: 0)

2020-11-8 08:06 上传

这些类的所有实例都具有与元组相同的内存占用量。大量的实例会占用更大的内存空间:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-18.jpg (15.94 KB, 下载次数: 0)

2020-11-8 08:06 上传

Recordclass: 没有循环GC的可变namedtuple

由于tuple和相应的namedtuple类会生成不可变对象,因此,ob.x属性就不能再与另一个值对象相关联了,对可变namedtuple变体的请求已经出现了。由于Python中没有与支持赋值的元组相同的内置类型,因此,开发者们创建了许多选项。我们将关注[recordclass] (https://pypi.org/project/recordclass ),它的评级为[stackoverflow] (https://stackoverflow.com/questions/29290359/ exists -of-mutable-name - tuplein -python / 29419745 )。此外,与类元组对象的大小相比,它还可以用来减小RAM中对象的大小。

包recordclass引入了recordclass.mutabletuple类型,它几乎与tuple相同,但它支持赋值。在此基础上,创建的子类几乎与namedtuple完全相同,但它支持将新值赋给字段(不需要创建新的实例)。recordclass函数与namedtuple函数一样,允许你自动创建这些类:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-19.jpg (6.88 KB, 下载次数: 0)

2020-11-8 08:06 上传

只有在没有PyGC_Head的情况下,类实例才具有与tuple相同的结构:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-20.jpg (16.68 KB, 下载次数: 2)

2020-11-8 08:06 上传

默认情况下,recordclass函数会创建一个不参与循环垃圾回收机制的类。通常,namedtuple和recordclass用于生成表示记录或简单(非递归)数据结构的类。在Python中正确使用它们就不会生成循环引用。出于这个原因, 在recordclass生成的类实例后面 ,默认情况下,PyGC_Head 部分会被排除在外, 这对支持循环垃圾回收机制(更准确地说:在与创建的类相关联的PyTypeObject结构中,默认情况下,flag字段中的Py_TPFLAGS_HAVE_GC是没有设置的)的类来说是必要的。

大量实例的内存占用量比使用了__slots__的类的实例要小:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-21.jpg (17.23 KB, 下载次数: 1)

2020-11-8 08:06 上传

Dataobject

recordclass库中提出的另一个解决方案是基于这样的思想:在内存中使用与带有__slots__的类实例相同的存储结构,但不参与循环垃圾回收机制。这些类是使用recordclass.make_dataclass数生成的:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-22.jpg (5.37 KB, 下载次数: 0)

2020-11-8 08:06 上传

默认情况下,以这种方式创建的类将创建可变实例。

另一种方法——使用继承自recordclass.dataobject的类声明:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-23.jpg (5.7 KB, 下载次数: 0)

2020-11-8 08:06 上传

以这种方式创建的类将创建不参与循环垃圾回收机制的实例。内存中实例的结构与使用__slots__的情况相同,但是没有PyGC_Head:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-24.jpg (15.58 KB, 下载次数: 0)

2020-11-8 08:06 上传

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-25.jpg (6.32 KB, 下载次数: 0)

2020-11-8 08:06 上传

为了访问字段,还可以使用特殊的描述符通过它从对象开始的偏移量来访问,这些偏移量位于类字典中:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-26.jpg (23.75 KB, 下载次数: 0)

2020-11-8 08:06 上传

大量实例内存占用量的大小在CPython中可能是最小的:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-27.jpg (17.04 KB, 下载次数: 1)

2020-11-8 08:06 上传

Cython

还有一种基于使用[Cython] (https://cython.org )的方法。它的优点是字段可以接受C语言原子类型的值。自动创建用于从纯Python中来访问字段的描述符。例如:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-28.jpg (10.66 KB, 下载次数: 0)

2020-11-8 08:06 上传

在这种情况下,实例的内存占用更小:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-29.jpg (6.37 KB, 下载次数: 0)

2020-11-8 08:06 上传

内存中的实例跟踪的结构如下:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-30.jpg (18.13 KB, 下载次数: 0)

2020-11-8 08:06 上传

大量副本的占用空间要小一些:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-31.jpg (15.98 KB, 下载次数: 0)

2020-11-8 08:06 上传

但是,请记住,当你从Python代码访问时,每次都会执行从int到Python对象的转换,反之亦然。

Numpy

对大量数据使用多维数组或记录数组会增加内存占用。但是,为了在纯Python中进行有效的处理,你应该使用那些主要使用了numpy包中的函数的处理方法。

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-32.jpg (7.62 KB, 下载次数: 0)

2020-11-8 08:06 上传

使用函数创建一个由N个元素组成的数组,并将其初始化为0:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-33.jpg (4.91 KB, 下载次数: 0)

2020-11-8 08:06 上传

内存中数组的大小是可能的最小值:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-34.jpg (16.92 KB, 下载次数: 1)

2020-11-8 08:06 上传

正常访问数组元素和行需要将Python对象转换为C中的 int值,反之亦然。提取单个行会创建一个包含单个元素的数组。它的追踪就不再那么简单了:

a3318c941136e31422f9e0be7c9e8802.gif

如何将Python内存占用缩小20倍?-35.jpg (4.51 KB, 下载次数: 1)

2020-11-8 08:06 上传

因此,如上所述,在Python代码中,有必要使用numpy包中的函数来处理数组。

结论

通过一个清晰而简单的示例,可以验证由开发人员和用户组成的Python编程语言(CPython)社区确实有可能显著减少对象使用的内存量。

英文原文:https://habr.com/en/post/458518/

译者:Nothing


http://www.ppmy.cn/news/602907.html

相关文章

java发送简单邮件_Java程序实现发送简单文本邮件

/*** Java程序实现发送简单文本邮件** author Administrator**/public class SendTextMail {// 定义发件人地址public static String sendAddress "xxxx163.com";// 定义收件人地址public static String receiveAddress "xxx163.com";// 定义发件人账户名…

java 捕获异常并存入数据库_java异常处理,报异常的话怎么处理对象值,并持久化到数据库中...

展开全部//没看到有人回e68a843231313335323631343130323136353331333365646233答你,我还没学到框架,不知道那个是不是可以很便捷操作你说的这样过程//我写个基础点的,就是一个序列化与反序列化的过程,你这个是要侦测到参数异常的时候//才开始进行序列化操作的,其实我觉得原理应…

金属元素螯合剂:(S)-DOTAGA-(COOt-Bu)4,1023889-20-4,可应用于制备纳米材料

文章关键词:金属元素螯合剂,大环配体,DOTA标记(COOt-Bu)4 ●中文名:(S)-DOTAGA-四叔丁酯 ●英文名:(S)-DOTAGA-(COOt-Bu)4 ●外观以及性质: 西安凯新生物科技有限公司供应的​(S)-DOTAGA-(COOt-Bu)4中DOT…

java 手编线程池_死磕 java线程系列之自己动手写一个线程池

欢迎关注我的公众号“彤哥读源码”,查看更多源码系列文章, 与彤哥一起畅游源码的海洋。(手机横屏看源码更方便)问题(1)自己动手写一个线程池需要考虑哪些因素?(2)自己动手写的线程池如何测试?简介线程池是Java并发编程中经常使用到的技术&…

java带参数的方法笔记_具有Java参数的方法的类声明

类声明可以包含在Java中具有参数的方法。演示此过程的程序如下:示例class Message {public void messagePrint(String msg) {System.out.println("The message is: " msg);}}public class Demo {public static void main(String args[]) {Message m new…

java 0-100整数多少个是7的倍数_输出1-100之间7的倍数的个数。

java小白,在学习java基础视频,看到毕老师给的一个练习。便自己编写了一下。在编写的过程中。输出个数是没有问题的。代码如下://目的:计算1-100之间7的倍数的个数。/**要求:1,先求出1-100之间7的倍数。2&am…

java 原子量_Java原子量 - Rickxue的个人空间 - OSCHINA - 中文开源技术交流社区

所谓的原子量即操作变量的操作是“原子的”,该操作不可再分,因此是线程安全的。为何要使用原子变量呢,原因是多个线程对单个变量操作也会引起一些问题。在Java5之前,可以通过volatile、synchronized关键字来解决并发访问的安全问题…

java 数据结构 无向图_数据结构-无向图

1.图的定义图(Graph)是由顶点(vertex)的有穷非空集合和顶点之间边(edge)的集合组成,通常表示为:G(V,E),其中,G表示一个图,V是图G中顶点的集合,E是图G中边的集合 a.若顶点之间 Vi 和 Vj 之间没有方向,则为无…