跳转至

25 答疑(二):GIL与多线程是什么关系呢?

你好,我是景霄。

不知不觉中,我们又一起完成了第二大章进阶篇的学习。我非常高兴看到很多同学一直在坚持积极地学习,并且留下了很多高质量的留言,值得我们互相思考交流。也有一些同学反复推敲,指出了文章中一些表达不严谨或是不当的地方,我也表示十分感谢。

大部分留言,我都在相对应的文章中回复过了。而一些手机上不方便回复,或是很有价值很典型的问题,我专门摘录了出来,作为今天的答疑内容,集中回复。

问题一:列表self append无限嵌套的原理

先来回答第一个问题,两个同学都问到了,下面这段代码中的x,为什么是无限嵌套的列表?

x = [1]
x.append(x)
x
[1, [...]]

我们可以将上述操作画一个图,便于你更直观地理解:

这里,x指向一个列表,列表的第一个元素为1;执行了append操作后,第二个元素又反过来指向x,即指向了x所指向的列表,因此形成了一个无限嵌套的循环:[1, [1, [1, [1, …]]]]。

不过,虽然x是无限嵌套的列表,但x.append(x)的操作,并不会递归遍历其中的每一个元素。它只是扩充了原列表的第二个元素,并将其指向x,因此不会出现stack overflow的问题,自然不会报错。

至于第二点,为什么len(x)返回的是2?我们还是来看x,虽然它是无限嵌套的列表,但x的top level只有2个元素组成,第一个元素为1,第二个元素为指向自身的列表,因此len(x)返回2。

问题二:装饰器的宏观理解

再来看第二个问题,胡峣同学对装饰器的疑问。事实上,装饰器的作用与意义,在于其可以通过自定义的函数或类,在不改变原函数的基础上,改变原函数的一些功能。

Decorators is to modify the behavior of the function through a wrapper so we don't have to actually modify the function.

装饰器将额外增加的功能,封装在自己的装饰器函数或类中;如果你想要调用它,只需要在原函数的顶部,加上@decorator即可。显然,这样做可以让你的代码得到高度的抽象、分离与简化。

光说概念可能还是有点抽象,我们可以想象下面这样一个场景,从真实例子来感受装饰器的魅力。在一些社交网站的后台,有无数的操作在调用之前,都需要先检查用户是否登录,比如在一些帖子里发表评论、发表状态等等。

如果你不知道装饰器,用常规的方法来编程,写出来的代码大概是下面这样的:

# 发表评论
def post_comment(request, ...):
    if not authenticate(request):
        raise Exception('U must log in first')
    ...

# 发表状态
def post_moment(request, ...):
    if not authenticate(request):
        raise Exception('U must log in first')
    ...

显然,这样重复调用认证函数authenticate()的步骤,就显得非常冗余了。更好的解决办法,就是将认证函数authenticate()单独分离出来,写成一个装饰器,就像我们下面这样的写法。这样一来,代码便得到了高度的优化:

# 发表评论
@authenticate
def post_comment(request, ...):

# 发表状态
@authenticate
def post_moment(request, ...):

不过也要注意,很多情况下,装饰器并不是唯一的方法。而我这里强调的,主要是使用装饰器带来的好处:

  • 代码更加简洁;
  • 逻辑更加清晰;
  • 程序的层次化、分离化更加明显。

而这也是我们应该遵循和优先选择的开发模式。

问题三:GIL与多线程的关系

第三个问题,new同学疑惑的是,GIL只支持单线程,而Python支持多线程,这两者之间究竟是什么关系呢?

其实,GIL的存在与Python支持多线程并不矛盾。前面我们讲过,GIL是指同一时刻,程序只能有一个线程运行;而Python中的多线程,是指多个线程交替执行,造成一个“伪并行”的结果,但是具体到某一时刻,仍然只有1个线程在运行,并不是真正的多线程并行。这个机制,我画了下面这张图来表示:

举个例子来理解。比如,我用10个线程来爬取50个网站的内容。线程1在爬取第1个网站时,被I/O block住了,处于等待状态;这时,GIL就会释放,而线程2就会开始执行,去爬取第2个网站,依次类推。等到线程1的I/O操作完成时,主程序便又会切回线程1,让其完成剩下的操作。这样一来,从用户角度看到的,便是我们所说的多线程。

问题四:多进程与多线程的应用场景

第四个问题,这个在文章中多次提到,不过,我还是想在这里再次强调一下。

如果你想对CPU密集型任务加速,使用多线程是无效的,请使用多进程。这里所谓的CPU密集型任务,是指会消耗大量CPU资源的任务,比如求1到100000000的乘积,或者是把一段很长的文字编码后又解码等等。

使用多线程之所以无效,原因正是我们前面刚讲过的,Python多线程的本质是多个线程互相切换,但同一时刻仍然只允许一个线程运行。因此,你使用多线程,和使用一个主线程,本质上来说并没有什么差别;反而在很多情况下,因为线程切换带来额外损耗,还会降低程序的效率。

而如果使用多进程,就可以允许多个进程之间in parallel地执行任务,所以能够有效提高程序的运行效率。

至于 I/O密集型任务,如果想要加速,请优先使用多线程或Asyncio。当然,使用多进程也可以达到目的,但是完全没有这个必要。因为对I/O密集型任务来说,大多数时间都浪费在了I/O等待上。因此,在一个线程/任务等待I/O时,我们只需要切换线程/任务去执行其他 I/O操作就可以了。

不过,如果I/O操作非常多、非常heavy,需要建立的连接也比较多时,我们一般会选择Asyncio。因为Asyncio的任务切换更加轻量化,并且它能启动的任务数也远比多线程启动的线程数要多。当然,如果I/O的操作不是那么的heavy,那么使用多线程也就足够了。

今天主要回答这几个问题,同时也欢迎你继续在留言区写下疑问和感想,我会持续不断地解答。希望每一次的留言和答疑,都能给你带来新的收获和价值。

精选留言(15)
  • 大王叫我来巡山 👍(6) 💬(1)

    第一次完全明白GIL,照顾方便性的同时在实现上偷了懒,但是本身设计就是解决特定问题,而不是解决所有问题的,但是随着受众的增多,是会发展变化,就行脚本语言中引入类型系统,编译型语言中引入类型推断,都是为了语言更好的发展。

    2019-11-29

  • new 👍(5) 💬(1)

    目前项目不用python看过了似乎是懂了,过一段时间又啥都想不起来了,学习最好的方式是边学边用,可是没机会用。感觉老师确实底蕴深厚呀,好多东西对老师来说似乎很简单,比如图,有向图,有向边,我都不懂呀,感觉差的好多好多

    2019-07-09

  • 晓冰 👍(3) 💬(2)

    老师你好,python同一时刻只能执行一个线程,那么多核cpu的场景下就没办法充分利用硬件资源,我们在生产环境中是怎么玩的呢?

    2019-08-15

  • 杰洛特 👍(1) 💬(1)

    请教老师,对于网络请求等待较多的场景,是不是也参考I/O密集型任务,采用多线程好一些?

    2019-08-07

  • TKbook 👍(21) 💬(3)

    看到这,终于搞明白多线程和协程的差异,感谢老师。

    2019-07-05

  • Paul Shan 👍(8) 💬(1)

    我个人认为,线程是CPU调度的最小单元,但是Python,因为GIL的存在让并行无法在线程这个粒度上运行,只好在更大粒度的进程上并行,进程切换的代价比线程大,Python并行的效率低于支持多线程同时在多核上跑的语言。协程是在一个线程内调度资源,无法实现并行,但对IO操作有效,也就是说可以并发利用CPU和IO资源,但是无法并行利用多个CPU资源。我的观点是否正确,请老师指正。

    2019-11-22

  • 爱学习的小迪 👍(2) 💬(0)

    在多核CPU的场景下,多线程可以充分利用CPU,实现并行;但是Python由于存在GIL,要求同一个时刻只能有一个线程运行,从而导致无法利用多核CPU的优势,也就是造成了“伪并行”; GIL只存在于CPython解释器中。主要出于Python的内存管理和CPython大量使用线程不安全的C库的角度来考虑引入GIL

    2022-07-03

  • yshan 👍(2) 💬(0)

    继续加油,虽然学习了后面,前面有些已经忘记了,还是需要多复习和实践

    2019-07-05

  • min 👍(1) 💬(1)

    老师,前次讲的垃圾回收之分代回收,系统默认第二代和第三代阈值为10;对于一个系统来说,这么多全局变量,那么第二代和三代不就在一直很高频的回收?

    2019-07-05

  • 张申傲 👍(0) 💬(0)

    第25讲打卡~

    2024-06-20

  • 钱鹏 Allen 👍(0) 💬(0)

    多线程并不代表cpu同时让多个线程在同一时间一起跑,而是每次执行一个任务

    2022-11-21

  • 吴昊 👍(0) 💬(0)

    对问题一中的x,为什么x==x,没有触发异常?或者说,__eq__()函数在遍历列表元素前还做了其他事情吧,这个事情是什么呢?

    2022-02-17

  • ZY 👍(0) 💬(0)

    Python 中进程,线程,协程分别应用于哪些日常开发中的场景呢

    2021-01-09

  • 晓骏 👍(0) 💬(0)

    老师,学习python量化是要立即订阅吗?我怎么按了立即订阅跳出来是Python核心技术与实战?和量化有关系吗?

    2020-07-26

  • isaiahqian 👍(0) 💬(0)

    老师,想提供GPU预测的异步接口,这个属于IO密集还是CPU密集?主要计算是使用GPU,不在CPU,而且最后返回结果需要从GPU搬回CPU,应该属于IO操作。所以用多线程更合适?

    2019-09-21