Python开发【模块】:Concurrent

2019-12-04 19:00栏目:编程
TAG:

Python中的多线程没有真正实现多现程! 为什么这么说,我们了解一个概念,全局解释器锁(GIL)。

concurrent 模块

回顾:

  对于python来说,作为解释型语言,Python的解释器必须做到既安全又高效。我们都知道多线程编程会遇到的问题,解释器要留意的是避免在不同的线程操作内部共享的数据,同时它还要保证在管理用户线程时保证总是有最大化的计算资源。而python是通过使用全局解释器锁来保护数据的安全性:

  python代码的执行由python虚拟机来控制,即Python先把代码(.py文件)编译成字节码(字节码在Python虚拟机程序里对应的是PyCodeObject对象,.pyc文件是字节码在磁盘上的表现形式),交给字节码虚拟机,然后虚拟机一条一条执行字节码指令,从而完成程序的执行。python在设计的时候在虚拟机中,同时只能有一个线程执行。同样地,虽然python解释器中可以运行多个线程,但在任意时刻,只有一个线程在解释器中运行。而对python虚拟机的访问由全局解释器锁来控制,正是这个锁能保证同一时刻只有一个线程在运行

 

多线程执行方式:

  • 设置GIL(global interpreter lock).
  • 切换到一个线程执行。
  • 运行:
  •     a,指定数量的字节码指令。
  •     b,线程主动让出控制(可以调用time.sleep(0))。
  • 把线程设置为睡眠状态。
  • 解锁GIL.
  • 再次重复以上步骤。

  GIL的特性,也就导致了python不能充分利用多核cpu。而对面向I/O的(会调用内建操作系统C代码的)程序来说,GIL会在这个I/O调用之前被释放,以允许其他线程在这个线程等待I/O的时候运行。如果线程并为使用很多I/O操作,它会在自己的时间片一直占用处理器和GIL。这也就是所说的:I/O密集型python程序比计算密集型的程序更能充分利用多线程的好处。

总之,不要使用python多线程,使用python多进程进行并发编程,就不会有GIL这种问题存在,并且也能充分利用多核cpu

 

threading使用回顾:

import threading
import time

def run(n):
    semaphore.acquire()
    time.sleep(2)
    print("run the thread: %s" % n)
    semaphore.release()

if __name__ == '__main__':
    start_time = time.time()
    thread_list = []
    semaphore = threading.BoundedSemaphore(5)  # 信号量,最多允许5个线程同时运行
    for i in range(20):
        t = threading.Thread(target=run, args=(i,))
        t.start()
        thread_list.append(t)
    for t in thread_list:
        t.join()

    used_time = time.time() - start_time
    print('用时',used_time)

# 用时 8.04102110862732

  

ThreadPoolExecutor多并发:

import time
import threading
from concurrent.futures import ThreadPoolExecutor
from concurrent.futures import ProcessPoolExecutor

def run(n):
    time.sleep(2)
    print("run the thread: %s" % n)

if __name__ == '__main__':
    pool = ProcessPoolExecutor(5)
    start = time.time()
    for i in range(20):
        pool.submit(run,i)

    pool.shutdown(wait=True)
    print(time.time()-start)

# 8.741109848022461

 

  

 

在介绍Python中的线程之前,先明确一个问题,Python中的多线程是假的多线程!
为什么这么说,我们先明确一个概念,全局解释器锁(GIL)

Python代码的执行由Python虚拟机(解释器)来控制。

什么是GIL

Python代码的执行由Python虚拟机(解释器)来控制,同时只有一个线程在执行。对Python虚拟机的访问由全局解释器锁(GIL)来控制,正是这个锁能保证同时只有一个线程在运行。

Python在设计之初就考虑要在主循环中,同时只有一个线程在执行,

为什么要GIL

为了线程间数据的一致性和状态同步的完整性,(例如:线程2需要线程1执行完成的结果,然而线程2又比线程1执行时间短,线程2执行完成,线程1仍然还在执行,这就是数据的同步性)

就像单CPU的系统中运行多个进程那样,内存中可以存放多个程序,

GIL的影响

只有一个线程在运行,无法使用多核。

  • 在多线程环境中,Python虚拟机按照以下方式执行。

    1.设置GIL。
    2.切换到一个线程去执行。
    3.运行。
    4.把线程设置为睡眠状态。
    5.解锁GIL。
    6.再次重复以上步骤。
    比方我有一个4核的CPU,那么这样一来,在单位时间内每个核只能跑一个线程,然后时间片轮转切换。
    但是Python不一样,它不管你有几个核,单位时间多个核只能跑一个线程,然后时间片轮转。
    执行一段时间后让出,多线程在Python中只能交替执,10核也只能用到1个核
    例如:

from threading import Thread
def loop():
    while True:
        print("亲爱的,我错了,我能吃饭了吗?")

if __name__ == '__main__':

    for i in range(3):
        t = Thread(target=loop)
        t.start()

    while True:
        pass

而如果我们变成进程呢?cpu --100%

from multiprocessing import Process
def loop():
    while True:
        print("亲爱的,我错了,我能吃饭了吗?")

if __name__ == '__main__':

    for i in range(3):
        t = Process(target=loop)
        t.start()

    while True:
        pass

但任意时刻,只有一个程序在CPU中运行。

多线程怎么使用多核

  • 1、重写python编译器(官方cpython)如使用:PyPy解释器
  • 2、调用C语言的链接库

版权声明:本文由bob体育app发布于编程,转载请注明出处:Python开发【模块】:Concurrent