Python语言 多线程
小标 2018-12-10 来源 : 阅读 1097 评论 0

摘要:本文主要向大家介绍了Python语言 多线程,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。

本文主要向大家介绍了Python语言 多线程,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。

今天给大家说说多进程!

梳理接下来的知识点:

    1. 多进程的介绍    2. 多进程的特点    3. 多进程的简单使用    4. 进程直接数据交互    5. 进程直接的数据通信    6. 进程之间的内存共享    7. 进程同步 # 没写    8. 进程池 # 没写

1.多进程的介绍

在Python中,基本都知道多线程是 假的多线程.它是在一个核上跑,并没有达到多核运算。
而且由于GIL这把超级大锁的原因,发生了很多让人无语的事情。

而且当线程多的时候,效率还不如不串行的速度快。
所以,很多人都只拿Python的多线程做 IO 处理,因为不消耗CPU嘛,到了使用CPU进行运算的时候,大家直接转用多进程。
在Python中,多线程是假的,但是多进程是真的。

这里我们科普一下进程和线程的一些问题。

每一个进程中必须有一个或一个以上的线程。

父进程和子进程,通常只是名义上的 ·父子关系·

启动一个进程,就会启动一个线程,所以,当被问到启动线程快还是启动进程快,答案是线程快。

当启动进程数量大于CPU核数,就会进行排队,比如是8核,只能同时跑8个进程,如果超出,就会被安排在 后面,当8个里面有一个结束,就会马上从排在后面的进程中放进去一个。

还有很多啦。。自己去Google啦。

2.多进程的特点

通常会有一个父进程

没有进程间内存共享那么方便

存在独立的PID

动态性

.......自己Google...

3.进程的简单使用

import multiprocessingimport osimport time"""os.getppid()    获取当前进程的父进程的PIDos.getpid()     获取当前进程的PID"""# 定义def run():        time.sleep(3)    print('父进程的PID:',os.getppid())    print("当前进程的PID:",os.getpid())        # 继承多进程class MyProcess(multiprocessing.Process):    def __init__(self,func):        super(MyProcess,self).__init__()        self.func = func    def run(self):        self.func()if __name__ == '__main__':    print("主进程的父进程PID:",os.getppid()) # 主进程的父进程的PID    print("主进程的PID:",os.getpid()) # 主进程的 PID    print("_"*20 + "\n")    Process = MyProcess(run,"XeanYu") # 实例化一个多进程对象    Process.start() # 执行多进程

这样就是简单使用多进程的实例。

4.进程之间的数据交互

from multiprocessing import Process,Queue"""    Queue 实现进程间的 `数据交互`,中间使用 `序列化`"""# 简单的小钩子,用于快速将数据做成一个列表返回。def get_all(queue):    q = []    if hasattr(queue,'get' and 'empty'):        while True:            if queue.empty():  # 判断 队列 `q` 是否为空。 null => True or not null => False                return q  # 跳出循环,返回结果.            q.append(queue.get())    else:        raise TypeError("Please input Queue Object!")"""    使用 multiprocessing 中的 Queue(队列)"""def run(q,name):    q.put(name)if __name__ == '__main__':    li = []      q = Queue()    process1 = Process(target=run,args=(q,'XeanYu'))    process2 = Process(target=run,args=(q,'XY'))    process1.start()    process2.start()    process1.join()    process2.join()    li = get_all(q)    print(li)

这样看起来很像内存共享,但实际是。
举栗子:

进程A 将数据序列化后,进程B进行反序列化,就实现了数据交互,这不是内存共享!

5.进程之间的数据通讯

from multiprocessing import Process,Pipedef Son(pipe):    pipe.send("Hello Father") # 向父亲发送 `Hello Father`    print("From Father:" + pipe.recv()) # 接收父亲发过来的 `Hi my son!`def Father(pipe):    print("From Son:" + pipe.recv()) # 接收儿子的发来的 `Hello Father`    pipe.send("Hi my son!") # 发送给儿子,说 `Hi my son!`if __name__ == '__main__':    father,son = Pipe() # 实例化一个父亲和儿子    f = Process(target=Father,args=(father,)) # 父亲的进程    s = Process(target=Son,args=(son,)) # 儿子的进程    f.start() # 启动    s.start() # 启动        """"        结果:            >>> From Son:Hello Father            >>> From Father:Hi my son!        """"

我们使用Pipe() 函数,在进程Son和进程Father直间建立一个管道,进行进程直接的通信。使用方法很像是Socekt的操作。
其中,father,son = Pipe() 是返回两个通信的双方,然后其中的father,son都有一个send()发送,recv()接收的方法。

6. 进程之间的内存共享.

from multiprocessing import Process,Managerdef run(d,i):    d.append(i)if __name__ == '__main__':    manager = Manager() # 实例化    d = manager.list() # 定义一个list类型,这个list是进程内存共享的list    p_list = [] # 进程表    for i in range(5): # 将每个 i 传入参数        p = Process(target=run,args=(d,i))        p.start()        p_list.append(p)    for i in p_list:        i.join()    print(d) # 查看d,有没有被多个进程操作一个内存地址。

补充:Manager() 支持很多类型的数据。列出一些: list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array.

中途总结:

from multiprocessing import Process,Manager,Pipefrom random import randint"""    知识点要求:        1.多进程使用        2.多进程之间的通信        3.多进程之间的内存共享        4.使用自己定义类,并且继承多线程"""class MeProcess(Process): # 继承多线程    def __init__(self,func,args=()):        super(MeProcess,self).__init__(target=func,args=args) # 为了省事,就直接这样写了,没写 run(self)def send(a,random_int):    a.send(random_int) # 发送def add(inter,b):    inter["int"] = inter.get('int') + int(b.recv())    print(inter.get('int'))if __name__ == '__main__':    manager = Manager()    A,B = Pipe()    inter = manager.dict()    inter['int'] = 0    p_list = []    for i in range(10):        Pa = MeProcess(func=send,args=(A,randint(10,100)))        Pb = MeProcess(func=add,args=(inter,B))        Pa.start()        Pb.start()        p_list.append(Pa)        p_list.append(Pb)    for i in p_list:        i.join()    print(inter.get('int'))

7.进程同步

等更新

8.进程池

等更新

本文由职坐标整理并发布,希望对同学们学习Python有所帮助,更多内容请关注职坐标编程语言Python频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程