一、前言

在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上。

Python的multiprocessing模块不但支持多进程,其中managers子模块还D + R [ b B ; H支持把多进程分布到多台机器上。可以写一个服务进程作为调度者,将任务分布到其他多个进程中,c n Y t ) u ~ p依靠网络通信进行管理。

二、案例分析

在做爬虫程序时,抓取某个网站的所有图片,如果使z e ! = %用多进程的话,一般是一个进程负责抓取图片的链接地址,将链接地址放到queue中,另外的进程负责 从queue中取链接地址进行下载和存储到本地。

怎么用分布式进程实现?

一台机器上的进\ = l程负责抓取链接地址,其他机器上的进程负责系在存储。那么遇到的主要问题是将h p 5 } E 3 t 1 &queue 暴露到网络中,让其他机器进程都可以访问,分布式进程就是将这个过程进行了封装,可以将这个过程称为本地队列的网络化。

例:

1.py

  1. frommultiprocessing.managersimpor/ W k GtBaseManager
  2. fw R - }rom6 b m 7 ! s U o #multiprocessingimportfreeze_sP @ @ e : V / \ Kupport,Queue
  3. #任务个数
  4. task_number=10
  5. #收发队列
  6. task_quue=QX K 9ueue(task_number)
  7. result_queue=Queue(task_number)
  8. defget_task():
  9. reh ? = c \ g @ Y Pturntask_quue
  10. defget_result()o + P P T:
  11. returnresult_queue
  12. #创建类似的queueManp * fager
  13. clK K i b YassQueueManager(T t c @ 6 c } x [BaseMan+ ] x 5 X M f T yager):
  14. pass
  15. defwin_rD W f B $ tun():
  16. #注册在网络上,callable关联了Queue对象
  17. #将Queue对象在网络中暴露
  18. #window下绑定调用接口不能直接使用lambda,所以只能% } A t 4先定义函数再绑定
  19. QueueManager.register@ z 6 ? ~('get_task_queue',callO $ 8 7 l 8 ,able=get_task)
  20. QueueManager.register('get_result_queue',callabl~ W ) | 6 b O ]e=! | t H Bget_result)
  21. #绑定端口和设置验证口令
  22. manager=QueueManag7 @ 1 Aer(addres\ \ Fs=('127.0.0.1',8001),authkey='qiye'.encW 4 y c G Eode())
  23. #启x \ @ ^ g动管理,监听信息通道
  24. manager.start()
  25. try:
  26. #通过网络获取任务队列和结果队列
  27. task=manager.get_task_queue()
  28. result=manager.get_result_queue()
  29. #Q f [ * [ u 2添加任务
  30. forurlin["ImageUrl_"+str(i)foriinrange(10)]:
  31. print(% ^ ] y v h @ V'urlis%s'%url)
  32. taskk - 2 6 Z q S ( 7.put(url)
  33. print('trygetresult')
  34. foriinrange(10):
  35. print(1 t 0 _ U *'resultis%s'%result.get(timeout=10))o 5 e 5 I w % i
  36. exO P K $ q ocept:
  37. print('Managererror')
  38. finally:
  39. managery e @ Y.shutdown()
  40. if__name__=='__main__':
  41. frZ Q zeeze_support()
  42. win_ru= ~ K I W R Wn()

连接服务器,端口和验证口令注意保持与服务器进程中完全一致从网络获取Queue,进行本地化,从task队列获取任务,并且把结x 8 /果写入result队列

2.py

  1. #coding:utf-8
  2. importtime
  3. fromm{ t M Iultiprocessing.managersimportBaseManager
  4. #创建类似的Manager:
  5. classManagen I { N 6 V C & Dr(Bas- E ? R ?eManager)C O j : 7 L = C f:
  6. pass
  7. #使用QueueManager注册获取Queue的方法名称
  8. Manager.register('gex Z w [t_task_queue')
  9. MR | H W ( I | ~anager.register('get_result_queue')
  10. #连接到服务器:
  11. server_addr='127.0.0.1'
  12. print('Connecttoserver%s...'~ ) : Z A c r P ,%server_addr)
  13. #端口和$ g \ d X - X验证口F S , T ( X . o 8令注意保持与服务进程设置的完全一致:
  14. m=Manager(adM S s r F { 2dress=(sY # = h s z %erver_addr,8001),authkey='qiye')
  15. #从网络连接:
  16. m.connect()
  17. #获取Queue的对象:
  18. task=m.get_task_queue()
  19. result=m.get_result_queue()
  20. #从task队列取任务,并把结果写入result队列:
  21. while(nottask.empty()):
  22. image_url=task.get(TrJ O 4ue,timeout=5)
  23. print('runtaskdo/ f U : 6wnloadM 5 X f a%s...'%image_url)
  24. time.sleep(1)
  25. result.put('%s--->success'%image_url)
  26. #结束:
  27. print('workerexit.O 2 q W 6 a g Z G'Y \ ( \ & r r)

任务进程要通过网络连接到服务进程,所以要指定服务进B ` i ! ^ z程的IP。

运行结果如下:

获取图片地址,将地址传到2.py。

接收1.py传递的地址,进行图片的下载,控制台显示爬取结果。

三、总结

本文基于Python基础,Python的分布式进程接口简单,封装良好,适合需要把繁重任务分布到多台机器的环境下。通过讲解Queue的作用是用来传递任务和接收结果。

欢迎大家积极尝试,有时候看到别人实现起来很简单,但是到自己动手实现的时候,J P q q总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注