今日內(nèi)容概述:
多進程實現(xiàn)文件夾下載、迭代器、生成器、協(xié)程
昨日回顧
程序:一個靜態(tài)的概念
進程:一個動態(tài)的概念,就是程序運行起來的狀態(tài),用于一定的資源
線程:運行在進程之內(nèi),依賴于進程,
進程和線程區(qū)別:
共同點:都可以完成多任務區(qū)別: 線程: threading 依賴于進程 多線程之間共享全局的變量 主線程等待子線程結(jié)束,才結(jié)束 系統(tǒng)開銷較小 進程: multiprocessing 運行起來的應用程序,占有一些資源 寫時拷貝,進程不共享全局的資源 通過隊列實現(xiàn)進程間通信 系統(tǒng)開銷比較大
進程的創(chuàng)建:
multiprocessing.Process(target=函數(shù)名,args=(參數(shù)))繼承方式創(chuàng)建進程class 子類名(multiprocessing.Proces): def run(self): pass
進程間通信(傳遞數(shù)據(jù) ):
q = multiprocessing.Queue(3) # 創(chuàng)建一個隊列,可以指定可傳遞幾個數(shù)據(jù)q.put () # 存 q.get() # 取 q.qsize() # 取消息數(shù)量 q.full() # 判斷是否滿了q.empty # 判斷是否為空
進程池:
一個特殊的容器,里面創(chuàng)建了很多進程,重復利用進程作用:減少了創(chuàng)建,銷毀進程的過程,提高了效率po = multiprocessing.Pool(3) # 定義一個進程池,最大進程數(shù)2po.a(chǎn)pply_async(要調(diào)用的目標,(要傳遞的參數(shù))) # async 異步po.close() # 關閉進程池po.join() # 等待所有的子進程執(zhí)行完畢
今日內(nèi)容
文件夾復制:
os.listdir() # 列出文件夾中所有的文件名os.path.getsize() # 獲取文件的大小os.mkdir() # 新建文件夾Pool() # 創(chuàng)建進程池Manger().Queue() # 有進程池的時候,隊列需要 Manger()中的Queue() with open("文件名", “rw”) as f: f.read() # 讀 f.write() # 寫
文件夾復制代碼
import multiprocessing
import os, time
def save_folder(q, dw_folder_name, save_folder_name, file_name):
with open(dw_folder_name + "/" + file_name, "rb") as f:
content = f.read()
# 在新創(chuàng)建的文件中寫入文件
with open(save_folder_name + "/" + file_name, "wb") as f2:
f2.write(content)
new_file_size = os.path.getsize(save_folder_name + "/" + file_name)
q.put(new_file_size)
def main():
# 提示用戶輸入文件夾名
dw_folder_name = input("請輸入要下載的文件夾的名字:")
try: # 創(chuàng)建一個新文件夾 save_folder_name = dw_folder_name + "[嘿嘿嘿]" os.mkdir(save_folder_name)
except:
pass
# 獲取目標文件夾中的所有的文件 os.listdir()
file_names = os.listdir(dw_folder_name)
# 添加進程池
po = multiprocessing.Pool(3)
# 創(chuàng)建隊列
q = multiprocessing.Manager().Queue()
# 從目標文件夾中讀取文件
for file_name in file_names: po.a(chǎn)pply_async(save_folder, (q, dw_folder_name, save_folder_name, file_name))
po.close()
# po.join()
# 獲取文件夾的大小
folder_size = 0
for old_file in file_names:
old_file_s = os.path.getsize(dw_folder_name + "/" + old_file)
folder_size += old_file_s
print("文件夾總大小為:?。" % folder_size)
new_file_size = 0
# 顯示進度
while True:
s = q.get() new_file_size += s time.sleep(0.1) print("拷貝的進度為: %.2f %%" % (new_file_size / folder_size * 100), end="") if new_file_size >= folder_size:
break
print()
if __name__ == "__main__":
main()
進程池中的進程出現(xiàn)異常不會顯示
12下一頁>(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )