【Python基礎】multiprocessingとconcurrentの比較：ThreadPoolExecutor、ProcessPoolExecutor

2022年10月13日

URLをコピーしました！

並列処理

前回、Pythonでマルチスレッド処理をするためのThreading、そしてconcurrentのThreadPoolExecutorとProcessPoolExecutor（こちらはマルチプロセスですが）の紹介をしました。

あわせて読みたい

【matplotlib】大量に画像を出力した際に発生したメモリ不足により落ちる現象への対処[Python] Matplotlibで大量の画像を出力すると落ちる前回までにメモリの使用量や処理時間など、プログラムによるパソコンへの負荷の計測方法を色々と試してきました。というこ…

import matplotlib.pyplot as plt
import random
import os
import datetime
import psutil
import csv

num_graph = 1000

data_num = 1000
data_range = [-10, 10]

default_dirpath = os.getcwd()
outputgraph_dirname = 'graph'
outputgraph_dirpath = os.path.join(default_dirpath, outputgraph_dirname)

start_time = datetime.datetime.now().strftime('%Y%m%d%H%M%S')
output_filepath = os.path.join(default_dirpath, f'{start_time}.csv')

def randomData(min_val, max_val, data_num):
    x_list = []; y_list = []
    for i in range(data_num):
        x_list.append(i)
        y_list.append(random.randint(min_val, max_val))
        
    return x_list, y_list

def graphMake(graph_no, output_filepath, min_val, max_val, data_num):
    
    print(graph_no)
    
    x_list, y_list = randomData(min_val, max_val, data_num)
    
    plt.cla()
    
    plt.plot(x_list, y_list)
    
    outputfig_filepath = os.path.join(outputgraph_dirpath, f'{graph_no}.png')
    plt.savefig(outputfig_filepath)
    
    memorySave(output_filepath)
    
def memorySave(output_filepath):
    timenow = datetime.datetime.now().strftime('%Y/%m/%d %H:%M:%S')
    mem = psutil.virtual_memory()
    used = mem.used
    percent = mem.percent
    row = [timenow, used, percent]
    
    if not os.path.exists(output_filepath):
        with open(output_filepath, 'w') as f_in:
            writer = csv.writer(f_in)
            header = ['Time', 'Used', 'PercentUsed']
            writer.writerow(header)
            writer.writerow(row)
    elif os.path.exists(output_filepath):
        with open(output_filepath, 'a') as f_in:
            writer = csv.writer(f_in)
            writer.writerow(row)

if __name__ == '__main__':
    fig = plt.figure()

    for i in range(num_graph):
        graphMake(i, output_filepath, data_range[0], data_range[1], data_num)

プログラムの解説に関しては、前回の記事をご覧ください。

ここからmultiprocessing、Threading、concurrentのThreadPoolExecutorとProcessPoolExecutorをそれぞれ導入したプログラムに感編していきます。

どのプログラムもそれぞれのライブラリのインポートと「if __name__ == ‘__main__’」の部分を修正していきます。

multiprocessingを使うように改変

まずはmultiprocessingを使うように改変していきます。

インポートは「from multiprocessing import Pool」です。

そして「if __name__ == ‘__main__’」の部分をこのように修正します。

if __name__ == '__main__':
    fig = plt.figure()
    
    with Pool(psutil.cpu_count()) as pool:
        args = []
        for i in range(num_graph):
            args.append([i, output_filepath, data_range[0], data_range[1], data_num])
        
        pool.starmap(graphMake, args)

「with Pool(psutil.cpu_count()) as pool:」の部分でCPUの数をPCの最大値に設定しています。

Threadingを使うように改変

次にThreadingですが、インポートは「import threading」です。

そして「if __name__ == ‘__main__’」の部分はこのように改変します。

if __name__ == '__main__':
    fig = plt.figure()
    
    for i in range(num_graph):
        thread = threading.Thread(target=graphMake, args=(i,output_filepath, data_range[0], data_range[1], data_num))
        thread.start()

concurrent　ThreadPoolExecutorを使うように改変

次にconcurrentのThreadPoolExecutorを使うように改変してみましょう。

インポートは「from concurrent.futures import ThreadPoolExecutor」です。

そして「if __name__ == ‘__main__’」の部分はこのように改変します。

if __name__ == '__main__':
    fig = plt.figure()
    
    with ThreadPoolExecutor(max_workers=psutil.cpu_count()) as executor:
        for i in range(num_graph):
            executor.submit(graphMake, i,output_filepath, data_range[0], data_range[1], data_num)

concurrent　ProcessPoolExecutorを使うように改変

最後にconcurrent　ProcessPoolExecutorを使うように改変していきます。

インポートは「from concurrent.futures import ProcessPoolExecutor」です。

そして「if __name__ == ‘__main__’」の部分はこのように改変します。

if __name__ == '__main__':
    fig = plt.figure()
    
    with ProcessPoolExecutor(max_workers=psutil.cpu_count()) as executor:
        for i in range(num_graph):
            executor.submit(graphMake, i,output_filepath, data_range[0], data_range[1], data_num)

これでそれぞれのプログラムが完成したので、実行して比較してみましょう。