Оптимізація обчислень у Python за допомогою Multiprocessing

7 Березня 2024 в 16:31 23

Конвертувати функцію UpdateProfitAveragesTable4() до multiprocessing може стати важливим завданням, особливо коли ми працюємо з великою кількістю даних, і швидкодія виконання коду стає ключовим аспектом. У цій статті ми розглянемо процес оптимізації обчислень у Python за допомогою бібліотеки Multiprocessing.

Під час розробки проектів, де необхідно обробляти великі обсяги даних, одним із шляхів збільшення швидкості обчислень є використання паралельного програмування. Multiprocessing – це бібліотека Python, яка дозволяє створювати та керувати процесами, що виконуються паралельно, тим самим забезпечуючи рівномірне використання ресурсів процесора та прискорення обчислень.

def UpdateProfitAveragesTable4_MultiProcessing_PersonalTry():
    columns = list(historical_prices_df.columns)
    historical_prices_df.columns = [convert_to_dd_mm_yyyy(date) for date in columns]
    conn = sqlite3.connect(db_file_name)
    
    profit_average_duration_array = [5, 11, 22, 33, 44, 66]
    absolute_days_array = [7, 15, 30, 45, 60, 91]
    
    query = """SELECT * FROM ProfitAverages"""
    df_oldcolumndata = pd.read_sql_query(query, conn)
    strategy_list = list(df_oldcolumndata['Strategy List'])
    
    query = """SELECT * FROM RawData"""
    df = pd.read_sql_query(query, conn)
    
    all_trade_dates = TradeDatesArray()
    total_trade_dates = len(all_trade_dates)
    
    raw_data_dates = list(df['Start Date'].unique())
    possible_dates = raw_data_dates
    
    max_filter_only_strategy_no = int(total_strategies / (2 * len(SortColumns)))
    max_sort_strategy_no = 2 * len(SortColumns)
    
    processes = []
    for filter_only_strategy_no in range(max_filter_only_strategy_no):
        filter_strategy_name = strategy_list[max_sort_strategy_no * filter_only_strategy_no]
        filtered_df = GetFilteredDFforFilterColums(df, filter_strategy_name)
        sort_strategy_no = -1
        for sort_column in SortColumns:
            for order in [True, False]:
                sort_strategy_no += 1
                strategy_no = filter_only_strategy_no * max_sort_strategy_no + sort_strategy_no
                p = multiprocessing.Process(target=UpdateProfitAveragesTableRowWithStrategyNo, args=(
                df_oldcolumndata, raw_data_dates, filtered_df, possible_dates, sort_column, order, strategy_no,
                all_trade_dates, profit_average_duration_array, total_trade_dates, absolute_days_array))
                processes.append(p)
                p.start()
    
    for p in processes:
        p.join()

def UpdateProfitAveragesTable4_MultiProcessing_PersonalTry():

columns = list(historical_prices_df.columns)

historical_prices_df.columns = [convert_to_dd_mm_yyyy(date) for date in columns]

conn = sqlite3.connect(db_file_name)

profit_average_duration_array = [5, 11, 22, 33, 44, 66]

absolute_days_array = [7, 15, 30, 45, 60, 91]

query = """SELECT * FROM ProfitAverages"""

df_oldcolumndata = pd.read_sql_query(query, conn)

strategy_list = list(df_oldcolumndata['Strategy List'])

query = """SELECT * FROM RawData"""

df = pd.read_sql_query(query, conn)

all_trade_dates = TradeDatesArray()

total_trade_dates = len(all_trade_dates)

raw_data_dates = list(df['Start Date'].unique())

possible_dates = raw_data_dates

max_filter_only_strategy_no = int(total_strategies / (2 * len(SortColumns)))

max_sort_strategy_no = 2 * len(SortColumns)

processes = []

for filter_only_strategy_no in range(max_filter_only_strategy_no):

filter_strategy_name = strategy_list[max_sort_strategy_no * filter_only_strategy_no]

filtered_df = GetFilteredDFforFilterColums(df, filter_strategy_name)

sort_strategy_no = -1

for sort_column in SortColumns:

for order in [True, False]:

sort_strategy_no += 1

strategy_no = filter_only_strategy_no * max_sort_strategy_no + sort_strategy_no

p = multiprocessing.Process(target=UpdateProfitAveragesTableRowWithStrategyNo, args=(

df_oldcolumndata, raw_data_dates, filtered_df, possible_dates, sort_column, order, strategy_no,

all_trade_dates, profit_average_duration_array, total_trade_dates, absolute_days_array))

processes.append(p)

p.start()

for p in processes:

p.join()

Код, який ми розглядаємо, виконує обчислення для оновлення таблиці з даними про прибуток. Щоб збільшити швидкість обчислень, ми вирішили перевести його на багатопроцесорне виконання. У новому коді ми використовуємо бібліотеку Multiprocessing для створення окремих процесів для обчислення окремих частин даних. Це дозволяє нам використовувати усі доступні ресурси процесора і значно збільшити швидкість виконання.

Зауважимо, що при використанні Multiprocessing важливо правильно розподілити завдання між процесами та забезпечити синхронізацію даних. У нашому коді ми використовуємо методи для отримання та оновлення даних, що дозволяє нам уникнути конфліктів при одночасному доступі до даних.

Використання бібліотеки Multiprocessing вимагає уважного планування та розумного розподілу завдань. Правильне використання цієї бібліотеки може значно поліпшити швидкодію вашого коду та забезпечити ефективне використання ресурсів процесора.