MH.Dmitrii/Excel-project
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

com handler 1.0

Browse Source
This commit is contained in:
Dmitrii Seliakov
2025-11-08 22:09:10 +03:00
parent 07553d96cf
commit d9bf44e669
8 changed files with 123 additions and 58 deletions
Download Patch File Download Diff File Expand all files Collapse all files

25
server/backend/handlers/ozon_handler.py
View File

@@ -1,26 +1,31 @@
from pydantic import ValidationError
from server.backend.pydantic import ExcelInfo
import re
def process_sheet(df, real_arti = '', real_quantity='', real_sum_1='', real_sum_2=''):
pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str):
df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df[real_sum_1]+=df[real_sum_2]
df_validate = df[[real_arti, real_quantity, real_sum_1]].copy()
df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists
df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
validated_rows, errors = [], []
for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
try:
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
except ValidationError as e:
errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
if errors:
raise Exception(f"There are some errors with validation in Sheet1, check it ", errors)
raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors)
return validated_rows
def evaluating(dfs):
validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона

24
server/backend/handlers/ozon_purchases_handler.py
View File

@@ -1,24 +1,30 @@
from pydantic import ValidationError
from server.backend.pydantic import ExcelInfo
import re
def process_sheet(df, real_arti = 0, real_quantity=0, real_sum_1=0):
pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int):
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df_validate = df[[real_arti, real_quantity, real_sum_1]].copy()
df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists
df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
validated_rows, errors = [], []
for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
try:
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
except ValidationError as e:
errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
if errors:
raise Exception(f"There are some errors with validation in Sheet1, check it ", errors)
raise Exception(f"There are some errors with validation in Отчет о выкупленных товарах, check it ", errors)
return validated_rows
def evaluating(dfs):
validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона

32
server/backend/handlers/ozon_wb_yandex_com_handler.py Normal file
View File

@@ -0,0 +1,32 @@
from pydantic import ValidationError
from server.backend.pydantic import ExcelInfo
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
validated_rows, errors = [], []
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
try:
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
except ValidationError as e:
errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
if errors:
raise Exception(f"There are some errors with validation in Лист_1, check it ", errors)
return validated_rows
def evaluating(dfs):
validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов
return validated_rows_1

27
server/backend/handlers/wb_handler.py
View File

@@ -2,22 +2,27 @@ from pydantic import ValidationError
from server.backend.pydantic import ExcelInfo
import re
def process_sheet(df, document_type= ''):
pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, document_type:str):
df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df_validate = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
df_validate.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists
df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
df = df[df['Тип документа'] == document_type] #фильтруем по типу документа
df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'})
validated_rows, errors = [], []
for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
try:
if df.loc[i, 'Тип документа'] == document_type:
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
except ValidationError as e:
errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
if errors:

23
server/backend/handlers/wb_purchases_handler.py
View File

@@ -1,18 +1,25 @@
from pydantic import ValidationError
from server.backend.pydantic import ExcelInfo
import re
def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''):
pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df_validate = df[[real_arti, real_quantity, real_sum_1]].copy()
df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
validated_rows, errors = [], []
for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
try:
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
except ValidationError as e:

12
server/backend/handlers/yandex_handler.py
View File

@@ -1,18 +1,22 @@
from pydantic import ValidationError
from server.backend.pydantic import ExcelInfo
import re
def process_sheet(df, multiply_price=1, sheet_name=''):
# INLINE regex к колонке 'arti'
pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}'
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, multiply_price=1, sheet_name=''):
df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом
df = df[(df != 0).all(axis=1)] #drop all 0 values
df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов
df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #regex implemented
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented
df['price'] = df['price'].astype(float) #To float, if exists
df['counts'] = df['counts'].astype(int) #To float, if exists
df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
validated_rows, errors = [], []
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки