diff --git a/server/backend/excel.py b/server/backend/excel.py index a9ffac0..6b8d501 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -4,6 +4,7 @@ import server.backend.handlers.wb_handler as wb_handler import server.backend.handlers.ozon_handler as ozon_handler import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler import server.backend.handlers.wb_purchases_handler as wb_purchases_handler +import server.backend.handlers.ozon_wb_yandex_com_handler as ozon_wb_yandex_com_handler class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -27,9 +28,8 @@ class YandexHandler(BaseHandler): if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") # вызываем функцию evaluating - - #validated_data = yandex_handler.evaluating(dfs) - #print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + validated_data = yandex_handler.evaluating(dfs) + print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class WBHandler(BaseHandler): def process(self): @@ -37,8 +37,8 @@ class WBHandler(BaseHandler): #доставать дату по месяцу и просто день ставить последний if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - #validated_data = wb_handler.evaluating(dfs) - #print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + validated_data = wb_handler.evaluating(dfs) + print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONHandler(BaseHandler): def process(self): @@ -46,8 +46,8 @@ class OZONHandler(BaseHandler): dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - #validated_data = ozon_handler.evaluating(dfs) - #print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + validated_data = ozon_handler.evaluating(dfs) + print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONPurchasesHandler(BaseHandler): def process(self): @@ -55,8 +55,8 @@ class OZONPurchasesHandler(BaseHandler): dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=12, skipfooter=1) if "Отчет о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - #validated_data = ozon_purchases_handler.evaluating(dfs) - #print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация") + validated_data = ozon_purchases_handler.evaluating(dfs) + print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация") class WBPurchasesHandler(BaseHandler): def process(self): @@ -68,34 +68,40 @@ class WBPurchasesHandler(BaseHandler): class OZONComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] cont = df.iloc[1, 0] + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2],skipfooter=1) if cont != "«Интернет решения» ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") - print("Товары, переданные на комиссию озон") + validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data), "Реализация") class WBComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] cont = df.iloc[1, 0] + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1) if cont != '"Вайлдберриз" ООО': raise Exception(f"В файле {self.file_path.name} неверный контрагент") - print("Товары, переданные на комиссию wb") + validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data), "Реализация") class YandexComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] cont = df.iloc[1, 0] + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1) if cont != "Яндекс Маркет ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") - print("Товары, переданные на комиссию yandex") + validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data), "Реализация") diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index 7bc61f1..cf91666 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,26 +1,31 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = '', real_quantity='', real_sum_1='', real_sum_2=''): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df[real_sum_1]+=df[real_sum_2] - df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() - df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex - df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists - + df['price'] = df['price'].astype(float) #Float to Int, if exists + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: - raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors) return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 4cddd9b..ffe8233 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,24 +1,30 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = 0, real_quantity=0, real_sum_1=0): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() - df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex - df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + df['price'] = df['price'].astype(float) #Float to Int, if exists + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: - raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + raise Exception(f"There are some errors with validation in Отчет о выкупленных товарах, check it ", errors) return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py new file mode 100644 index 0000000..d8debcd --- /dev/null +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -0,0 +1,32 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + + df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping + + validated_rows, errors = [], [] + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Лист_1, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов + return validated_rows_1 \ No newline at end of file diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 1743f0e..3d90565 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -2,22 +2,27 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, document_type= ''): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, document_type:str): df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df_validate = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() - df_validate.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex - - df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + df = df[df['Тип документа'] == document_type] #фильтруем по типу документа + df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() + df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + + df['price'] = df['price'].astype(float) #Float to Int, if exists + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: - if df.loc[i, 'Тип документа'] == document_type: - validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index a5c47f0..e57ca74 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -1,18 +1,25 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() - df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex - df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping + validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index ee7dcb2..f29e5e5 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,18 +1,22 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, multiply_price=1, sheet_name=''): - # INLINE regex к колонке 'arti' - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, multiply_price=1, sheet_name=''): df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #regex implemented + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented df['price'] = df['price'].astype(float) #To float, if exists df['counts'] = df['counts'].astype(int) #To float, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки diff --git a/server/backend/pydantic.py b/server/backend/pydantic.py index b44af59..f7e3416 100644 --- a/server/backend/pydantic.py +++ b/server/backend/pydantic.py @@ -1,6 +1,6 @@ from pydantic import BaseModel, Field, field_validator class ExcelInfo(BaseModel): - arti:str = Field(..., min_length=6, max_length=12, description="arti of the clothes") + arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") class ExcelRealization(BaseModel):