diff --git a/server/backend/excel.py b/server/backend/excel.py index be7bdd9..a9ffac0 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -3,6 +3,7 @@ import server.backend.handlers.yandex_handler as yandex_handler import server.backend.handlers.wb_handler as wb_handler import server.backend.handlers.ozon_handler as ozon_handler import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler +import server.backend.handlers.wb_purchases_handler as wb_purchases_handler class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -59,10 +60,12 @@ class OZONPurchasesHandler(BaseHandler): class WBPurchasesHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=9, skipfooter=7) if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - print("Выкупы wb") + validated_data = wb_purchases_handler.evaluating(dfs) + print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация") + class OZONComHandler(BaseHandler): def process(self): dfs = pd.read_excel(self.file_path, sheet_name=None) diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index a5d0112..4cddd9b 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,7 +1,7 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): +def process_sheet(df, real_arti = 0, real_quantity=0, real_sum_1=0): pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 5886841..1743f0e 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,6 +1,7 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re + def process_sheet(df, document_type= ''): pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py new file mode 100644 index 0000000..39fefb5 --- /dev/null +++ b/server/backend/handlers/wb_purchases_handler.py @@ -0,0 +1,27 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re +def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): + pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() + df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + + df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float + df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + + validated_rows, errors = [], [] + for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., +(вкл. НДС)''') # номера столбцов от озона + return validated_rows_1 \ No newline at end of file