from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing import re import datetime def report_date(df, date_format: str): row_text = " ".join(df.iloc[0].astype(str)) match = re.search(r"\d{4}-\d{2}-\d{2}", row_text) if not match: raise ValueError("There is no date in ozon_purchase_handler") dt = datetime.datetime.strptime(match.group(0), "%Y-%m-%d") return dt.strftime(date_format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df.iloc[2:].reset_index(drop=True) #Выборка df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() df = df[(df != 0).all(axis=1)] #drop all 0 values df.rename(columns={"Unnamed: 1": 'arti', "Unnamed: 3": 'counts', "Unnamed: 4": 'price'}, inplace=True) #переименовываем для pydantic #Нормализация df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) return validated_rows def evaluating(dfs): # validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., # (вкл. НДС)''') # номера столбцов от озона validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti=1,real_quantity=3, real_sum_1=4) # номера столбцов от озона date=report_date(dfs["Sheet1"], date_format=settings.TIMEFORMAT) return validated_rows_1, date