This commit is contained in:
2026-01-06 15:56:16 +03:00
parent dcf7878f03
commit 915103766b
6 changed files with 62 additions and 41 deletions

View File

@@ -2,31 +2,47 @@ from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo, settings,Translit
from server.backend.api.nomenclature import processing
import re
import datetime
import re
import datetime
def report_date(df, format: str):
row_text = " ".join(df.iloc[0].astype(str))
match = re.search(r"по\s+(\d{2}\.\d{2}\.\d{4})", row_text)
if not match:
return None
dt = datetime.datetime.strptime(match.group(1), "%d.%m.%Y")
return dt.strftime(format)
def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int):
#Выборка
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df = df[[real_arti, real_quantity, real_sum_1]]
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df = df.iloc[2:].reset_index(drop=True)
#Нормализация
# выбор нужных столбцов ПО ПОЗИЦИИ
df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna()
df = df[(df != 0).all(axis=1)]
# сразу задаём нужные имена
df.columns = ['arti', 'counts', 'price']
# нормализация
df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True)
df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})')
df['price'] = df['price'].astype(float)
df['counts'] = df['counts'].astype(int)
#Группировка
df = processing(df) #vlookup for ref_keys
validated_rows, errors = [], []
for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
for i, row in df.iterrows():
try:
validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
validated_rows.append(ExcelInfo(**row.to_dict()))
except ValidationError as e:
errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
errors.append((i, e.errors()))
if errors:
raise Exception(f"There are some errors with validation in Отчет о выкупленных товарах, check it ", errors)
raise Exception(
"There are some errors with validation in Отчет о выкупленных товарах",
errors
)
return validated_rows
def evaluating(dfs):
validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона
return validated_rows_1
date=report_date(dfs["Отчет о выкупленных товарах"], format=settings.TIMEFORMAT)
return validated_rows_1, date