From dcf7878f037466cb0cde4dafa566ece6d0a3e1db Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 3 Jan 2026 19:48:18 +0300 Subject: [PATCH] dates --- run.py | 1 - server/backend/api/nomenclature.py | 1 - server/backend/api/realisation.py | 18 +++++- server/backend/api/report.py | 16 ++++++ server/backend/handlers/ozon_handler.py | 57 ++++++++++++------- .../handlers/ozon_purchases_handler.py | 7 ++- .../handlers/ozon_wb_yandex_com_handler.py | 16 +++++- server/backend/handlers/wb_handler.py | 17 +++++- .../backend/handlers/wb_purchases_handler.py | 7 ++- server/backend/handlers/yandex_handler.py | 14 ++++- server/backend/schemas/pydantic.py | 1 + server/backend/services/excel.py | 17 +++--- 12 files changed, 130 insertions(+), 42 deletions(-) diff --git a/run.py b/run.py index 625c7ed..e6eea2f 100644 --- a/run.py +++ b/run.py @@ -1,4 +1,3 @@ -import server.backend.services.excel as excel from server.backend.services.validating_files import validating from server.backend.api import companies,contractors,storages, nomenclature #_______________ diff --git a/server/backend/api/nomenclature.py b/server/backend/api/nomenclature.py index 2e105eb..71f3953 100644 --- a/server/backend/api/nomenclature.py +++ b/server/backend/api/nomenclature.py @@ -2,7 +2,6 @@ import requests import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings -import re from functools import lru_cache import pandas as pd auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py index ec13025..0057c07 100644 --- a/server/backend/api/realisation.py +++ b/server/backend/api/realisation.py @@ -1,4 +1,20 @@ import requests import json from base64 import b64encode -from server.backend.schemas.pydantic import settings \ No newline at end of file +from server.backend.schemas.pydantic import settings +import pandas as pd +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Content-Type": "application/json", + "Accept": "application/json" +}) + +def fetch_contragents(): + response = session.post(settings.URL_REPORT, data=json.dumps(data)) + response.raise_for_status() + return response.status_code + diff --git a/server/backend/api/report.py b/server/backend/api/report.py index 7b8923d..0057c07 100644 --- a/server/backend/api/report.py +++ b/server/backend/api/report.py @@ -2,3 +2,19 @@ import requests import json from base64 import b64encode from server.backend.schemas.pydantic import settings +import pandas as pd +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Content-Type": "application/json", + "Accept": "application/json" +}) + +def fetch_contragents(): + response = session.post(settings.URL_REPORT, data=json.dumps(data)) + response.raise_for_status() + return response.status_code + diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index c367759..03dd323 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,32 +1,49 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo,settings,Translit from server.backend.api.nomenclature import processing +import datetime import re +def report_date(df, format: str): + cell = str(df.iloc[0, 4]) + match = re.search(r"\d{2}\.\d{2}\.\d{4}", cell) + if not match: + return None + dt = datetime.datetime.strptime(match.group(0), "%d.%m.%Y") + return dt.strftime(format) +def process_sheet(df,real_arti: int,real_quantity: int,real_sum_1: int,real_sum_2: int): + # пропускаем служебные строки + df = df.iloc[2:].reset_index(drop=True) -def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): - df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values - df = df[(df != 0).all(axis=1)] #drop all 0 values - df[real_sum_1]+=df[real_sum_2] - df = df[[real_arti, real_quantity, real_sum_1]].copy() - df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + # выбираем нужные колонки по индексам + df = df.iloc[:, [real_arti, real_quantity, real_sum_1, real_sum_2]].copy() + df.dropna(inplace=True) + df = df[(df != 0).all(axis=1)] + + # складываем суммы + df.iloc[:, 2] += df.iloc[:, 3] + df = df.iloc[:, [0, 1, 2]] + df.columns = ['arti', 'counts', 'price'] + + # нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) - df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex - df['price'] = df['price'].astype(float) #Float to Int, if exists - df['counts'] = df['counts'].astype(int) #Float to Int, if exists - df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - df = processing(df) #vlookup for ref_keys + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') + df['price'] = df['price'].astype(float) + df['counts'] = df['counts'].astype(int) + + # группировка + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) + df = processing(df) validated_rows, errors = [], [] - for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): try: - validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + validated_rows.append(ExcelInfo(**row.to_dict())) except ValidationError as e: - errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + errors.append((i, e.errors())) if errors: - raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors) + raise Exception("There are some errors with validation in Отчет о реализации", errors) return validated_rows def evaluating(dfs): - validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона - validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')# - return validated_rows_1, validated_rows_2 - -#Добавить проверку с бд по keys \ No newline at end of file + validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti=2,real_quantity=8, real_sum_1=5,real_sum_2=6) # номера столбцов от озона + validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti=2,real_quantity=16, real_sum_1=13,real_sum_2=14)# + date=report_date(dfs["Отчет о реализации"], format=settings.TIMEFORMAT) + return validated_rows_1, validated_rows_2, date \ No newline at end of file diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 40b0fef..a768ac4 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -4,14 +4,19 @@ from server.backend.api.nomenclature import processing import re def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): + #Выборка df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]].copy() + df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index b0a8039..5184c29 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -2,16 +2,25 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo,settings,Translit from server.backend.api.nomenclature import processing import re - +import datetime +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + #Выборка df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]].copy() + df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] @@ -25,4 +34,5 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов - return validated_rows_1 \ No newline at end of file + date = last_day_of_month(settings.TIMEFORMAT) + return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index adda783..fd484ff 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,17 +1,27 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing -import re +import datetime + +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df, document_type:str): + #Выборка df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[df['Тип документа'] == document_type] #фильтруем по типу документа - df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() + df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']] df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] @@ -27,10 +37,11 @@ def process_sheet(df, document_type:str): def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Sheet1"], document_type='Продажа') validated_rows_2 = process_sheet(dfs["Sheet1"], document_type='Возврат') + date = last_day_of_month(settings.TIMEFORMAT) # sum_1 = sum(row.price for row in validated_rows_1) # sum_2 = sum(row.price for row in validated_rows_2) # print("Sum for 'Продажа':", sum_1) # print("Sum for 'Возврат':", sum_2) - return validated_rows_1, validated_rows_2 + return validated_rows_1, validated_rows_2, date diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 3f01b04..89c362e 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -4,14 +4,19 @@ from server.backend.api.nomenclature import processing import re def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + #Выборка df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]].copy() + df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index 17c2332..054e74b 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,17 +1,26 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing +import datetime import re - +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df, multiply_price=1, sheet_name=''): + #Выборка df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #To float, if exists df['counts'] = df['counts'].astype(int) #To float, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] @@ -26,4 +35,5 @@ def process_sheet(df, multiply_price=1, sheet_name=''): def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Получено от потребителей"], sheet_name="Получено от потребителей") validated_rows_2 = process_sheet(dfs["Возвращено потребителям"], multiply_price=-1, sheet_name="Возвращено потребителям") - return validated_rows_1, validated_rows_2 \ No newline at end of file + date = last_day_of_month(settings.TIMEFORMAT) + return validated_rows_1, validated_rows_2, date \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 4dd42fd..ac6b70b 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -14,6 +14,7 @@ class ExcelOut(BaseModel): class Settings(BaseSettings): DIR:str PATTERN: str + TIMEFORMAT:str USERNAME: str PASSWORD: str URL_REPORT:str diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 7046ba8..1d2632d 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -29,7 +29,7 @@ class YandexHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") # вызываем функцию evaluating validated_data = yandex_handler.evaluating(dfs) - print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class WBHandler(BaseHandler): def process(self): @@ -38,17 +38,16 @@ class WBHandler(BaseHandler): if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_handler.evaluating(dfs) - print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class OZONHandler(BaseHandler): def process(self): #Доставать № документа и дату - dfs = self.read(skiprows=14, skipfooter=17) + dfs = self.read(skiprows=[0,3,4,5,6,7,8,9,10,11,12,13], skipfooter=17) if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_handler.evaluating(dfs) - print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") - + print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class OZONPurchasesHandler(BaseHandler): def process(self): #доставать дату и номер документа @@ -64,7 +63,7 @@ class WBPurchasesHandler(BaseHandler): if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_purchases_handler.evaluating(dfs) - print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация", validated_data) + print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация") class OZONComHandler(BaseHandler): def process(self): @@ -77,7 +76,7 @@ class OZONComHandler(BaseHandler): if cont != "«Интернет решения» ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data), "Реализация") + print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") class WBComHandler(BaseHandler): def process(self): @@ -90,7 +89,7 @@ class WBComHandler(BaseHandler): if cont != '"Вайлдберриз" ООО': raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data), "Реализация") + print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") class YandexComHandler(BaseHandler): def process(self): @@ -103,5 +102,5 @@ class YandexComHandler(BaseHandler): if cont != "Яндекс Маркет ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data), "Реализация") + print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата")