From 02019853999c6795ec4ce13383a889f357958170 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 1 Nov 2025 19:48:15 +0300 Subject: [PATCH 01/28] yandex_real_handler 1.0 --- server/backend/excel.py | 8 +++++--- server/backend/handlers/__init__.py | 0 server/backend/handlers/yandex_handler.py | 25 +++++++++++++++++++++++ 3 files changed, 30 insertions(+), 3 deletions(-) create mode 100644 server/backend/handlers/__init__.py create mode 100644 server/backend/handlers/yandex_handler.py diff --git a/server/backend/excel.py b/server/backend/excel.py index 73460f0..5bb5666 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -1,4 +1,5 @@ import pandas as pd +import server.backend.handlers.yandex_handler as yandex_handler # def read_excel(base_dir): # try: # dfs = pd.read_excel(base_dir, sheet_name=None) @@ -23,12 +24,13 @@ class BaseHandler: class YandexHandler(BaseHandler): def process(self): # читаем Excel внутри объекта - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0, 1, 3]) # проверяем наличие нужных листов if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - # сама обработка - print("Реализация Яндекс") + # вызываем функцию evaluating + validated_data = yandex_handler.evaluating(dfs) + print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class WBHandler(BaseHandler): def process(self): diff --git a/server/backend/handlers/__init__.py b/server/backend/handlers/__init__.py new file mode 100644 index 0000000..e69de29 diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py new file mode 100644 index 0000000..c216efe --- /dev/null +++ b/server/backend/handlers/yandex_handler.py @@ -0,0 +1,25 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re +def process_sheet(df, multiply_price=1, sheet_name=''): + # INLINE regex к колонке 'arti' + pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' + + df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом + df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов + df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) # + + validated_rows, errors = [], [] + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in {sheet_name}, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Получено от потребителей"], sheet_name="Получено от потребителей") + validated_rows_2 = process_sheet(dfs["Возвращено потребителям"], multiply_price=-1, sheet_name="Возвращено потребителям") + return validated_rows_1, validated_rows_2 \ No newline at end of file -- 2.49.1 From aa5cc18e2404df4026911356de04fecd69085b0e Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Tue, 4 Nov 2025 16:24:01 +0300 Subject: [PATCH 02/28] wb_real_handler 1.0 + yandex_real_handler 1.1 --- server/backend/excel.py | 4 ++- server/backend/handlers/wb_handler.py | 35 +++++++++++++++++++++++ server/backend/handlers/yandex_handler.py | 6 +++- server/backend/pydantic.py | 4 +-- 4 files changed, 45 insertions(+), 4 deletions(-) create mode 100644 server/backend/handlers/wb_handler.py diff --git a/server/backend/excel.py b/server/backend/excel.py index 5bb5666..83bb2cb 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -1,5 +1,6 @@ import pandas as pd import server.backend.handlers.yandex_handler as yandex_handler +import server.backend.handlers.wb_handler as wb_handler # def read_excel(base_dir): # try: # dfs = pd.read_excel(base_dir, sheet_name=None) @@ -37,7 +38,8 @@ class WBHandler(BaseHandler): dfs = pd.read_excel(self.file_path, sheet_name=None) if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - print("Реализация WB") + validated_data = wb_handler.evaluating(dfs) + print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONHandler(BaseHandler): def process(self): diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py new file mode 100644 index 0000000..5886841 --- /dev/null +++ b/server/backend/handlers/wb_handler.py @@ -0,0 +1,35 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re +def process_sheet(df, document_type= ''): + pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df_validate = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() + df_validate.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic + df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + + df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists + df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + + validated_rows, errors = [], [] + for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + if df.loc[i, 'Тип документа'] == document_type: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + return validated_rows + +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Sheet1"], document_type='Продажа') + validated_rows_2 = process_sheet(dfs["Sheet1"], document_type='Возврат') + # sum_1 = sum(row.price for row in validated_rows_1) + # sum_2 = sum(row.price for row in validated_rows_2) + + # print("Sum for 'Продажа':", sum_1) + # print("Sum for 'Возврат':", sum_2) + return validated_rows_1, validated_rows_2 + diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index c216efe..ee7dcb2 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -6,9 +6,13 @@ def process_sheet(df, multiply_price=1, sheet_name=''): pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом + df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) # + df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #regex implemented + + df['price'] = df['price'].astype(float) #To float, if exists + df['counts'] = df['counts'].astype(int) #To float, if exists validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки diff --git a/server/backend/pydantic.py b/server/backend/pydantic.py index fa0ff2b..b44af59 100644 --- a/server/backend/pydantic.py +++ b/server/backend/pydantic.py @@ -1,8 +1,8 @@ from pydantic import BaseModel, Field, field_validator class ExcelInfo(BaseModel): arti:str = Field(..., min_length=6, max_length=12, description="arti of the clothes") - counts:int = Field(..., ge=0, description="the quantity of the clothes") - price:int = Field(..., ge=0, description="the price of the clothes") + counts:int = Field(..., gt=0, description="the quantity of the clothes") + price:float = Field(..., gt=0, description="the price of the clothes") class ExcelRealization(BaseModel): pass class ExcelReturning(BaseModel): -- 2.49.1 From 7d74fd75d3dbffc6b2bb09eef4b27fe03f6fdc86 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Tue, 4 Nov 2025 16:47:42 +0300 Subject: [PATCH 03/28] ozon_real_hndler 1.0 --- server/backend/excel.py | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/server/backend/excel.py b/server/backend/excel.py index 83bb2cb..0e5a8e6 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -25,7 +25,7 @@ class BaseHandler: class YandexHandler(BaseHandler): def process(self): # читаем Excel внутри объекта - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0, 1, 3]) + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0, 1, 3]) #skip header # проверяем наличие нужных листов if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") @@ -43,8 +43,8 @@ class WBHandler(BaseHandler): class OZONHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) - if "Отчет о реализации" not in dfs : + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer + if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") print("Реализация OZON") -- 2.49.1 From fc6c66215e33a9e91f65b46e622a9933c0361414 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Thu, 6 Nov 2025 17:50:27 +0300 Subject: [PATCH 04/28] ozon_real_handler 1.1 --- server/backend/excel.py | 6 +++++- server/backend/handlers/ozon_handler.py | 28 +++++++++++++++++++++++++ 2 files changed, 33 insertions(+), 1 deletion(-) create mode 100644 server/backend/handlers/ozon_handler.py diff --git a/server/backend/excel.py b/server/backend/excel.py index 0e5a8e6..26e862a 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -1,6 +1,7 @@ import pandas as pd import server.backend.handlers.yandex_handler as yandex_handler import server.backend.handlers.wb_handler as wb_handler +import server.backend.handlers.ozon_handler as ozon_handler # def read_excel(base_dir): # try: # dfs = pd.read_excel(base_dir, sheet_name=None) @@ -30,6 +31,7 @@ class YandexHandler(BaseHandler): if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") # вызываем функцию evaluating + validated_data = yandex_handler.evaluating(dfs) print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") @@ -46,7 +48,9 @@ class OZONHandler(BaseHandler): dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - print("Реализация OZON") + validated_data = ozon_handler.evaluating(dfs) + print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + class OZONPurchasesHandler(BaseHandler): def process(self): diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py new file mode 100644 index 0000000..7bc61f1 --- /dev/null +++ b/server/backend/handlers/ozon_handler.py @@ -0,0 +1,28 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re +def process_sheet(df, real_arti = '', real_quantity='', real_sum_1='', real_sum_2=''): + pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df[real_sum_1]+=df[real_sum_2] + df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() + df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + + df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists + df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + + validated_rows, errors = [], [] + for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона + validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')# + return validated_rows_1, validated_rows_2 \ No newline at end of file -- 2.49.1 From 7e9218ce0705f1bf4af8230301c993ac0deb08f0 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Fri, 7 Nov 2025 02:57:46 +0300 Subject: [PATCH 05/28] ozon_purchases_handler 1.0 --- server/backend/excel.py | 30 +++++++++---------- .../handlers/ozon_purchases_handler.py | 25 ++++++++++++++++ 2 files changed, 39 insertions(+), 16 deletions(-) create mode 100644 server/backend/handlers/ozon_purchases_handler.py diff --git a/server/backend/excel.py b/server/backend/excel.py index 26e862a..be7bdd9 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -2,13 +2,7 @@ import pandas as pd import server.backend.handlers.yandex_handler as yandex_handler import server.backend.handlers.wb_handler as wb_handler import server.backend.handlers.ozon_handler as ozon_handler -# def read_excel(base_dir): -# try: -# dfs = pd.read_excel(base_dir, sheet_name=None) -# return dfs -# except Exception as e: -# raise f"⚠️ Ошибка при чтении {file.name}: {e}" - +import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -26,38 +20,42 @@ class BaseHandler: class YandexHandler(BaseHandler): def process(self): # читаем Excel внутри объекта + #доставать дату dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0, 1, 3]) #skip header # проверяем наличие нужных листов if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") # вызываем функцию evaluating - validated_data = yandex_handler.evaluating(dfs) - print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + #validated_data = yandex_handler.evaluating(dfs) + #print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class WBHandler(BaseHandler): def process(self): dfs = pd.read_excel(self.file_path, sheet_name=None) + #доставать дату по месяцу и просто день ставить последний if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - validated_data = wb_handler.evaluating(dfs) - print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + #validated_data = wb_handler.evaluating(dfs) + #print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONHandler(BaseHandler): def process(self): + #Доставать № документа и дату dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - validated_data = ozon_handler.evaluating(dfs) - print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") - + #validated_data = ozon_handler.evaluating(dfs) + #print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONPurchasesHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + #доставать дату и номер документа + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=12, skipfooter=1) if "Отчет о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - print("Выкупы озон") + #validated_data = ozon_purchases_handler.evaluating(dfs) + #print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация") class WBPurchasesHandler(BaseHandler): def process(self): diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py new file mode 100644 index 0000000..a5d0112 --- /dev/null +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -0,0 +1,25 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re +def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): + pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() + df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + + df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists + df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + validated_rows, errors = [], [] + for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона + return validated_rows_1 \ No newline at end of file -- 2.49.1 From 3edf41b7a6e2763c628fae4a81bbee781667b80f Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Fri, 7 Nov 2025 18:56:13 +0300 Subject: [PATCH 06/28] wb_purchases_handler 1.0 --- server/backend/excel.py | 7 +++-- .../handlers/ozon_purchases_handler.py | 2 +- server/backend/handlers/wb_handler.py | 1 + .../backend/handlers/wb_purchases_handler.py | 27 +++++++++++++++++++ 4 files changed, 34 insertions(+), 3 deletions(-) create mode 100644 server/backend/handlers/wb_purchases_handler.py diff --git a/server/backend/excel.py b/server/backend/excel.py index be7bdd9..a9ffac0 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -3,6 +3,7 @@ import server.backend.handlers.yandex_handler as yandex_handler import server.backend.handlers.wb_handler as wb_handler import server.backend.handlers.ozon_handler as ozon_handler import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler +import server.backend.handlers.wb_purchases_handler as wb_purchases_handler class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -59,10 +60,12 @@ class OZONPurchasesHandler(BaseHandler): class WBPurchasesHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=9, skipfooter=7) if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - print("Выкупы wb") + validated_data = wb_purchases_handler.evaluating(dfs) + print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация") + class OZONComHandler(BaseHandler): def process(self): dfs = pd.read_excel(self.file_path, sheet_name=None) diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index a5d0112..4cddd9b 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,7 +1,7 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): +def process_sheet(df, real_arti = 0, real_quantity=0, real_sum_1=0): pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 5886841..1743f0e 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,6 +1,7 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re + def process_sheet(df, document_type= ''): pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py new file mode 100644 index 0000000..39fefb5 --- /dev/null +++ b/server/backend/handlers/wb_purchases_handler.py @@ -0,0 +1,27 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re +def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): + pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() + df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + + df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float + df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + + validated_rows, errors = [], [] + for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., +(вкл. НДС)''') # номера столбцов от озона + return validated_rows_1 \ No newline at end of file -- 2.49.1 From 07553d96cf358ac8ab74f35e28a682ca6477f79a Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Fri, 7 Nov 2025 18:58:25 +0300 Subject: [PATCH 07/28] wb_purchases_handler 1.1 --- server/backend/handlers/wb_purchases_handler.py | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 39fefb5..a5c47f0 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -8,10 +8,9 @@ def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex - + df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists - validated_rows, errors = [], [] for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: -- 2.49.1 From d9bf44e66935d3d293a823e1cf7690a0fc9f511f Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 8 Nov 2025 22:09:10 +0300 Subject: [PATCH 08/28] com handler 1.0 --- server/backend/excel.py | 36 +++++++++++-------- server/backend/handlers/ozon_handler.py | 25 +++++++------ .../handlers/ozon_purchases_handler.py | 24 ++++++++----- .../handlers/ozon_wb_yandex_com_handler.py | 32 +++++++++++++++++ server/backend/handlers/wb_handler.py | 27 ++++++++------ .../backend/handlers/wb_purchases_handler.py | 23 +++++++----- server/backend/handlers/yandex_handler.py | 12 ++++--- server/backend/pydantic.py | 2 +- 8 files changed, 123 insertions(+), 58 deletions(-) create mode 100644 server/backend/handlers/ozon_wb_yandex_com_handler.py diff --git a/server/backend/excel.py b/server/backend/excel.py index a9ffac0..6b8d501 100644 --- a/server/backend/excel.py +++ b/server/backend/excel.py @@ -4,6 +4,7 @@ import server.backend.handlers.wb_handler as wb_handler import server.backend.handlers.ozon_handler as ozon_handler import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler import server.backend.handlers.wb_purchases_handler as wb_purchases_handler +import server.backend.handlers.ozon_wb_yandex_com_handler as ozon_wb_yandex_com_handler class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -27,9 +28,8 @@ class YandexHandler(BaseHandler): if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") # вызываем функцию evaluating - - #validated_data = yandex_handler.evaluating(dfs) - #print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + validated_data = yandex_handler.evaluating(dfs) + print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class WBHandler(BaseHandler): def process(self): @@ -37,8 +37,8 @@ class WBHandler(BaseHandler): #доставать дату по месяцу и просто день ставить последний if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - #validated_data = wb_handler.evaluating(dfs) - #print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + validated_data = wb_handler.evaluating(dfs) + print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONHandler(BaseHandler): def process(self): @@ -46,8 +46,8 @@ class OZONHandler(BaseHandler): dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - #validated_data = ozon_handler.evaluating(dfs) - #print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + validated_data = ozon_handler.evaluating(dfs) + print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") class OZONPurchasesHandler(BaseHandler): def process(self): @@ -55,8 +55,8 @@ class OZONPurchasesHandler(BaseHandler): dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=12, skipfooter=1) if "Отчет о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - #validated_data = ozon_purchases_handler.evaluating(dfs) - #print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация") + validated_data = ozon_purchases_handler.evaluating(dfs) + print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация") class WBPurchasesHandler(BaseHandler): def process(self): @@ -68,34 +68,40 @@ class WBPurchasesHandler(BaseHandler): class OZONComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] cont = df.iloc[1, 0] + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2],skipfooter=1) if cont != "«Интернет решения» ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") - print("Товары, переданные на комиссию озон") + validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data), "Реализация") class WBComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] cont = df.iloc[1, 0] + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1) if cont != '"Вайлдберриз" ООО': raise Exception(f"В файле {self.file_path.name} неверный контрагент") - print("Товары, переданные на комиссию wb") + validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data), "Реализация") class YandexComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] cont = df.iloc[1, 0] + dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1) if cont != "Яндекс Маркет ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") - print("Товары, переданные на комиссию yandex") + validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data), "Реализация") diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index 7bc61f1..cf91666 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,26 +1,31 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = '', real_quantity='', real_sum_1='', real_sum_2=''): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df[real_sum_1]+=df[real_sum_2] - df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() - df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex - df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists - + df['price'] = df['price'].astype(float) #Float to Int, if exists + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: - raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors) return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 4cddd9b..ffe8233 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,24 +1,30 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = 0, real_quantity=0, real_sum_1=0): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() - df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex - df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + df['price'] = df['price'].astype(float) #Float to Int, if exists + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: - raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) + raise Exception(f"There are some errors with validation in Отчет о выкупленных товарах, check it ", errors) return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py new file mode 100644 index 0000000..d8debcd --- /dev/null +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -0,0 +1,32 @@ +from pydantic import ValidationError +from server.backend.pydantic import ExcelInfo +import re + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df[(df != 0).all(axis=1)] #drop all 0 values + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + + df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping + + validated_rows, errors = [], [] + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + try: + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + except ValidationError as e: + errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + if errors: + raise Exception(f"There are some errors with validation in Лист_1, check it ", errors) + return validated_rows +def evaluating(dfs): + validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов + return validated_rows_1 \ No newline at end of file diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 1743f0e..3d90565 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -2,22 +2,27 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, document_type= ''): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, document_type:str): df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df_validate = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() - df_validate.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex - - df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + df = df[df['Тип документа'] == document_type] #фильтруем по типу документа + df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() + df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + + df['price'] = df['price'].astype(float) #Float to Int, if exists + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: - if df.loc[i, 'Тип документа'] == document_type: - validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index a5c47f0..e57ca74 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -1,18 +1,25 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''): - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex + +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df_validate = df[[real_arti, real_quantity, real_sum_1]].copy() - df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex + df = df[[real_arti, real_quantity, real_sum_1]].copy() + df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex - df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float - df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists + df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float + df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping + validated_rows, errors = [], [] - for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict except ValidationError as e: diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index ee7dcb2..f29e5e5 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,18 +1,22 @@ from pydantic import ValidationError from server.backend.pydantic import ExcelInfo import re -def process_sheet(df, multiply_price=1, sheet_name=''): - # INLINE regex к колонке 'arti' - pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' +from dotenv import load_dotenv #Работа с env +import os +load_dotenv() +PATTERN = os.getenv("PATTERN") + +def process_sheet(df, multiply_price=1, sheet_name=''): df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #regex implemented + df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented df['price'] = df['price'].astype(float) #To float, if exists df['counts'] = df['counts'].astype(int) #To float, if exists + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки diff --git a/server/backend/pydantic.py b/server/backend/pydantic.py index b44af59..f7e3416 100644 --- a/server/backend/pydantic.py +++ b/server/backend/pydantic.py @@ -1,6 +1,6 @@ from pydantic import BaseModel, Field, field_validator class ExcelInfo(BaseModel): - arti:str = Field(..., min_length=6, max_length=12, description="arti of the clothes") + arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") class ExcelRealization(BaseModel): -- 2.49.1 From 46b4e95d4587a0455d4dcfb413a04fba0208bd2a Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sun, 21 Dec 2025 17:51:41 +0300 Subject: [PATCH 09/28] refactoring --- env_example | 34 ++++++++++++++++++- run.py | 4 +-- server/backend/api/__init__.py | 0 server/backend/api/realisation.py | 0 server/backend/api/report.py | 0 server/backend/handlers/ozon_handler.py | 2 +- .../handlers/ozon_purchases_handler.py | 2 +- .../handlers/ozon_wb_yandex_com_handler.py | 2 +- server/backend/handlers/wb_handler.py | 2 +- .../backend/handlers/wb_purchases_handler.py | 2 +- server/backend/handlers/yandex_handler.py | 2 +- server/backend/schemas/__init__.py | 0 server/backend/{ => schemas}/pydantic.py | 0 server/backend/services/__init__.py | 0 server/backend/{ => services}/excel.py | 0 .../{ => services}/validating_files.py | 2 +- 16 files changed, 42 insertions(+), 10 deletions(-) create mode 100644 server/backend/api/__init__.py create mode 100644 server/backend/api/realisation.py create mode 100644 server/backend/api/report.py create mode 100644 server/backend/schemas/__init__.py rename server/backend/{ => schemas}/pydantic.py (100%) create mode 100644 server/backend/services/__init__.py rename server/backend/{ => services}/excel.py (100%) rename server/backend/{ => services}/validating_files.py (98%) diff --git a/env_example b/env_example index b36ef0a..4601ce2 100644 --- a/env_example +++ b/env_example @@ -1 +1,33 @@ -DIR="/dir/dir/dir" \ No newline at end of file +DIR="/dir/dir/dir" +PATTERN=[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{0,1} + +USERNAME = "..." +PASSWORD = "..." +URL_REPORT = "..." +URL_REALISATION = "..." + +BUYER = "..." #Физические лица-розница +COMPANY="..." #Организация_Key +STORE = "..." #Склад_Key + +CONTRAGENT_RWB = "..." #WB +CONTRAGENT_OZON = "..." #Озон +CONTRAGENT_YANDEX="..." #Яндекс + +CONTRACT_RWB0 = "..." #Основной для ВБ +CONTRACT_RWB1 = "..." #основной для яндекса +CONTRACT_RWB2 = "..." #основной для озона + +MEASURE="..." #"ЕдиницаИзмерения_Key" шт + +#Accountant + +A60_01="..." # 60.01 СчетУчетаРасчетовЗаПосредническиеУслуги_Key +A62_02= "..." # 62.02 СчетУчетаРасчетовПоАвансамПолученным_Key +A60_02= "..." # 60.02 СчетУчетаРасчетовПоАвансамВыданным_Key +A62_01= "..." # 62.01 СчетУчетаРасчетовСКонтрагентом_Key +A45_02="..." # 45.02 СчетУчета_Key +A90_01_1="..." # 90.01.1 СчетДоходов_Key +A90_02_1="..." # 90.02.1 СчетРасходов_Key +A90_03="..." # 90.03 СчетУчетаНДСПоРеализации_Key +A76_09="..." # 76.09 СчетУчетаРасчетовПоАвансамПолученным_Key and СчетУчетаРасчетовСКонтрагентом_Key \ No newline at end of file diff --git a/run.py b/run.py index 6324908..09897fd 100644 --- a/run.py +++ b/run.py @@ -1,3 +1,3 @@ -import server.backend.excel as excel -from server.backend.validating_files import validating +import server.backend.services.excel as excel +from server.backend.services.validating_files import validating print(validating()) \ No newline at end of file diff --git a/server/backend/api/__init__.py b/server/backend/api/__init__.py new file mode 100644 index 0000000..e69de29 diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py new file mode 100644 index 0000000..e69de29 diff --git a/server/backend/api/report.py b/server/backend/api/report.py new file mode 100644 index 0000000..e69de29 diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index cf91666..6bdf8e6 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,5 +1,5 @@ from pydantic import ValidationError -from server.backend.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo import re from dotenv import load_dotenv #Работа с env diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index ffe8233..bd143ef 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,5 +1,5 @@ from pydantic import ValidationError -from server.backend.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo import re from dotenv import load_dotenv #Работа с env diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index d8debcd..f9c4108 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -1,5 +1,5 @@ from pydantic import ValidationError -from server.backend.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo import re from dotenv import load_dotenv #Работа с env diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 3d90565..377667b 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,5 +1,5 @@ from pydantic import ValidationError -from server.backend.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo import re from dotenv import load_dotenv #Работа с env diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index e57ca74..efc125f 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -1,5 +1,5 @@ from pydantic import ValidationError -from server.backend.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo import re from dotenv import load_dotenv #Работа с env diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index f29e5e5..bf78ed0 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,5 +1,5 @@ from pydantic import ValidationError -from server.backend.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo import re from dotenv import load_dotenv #Работа с env diff --git a/server/backend/schemas/__init__.py b/server/backend/schemas/__init__.py new file mode 100644 index 0000000..e69de29 diff --git a/server/backend/pydantic.py b/server/backend/schemas/pydantic.py similarity index 100% rename from server/backend/pydantic.py rename to server/backend/schemas/pydantic.py diff --git a/server/backend/services/__init__.py b/server/backend/services/__init__.py new file mode 100644 index 0000000..e69de29 diff --git a/server/backend/excel.py b/server/backend/services/excel.py similarity index 100% rename from server/backend/excel.py rename to server/backend/services/excel.py diff --git a/server/backend/validating_files.py b/server/backend/services/validating_files.py similarity index 98% rename from server/backend/validating_files.py rename to server/backend/services/validating_files.py index 52827a2..e2b6dd4 100644 --- a/server/backend/validating_files.py +++ b/server/backend/services/validating_files.py @@ -1,4 +1,4 @@ -import server.backend.excel as excel +import server.backend.services.excel as excel from dotenv import load_dotenv #Работа с env import os -- 2.49.1 From 6b92cf878235620da0d6acbb92b904461db3ee7d Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sun, 21 Dec 2025 18:18:26 +0300 Subject: [PATCH 10/28] refactoring 1.1 --- requirements.txt | 1 + server/backend/api/realisation.py | 4 +++ server/backend/api/report.py | 4 +++ server/backend/handlers/ozon_handler.py | 13 +++---- .../handlers/ozon_purchases_handler.py | 8 ++--- .../handlers/ozon_wb_yandex_com_handler.py | 8 ++--- server/backend/handlers/wb_handler.py | 9 ++--- .../backend/handlers/wb_purchases_handler.py | 9 ++--- server/backend/handlers/yandex_handler.py | 9 ++--- server/backend/schemas/pydantic.py | 34 ++++++++++++++++++- server/backend/services/validating_files.py | 13 +++---- 11 files changed, 62 insertions(+), 50 deletions(-) diff --git a/requirements.txt b/requirements.txt index f7c87c7..764e833 100644 --- a/requirements.txt +++ b/requirements.txt @@ -1,4 +1,5 @@ pandas==2.3.3 openpyxl==3.1.5 pydantic==2.12.3 +pydantic_settings == 2.12.0 dotenv==0.9.9 \ No newline at end of file diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py index e69de29..ec13025 100644 --- a/server/backend/api/realisation.py +++ b/server/backend/api/realisation.py @@ -0,0 +1,4 @@ +import requests +import json +from base64 import b64encode +from server.backend.schemas.pydantic import settings \ No newline at end of file diff --git a/server/backend/api/report.py b/server/backend/api/report.py index e69de29..7b8923d 100644 --- a/server/backend/api/report.py +++ b/server/backend/api/report.py @@ -0,0 +1,4 @@ +import requests +import json +from base64 import b64encode +from server.backend.schemas.pydantic import settings diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index 6bdf8e6..f3d39a5 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,19 +1,14 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo,settings import re -from dotenv import load_dotenv #Работа с env -import os -load_dotenv() -PATTERN = os.getenv("PATTERN") - def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df[real_sum_1]+=df[real_sum_2] df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists @@ -30,4 +25,6 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')# - return validated_rows_1, validated_rows_2 \ No newline at end of file + return validated_rows_1, validated_rows_2 + +#Добавить проверку с бд по keys \ No newline at end of file diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index bd143ef..1000ecb 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,18 +1,14 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo, settings import re -from dotenv import load_dotenv #Работа с env -import os -load_dotenv() -PATTERN = os.getenv("PATTERN") def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index f9c4108..7b43127 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -1,18 +1,14 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo,settings import re -from dotenv import load_dotenv #Работа с env -import os -load_dotenv() -PATTERN = os.getenv("PATTERN") def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 377667b..854753e 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,12 +1,7 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo, settings import re -from dotenv import load_dotenv #Работа с env -import os -load_dotenv() -PATTERN = os.getenv("PATTERN") - def process_sheet(df, document_type:str): df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values @@ -14,7 +9,7 @@ def process_sheet(df, document_type:str): df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index efc125f..3ed4952 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -1,18 +1,13 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo, settings import re -from dotenv import load_dotenv #Работа с env -import os -load_dotenv() -PATTERN = os.getenv("PATTERN") - def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex + df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index bf78ed0..7044425 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,18 +1,13 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo +from server.backend.schemas.pydantic import ExcelInfo, settings import re -from dotenv import load_dotenv #Работа с env -import os -load_dotenv() -PATTERN = os.getenv("PATTERN") - def process_sheet(df, multiply_price=1, sheet_name=''): df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented + df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #regex implemented df['price'] = df['price'].astype(float) #To float, if exists df['counts'] = df['counts'].astype(int) #To float, if exists diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index f7e3416..4e62389 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -1,4 +1,5 @@ from pydantic import BaseModel, Field, field_validator +from pydantic_settings import BaseSettings, SettingsConfigDict class ExcelInfo(BaseModel): arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") @@ -8,4 +9,35 @@ class ExcelRealization(BaseModel): class ExcelReturning(BaseModel): pass class ExcelOut(BaseModel): - pass \ No newline at end of file + pass +class Settings(BaseSettings): + DIR:str + PATTERN: str + USERNAME: str + PASSWORD: str + URL_REPORT:str + URL_REALISATION:str + BUYER: str + COMPANY: str + STORE: str + CONTRAGENT_RWB:str + CONTRAGENT_OZON:str + CONTRAGENT_YANDEX:str + CONTRACT_RWB0:str + CONTRACT_RWB1:str + CONTRACT_RWB2:str + MEASURE:str + A60_01:str + A62_02:str + A60_02:str + A62_01:str + A45_02:str + A90_01_1:str + A90_02_1:str + A90_03:str + A76_09:str + model_config = SettingsConfigDict( + env_file=".env", + env_file_encoding="utf-8" + ) +settings = Settings() \ No newline at end of file diff --git a/server/backend/services/validating_files.py b/server/backend/services/validating_files.py index e2b6dd4..4fc1fda 100644 --- a/server/backend/services/validating_files.py +++ b/server/backend/services/validating_files.py @@ -1,10 +1,7 @@ import server.backend.services.excel as excel - -from dotenv import load_dotenv #Работа с env -import os +from server.backend.schemas.pydantic import settings from pathlib import Path -load_dotenv() -base_dir = Path(os.getenv("DIR")) +DIR = Path(settings.DIR) handlers = { #метки какие файлы есть и должны быть занесены с вызовами функций из файла "period_closure_income": excel.YandexHandler, @@ -19,9 +16,9 @@ handlers = { #метки какие файлы есть и должны быть #Проход по всем файлам в директории def validating(): - if not base_dir.exists(): - raise (f"Директория {base_dir} не существует") #Проверка существует ли директория - for file in base_dir.rglob("*.xlsx"): + if not DIR.exists(): + raise (f"Директория {DIR} не существует") #Проверка существует ли директория + for file in DIR.rglob("*.xlsx"): if file.name.startswith("~$"): #Проверка не редактируемый ли файл continue -- 2.49.1 From caa23b40b1a32e2129693527536fda4b44dece2a Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Mon, 22 Dec 2025 19:02:06 +0300 Subject: [PATCH 11/28] api 1.0 --- env_example | 1 + requirements.txt | 1 + server/backend/api/contragents.py | 56 +++++++++++++++++++++++++++++++ 3 files changed, 58 insertions(+) create mode 100644 server/backend/api/contragents.py diff --git a/env_example b/env_example index 4601ce2..c26f221 100644 --- a/env_example +++ b/env_example @@ -5,6 +5,7 @@ USERNAME = "..." PASSWORD = "..." URL_REPORT = "..." URL_REALISATION = "..." +URL_CONTRAGENTS = "..." BUYER = "..." #Физические лица-розница COMPANY="..." #Организация_Key diff --git a/requirements.txt b/requirements.txt index 764e833..f5d0f46 100644 --- a/requirements.txt +++ b/requirements.txt @@ -2,4 +2,5 @@ pandas==2.3.3 openpyxl==3.1.5 pydantic==2.12.3 pydantic_settings == 2.12.0 +requests==2.32.5 dotenv==0.9.9 \ No newline at end of file diff --git a/server/backend/api/contragents.py b/server/backend/api/contragents.py new file mode 100644 index 0000000..0167148 --- /dev/null +++ b/server/backend/api/contragents.py @@ -0,0 +1,56 @@ +import requests +from requests.auth import HTTPBasicAuth +import xml.etree.ElementTree as ET +from base64 import b64encode +from server.backend.schemas.pydantic import settings + + +auth_str = f"{setting.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Accept": "application/xml", +}) + +def fetch_contragents(): + response = session.get(settings.URL_CONTRAGENTS, timeout=10) + response.raise_for_status() + return response.text + +def parse_contragents(xml: str): + NS = { + "atom": "http://www.w3.org/2005/Atom", + "m": "http://schemas.microsoft.com/ado/2007/08/dataservices/metadata", + "d": "http://schemas.microsoft.com/ado/2007/08/dataservices", + } + try: + # Парсинг XML-ответа + root = ET.fromstring(xml) + # Извлечение конкретных данных + for entry in root.findall('atom:entry', NS): + properties = entry.find('atom:content',NS).find( + 'm:properties', NS) + + ref_key = properties.find('d:Ref_Key', NS).text + description = properties.find('d:Description', NS).text + full_name = properties.find( + 'd:НаименованиеПолное', NS).text + inn = properties.find('d:ИНН', NS).text + kpp = properties.find('d:КПП', NS).text + creation_date = properties.find('d:ДатаСоздания', NS).text + + print(f"Ref_Key: {ref_key}") + print(f"Description: {description}") + print(f"Full Name: {full_name}") + print(f"ИНН: {inn}") + print(f"КПП: {kpp}") + print(f"Дата Создания: {creation_date}") + print("----") + + except ET.ParseError: + print("Ошибка при парсинге XML.") +xml_data = fetch_contragents() +root = parse_contragents(xml_data) +print(root) \ No newline at end of file -- 2.49.1 From 1e5492b7b66088c524fbb7b4e21274ff83a11902 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Wed, 24 Dec 2025 19:54:39 +0300 Subject: [PATCH 12/28] api 1.1 --- server/backend/api/contragents.py | 46 +++++++++++++----------------- server/backend/schemas/pydantic.py | 1 + 2 files changed, 21 insertions(+), 26 deletions(-) diff --git a/server/backend/api/contragents.py b/server/backend/api/contragents.py index 0167148..aab6421 100644 --- a/server/backend/api/contragents.py +++ b/server/backend/api/contragents.py @@ -3,9 +3,9 @@ from requests.auth import HTTPBasicAuth import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings +import pandas as pd - -auth_str = f"{setting.USERNAME}:{settings.PASSWORD}" +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") session = requests.Session() @@ -20,37 +20,31 @@ def fetch_contragents(): return response.text def parse_contragents(xml: str): - NS = { - "atom": "http://www.w3.org/2005/Atom", - "m": "http://schemas.microsoft.com/ado/2007/08/dataservices/metadata", - "d": "http://schemas.microsoft.com/ado/2007/08/dataservices", - } try: - # Парсинг XML-ответа + NS = { + "atom": "http://www.w3.org/2005/Atom", + "m": "http://schemas.microsoft.com/ado/2007/08/dataservices/metadata", + "d": "http://schemas.microsoft.com/ado/2007/08/dataservices", + } + rows = [] + # Парсинг XML-ответа root = ET.fromstring(xml) # Извлечение конкретных данных for entry in root.findall('atom:entry', NS): properties = entry.find('atom:content',NS).find( 'm:properties', NS) - - ref_key = properties.find('d:Ref_Key', NS).text - description = properties.find('d:Description', NS).text - full_name = properties.find( - 'd:НаименованиеПолное', NS).text - inn = properties.find('d:ИНН', NS).text - kpp = properties.find('d:КПП', NS).text - creation_date = properties.find('d:ДатаСоздания', NS).text - - print(f"Ref_Key: {ref_key}") - print(f"Description: {description}") - print(f"Full Name: {full_name}") - print(f"ИНН: {inn}") - print(f"КПП: {kpp}") - print(f"Дата Создания: {creation_date}") - print("----") - + rows.append({ + 'Ref_Key': properties.findtext('d:Ref_Key', default=None, namespaces=NS), + 'Description': properties.findtext('d:Description', default=None, namespaces=NS), + 'FullName': properties.findtext('d:НаименованиеПолное', default=None, namespaces=NS), + 'INN': properties.findtext('d:ИНН', default=None, namespaces=NS), + 'KPP': properties.findtext('d:КПП', default=None, namespaces=NS), + 'DoC': properties.findtext('d:ДатаСоздания', default=None, namespaces=NS), + }) + df = pd.DataFrame(rows) + return df except ET.ParseError: - print("Ошибка при парсинге XML.") + return "Error during the parsing process" xml_data = fetch_contragents() root = parse_contragents(xml_data) print(root) \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 4e62389..1ac7043 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -17,6 +17,7 @@ class Settings(BaseSettings): PASSWORD: str URL_REPORT:str URL_REALISATION:str + URL_CONTRAGENTS:str BUYER: str COMPANY: str STORE: str -- 2.49.1 From 4ed850fb10304482a68dd6a71b014f058cff73ad Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Wed, 24 Dec 2025 20:16:53 +0300 Subject: [PATCH 13/28] api 1.2 --- server/backend/api/contragents.py | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/server/backend/api/contragents.py b/server/backend/api/contragents.py index aab6421..35e5e68 100644 --- a/server/backend/api/contragents.py +++ b/server/backend/api/contragents.py @@ -1,5 +1,4 @@ import requests -from requests.auth import HTTPBasicAuth import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings @@ -44,7 +43,7 @@ def parse_contragents(xml: str): df = pd.DataFrame(rows) return df except ET.ParseError: - return "Error during the parsing process" + raise xml_data = fetch_contragents() root = parse_contragents(xml_data) print(root) \ No newline at end of file -- 2.49.1 From 5cb4fa1cf869396ca8144ad9929da5761c7ac6f8 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Fri, 26 Dec 2025 16:55:15 +0300 Subject: [PATCH 14/28] api 1.3 --- env_example | 3 ++ server/backend/api/companies.py | 45 ++++++++++++++++++ .../api/{contragents.py => contractors.py} | 2 +- server/backend/api/nomenclature.py | 47 +++++++++++++++++++ server/backend/api/storages.py | 45 ++++++++++++++++++ server/backend/schemas/pydantic.py | 5 +- 6 files changed, 145 insertions(+), 2 deletions(-) create mode 100644 server/backend/api/companies.py rename server/backend/api/{contragents.py => contractors.py} (96%) create mode 100644 server/backend/api/nomenclature.py create mode 100644 server/backend/api/storages.py diff --git a/env_example b/env_example index c26f221..d268cbb 100644 --- a/env_example +++ b/env_example @@ -6,6 +6,9 @@ PASSWORD = "..." URL_REPORT = "..." URL_REALISATION = "..." URL_CONTRAGENTS = "..." +URL_NOMENCLATURE="..." +URL_COMPANIES="..." +URL_STORAGES ="..." BUYER = "..." #Физические лица-розница COMPANY="..." #Организация_Key diff --git a/server/backend/api/companies.py b/server/backend/api/companies.py new file mode 100644 index 0000000..462c52b --- /dev/null +++ b/server/backend/api/companies.py @@ -0,0 +1,45 @@ +import requests +import xml.etree.ElementTree as ET +from base64 import b64encode +from server.backend.schemas.pydantic import settings +import pandas as pd + +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Accept": "application/xml", +}) + +def fetch_contragents(): + response = session.get(settings.URL_COMPANIES, timeout=10) + response.raise_for_status() + return response.text + +def parse_contragents(xml: str): + try: + NS = { + "atom": "http://www.w3.org/2005/Atom", + "m": "http://schemas.microsoft.com/ado/2007/08/dataservices/metadata", + "d": "http://schemas.microsoft.com/ado/2007/08/dataservices", + } + rows = [] + # Парсинг XML-ответа + root = ET.fromstring(xml) + # Извлечение конкретных данных + for entry in root.findall('atom:entry', NS): + properties = entry.find('atom:content',NS).find( + 'm:properties', NS) + rows.append({ + 'Ref_Key': properties.findtext('d:Ref_Key', default=None, namespaces=NS), + 'Description': properties.findtext('d:Description', default=None, namespaces=NS), + }) + df = pd.DataFrame(rows) + return df + except ET.ParseError: + raise +xml_data = fetch_contragents() +root = parse_contragents(xml_data) +print(root) \ No newline at end of file diff --git a/server/backend/api/contragents.py b/server/backend/api/contractors.py similarity index 96% rename from server/backend/api/contragents.py rename to server/backend/api/contractors.py index 35e5e68..f3d05f4 100644 --- a/server/backend/api/contragents.py +++ b/server/backend/api/contractors.py @@ -14,7 +14,7 @@ session.headers.update({ }) def fetch_contragents(): - response = session.get(settings.URL_CONTRAGENTS, timeout=10) + response = session.get(settings.URL_CONTRACTORS, timeout=10) response.raise_for_status() return response.text diff --git a/server/backend/api/nomenclature.py b/server/backend/api/nomenclature.py new file mode 100644 index 0000000..603e0d4 --- /dev/null +++ b/server/backend/api/nomenclature.py @@ -0,0 +1,47 @@ +import requests +import xml.etree.ElementTree as ET +from base64 import b64encode +from server.backend.schemas.pydantic import settings +import pandas as pd +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Accept": "application/xml", +}) + +def fetch_contragents(): + response = session.get(settings.URL_NOMENCLATURE, timeout=10) + response.raise_for_status() + return response.text + +def parse_contragents(xml: str): + try: + NS = { + "atom": "http://www.w3.org/2005/Atom", + "m": "http://schemas.microsoft.com/ado/2007/08/dataservices/metadata", + "d": "http://schemas.microsoft.com/ado/2007/08/dataservices", + } + rows = [] + # Парсинг XML-ответа + root = ET.fromstring(xml) + # Извлечение конкретных данных + for entry in root.findall('atom:entry', NS): + properties = entry.find('atom:content',NS).find( + 'm:properties', NS) + rows.append({ + 'Ref_Key': properties.findtext('d:Ref_Key', default=None, namespaces=NS), + 'Description': properties.findtext('d:Description', default=None, namespaces=NS), + 'Parent_Key': properties.findtext('d:Parent_Key', default=None, namespaces=NS) + }) + df = pd.DataFrame(rows) + df = df[df['Parent_Key'] == 'e0eb911c-03a0-11ef-95bd-fa163e7429d8'] + df['Description'] = df['Description'].str.extract(r'^([^\s(]+)') + return df + except ET.ParseError: + raise +xml_data = fetch_contragents() +root = parse_contragents(xml_data) +print(root) \ No newline at end of file diff --git a/server/backend/api/storages.py b/server/backend/api/storages.py new file mode 100644 index 0000000..d7841ed --- /dev/null +++ b/server/backend/api/storages.py @@ -0,0 +1,45 @@ +import requests +import xml.etree.ElementTree as ET +from base64 import b64encode +from server.backend.schemas.pydantic import settings +import pandas as pd + +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Accept": "application/xml", +}) + +def fetch_contragents(): + response = session.get(settings.URL_STORAGES, timeout=10) + response.raise_for_status() + return response.text + +def parse_contragents(xml: str): + try: + NS = { + "atom": "http://www.w3.org/2005/Atom", + "m": "http://schemas.microsoft.com/ado/2007/08/dataservices/metadata", + "d": "http://schemas.microsoft.com/ado/2007/08/dataservices", + } + rows = [] + # Парсинг XML-ответа + root = ET.fromstring(xml) + # Извлечение конкретных данных + for entry in root.findall('atom:entry', NS): + properties = entry.find('atom:content',NS).find( + 'm:properties', NS) + rows.append({ + 'Ref_Key': properties.findtext('d:Ref_Key', default=None, namespaces=NS), + 'Description': properties.findtext('d:Description', default=None, namespaces=NS), + }) + df = pd.DataFrame(rows) + return df + except ET.ParseError: + raise +xml_data = fetch_contragents() +root = parse_contragents(xml_data) +print(root) \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 1ac7043..02ca3fa 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -17,7 +17,10 @@ class Settings(BaseSettings): PASSWORD: str URL_REPORT:str URL_REALISATION:str - URL_CONTRAGENTS:str + URL_CONTRACTORS:str + URL_NOMENCLATURE:str + URL_COMPANIES:str + URL_STORAGES:str BUYER: str COMPANY: str STORE: str -- 2.49.1 From 17f2f34f87b518e3ae20d774d08bd6ee217f8641 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 27 Dec 2025 19:03:00 +0300 Subject: [PATCH 15/28] cli arguments + optimization test --- makefile | 12 +++++++++-- run.py | 27 +++++++++++++++++++++++++ server/backend/api/companies.py | 7 ++++--- server/backend/api/contractors.py | 7 ++++--- server/backend/api/nomenclature.py | 6 +++--- server/backend/api/storages.py | 7 ++++--- server/backend/handlers/ozon_handler.py | 2 ++ server/backend/services/excel.py | 22 ++++++++++---------- 8 files changed, 65 insertions(+), 25 deletions(-) diff --git a/makefile b/makefile index c24ca7f..dee4f26 100644 --- a/makefile +++ b/makefile @@ -1,4 +1,12 @@ VENV=source ./.venv/bin/activate; -.PHONY: run +.PHONY: run run_full run_stocks run_orgs run_contractors run: - $(VENV) python run.py \ No newline at end of file + $(VENV) python run.py +run_full: + $(VENV) python run.py --mode full +run_stocks: + $(VENV) python run.py --mode stocks +run_orgs: + $(VENV) python run.py --mode orgs +run_contractors: + $(VENV) python run.py --mode contractors \ No newline at end of file diff --git a/run.py b/run.py index 09897fd..47c9462 100644 --- a/run.py +++ b/run.py @@ -1,3 +1,30 @@ import server.backend.services.excel as excel from server.backend.services.validating_files import validating +from server.backend.api import companies,contractors,storages +import argparse +parser = argparse.ArgumentParser(description="Экспорт в Excel") +parser.add_argument( + "--mode", + choices=["stocks", "orgs", "contractors", "full", "standart"], + default="standart", + help="Режим экспорта (по умолчанию: standart)" +) +args = parser.parse_args() +match args.mode: + case "full": + print("Режим:", args.mode) + companies.companies() + contractors.contractor() + storages.storages() + case "orgs": + print("Режим:", args.mode) + companies.companies() + case "contractors": + print("Режим:", args.mode) + contractors.contractor() + case "stocks": + print("Режим:", args.mode) + storages.storages() + case "standart": + print("Режим:", args.mode) print(validating()) \ No newline at end of file diff --git a/server/backend/api/companies.py b/server/backend/api/companies.py index 462c52b..822978e 100644 --- a/server/backend/api/companies.py +++ b/server/backend/api/companies.py @@ -40,6 +40,7 @@ def parse_contragents(xml: str): return df except ET.ParseError: raise -xml_data = fetch_contragents() -root = parse_contragents(xml_data) -print(root) \ No newline at end of file +def companies(): + xml_data = fetch_contragents() + root = parse_contragents(xml_data) + root.to_excel("./excel_files/companies.xlsx") \ No newline at end of file diff --git a/server/backend/api/contractors.py b/server/backend/api/contractors.py index f3d05f4..d2afa40 100644 --- a/server/backend/api/contractors.py +++ b/server/backend/api/contractors.py @@ -44,6 +44,7 @@ def parse_contragents(xml: str): return df except ET.ParseError: raise -xml_data = fetch_contragents() -root = parse_contragents(xml_data) -print(root) \ No newline at end of file +def contractor(): + xml_data = fetch_contragents() + root = parse_contragents(xml_data) + root.to_excel("./excel_files/contractors.xlsx") \ No newline at end of file diff --git a/server/backend/api/nomenclature.py b/server/backend/api/nomenclature.py index 603e0d4..5c70fab 100644 --- a/server/backend/api/nomenclature.py +++ b/server/backend/api/nomenclature.py @@ -42,6 +42,6 @@ def parse_contragents(xml: str): return df except ET.ParseError: raise -xml_data = fetch_contragents() -root = parse_contragents(xml_data) -print(root) \ No newline at end of file +def nomenclature(): + xml_data = fetch_contragents() + root = parse_contragents(xml_data) diff --git a/server/backend/api/storages.py b/server/backend/api/storages.py index d7841ed..77122cd 100644 --- a/server/backend/api/storages.py +++ b/server/backend/api/storages.py @@ -40,6 +40,7 @@ def parse_contragents(xml: str): return df except ET.ParseError: raise -xml_data = fetch_contragents() -root = parse_contragents(xml_data) -print(root) \ No newline at end of file +def storages(): + xml_data = fetch_contragents() + root = parse_contragents(xml_data) + root.to_excel("./excel_files/storages.xlsx") \ No newline at end of file diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index f3d39a5..a73e395 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,5 +1,6 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo,settings +from server.backend.api.nomenclature import nomenclature import re def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): @@ -21,6 +22,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors) + return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 6b8d501..6a5e817 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -9,10 +9,10 @@ class BaseHandler: def __init__(self, file_path): self.file_path = file_path self.dfs = self.read() - - def read(self): + + def read(self, skiprows=None, skipfooter=0): try: - return pd.read_excel(self.file_path, sheet_name=None) + return pd.read_excel(self.file_path, sheet_name=None, skiprows=skiprows,skipfooter=skipfooter) except Exception as e: raise Exception(f"⚠️ Ошибка при чтении {self.file_path}: {e}") @@ -23,7 +23,7 @@ class YandexHandler(BaseHandler): def process(self): # читаем Excel внутри объекта #доставать дату - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0, 1, 3]) #skip header + dfs = self.read(skiprows=[0,1,3]) # проверяем наличие нужных листов if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") @@ -33,7 +33,7 @@ class YandexHandler(BaseHandler): class WBHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None) + dfs = self.read() #доставать дату по месяцу и просто день ставить последний if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") @@ -43,7 +43,7 @@ class WBHandler(BaseHandler): class OZONHandler(BaseHandler): def process(self): #Доставать № документа и дату - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer + dfs = self.read(skiprows=14, skipfooter=17) if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_handler.evaluating(dfs) @@ -52,7 +52,7 @@ class OZONHandler(BaseHandler): class OZONPurchasesHandler(BaseHandler): def process(self): #доставать дату и номер документа - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=12, skipfooter=1) + dfs = self.read(skiprows=12, skipfooter=1) if "Отчет о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_purchases_handler.evaluating(dfs) @@ -60,7 +60,7 @@ class OZONPurchasesHandler(BaseHandler): class WBPurchasesHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=9, skipfooter=7) + dfs = self.read(skiprows=9, skipfooter=7) if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_purchases_handler.evaluating(dfs) @@ -68,7 +68,7 @@ class WBPurchasesHandler(BaseHandler): class OZONComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) + dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] @@ -81,7 +81,7 @@ class OZONComHandler(BaseHandler): class WBComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) + dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] @@ -94,7 +94,7 @@ class WBComHandler(BaseHandler): class YandexComHandler(BaseHandler): def process(self): - dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1) + dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") df = dfs["Лист_1"] -- 2.49.1 From e70f02b8d1e44154efbbdc923b28178af2edcb94 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 27 Dec 2025 19:15:14 +0300 Subject: [PATCH 16/28] git ignore update --- .gitignore | 1 + 1 file changed, 1 insertion(+) diff --git a/.gitignore b/.gitignore index 0e2306e..62e3902 100644 --- a/.gitignore +++ b/.gitignore @@ -27,3 +27,4 @@ hint.py #Примеры документов document_examples/ +excel_files -- 2.49.1 From 04424a6dcf32d1896c62844d3f423fc1d23d9402 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 27 Dec 2025 19:19:37 +0300 Subject: [PATCH 17/28] git ignore fix --- .gitignore | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/.gitignore b/.gitignore index 62e3902..b0fca84 100644 --- a/.gitignore +++ b/.gitignore @@ -27,4 +27,4 @@ hint.py #Примеры документов document_examples/ -excel_files +excel_files/* -- 2.49.1 From d0f462dfee4c93164cf1df3926911a29a02f98d3 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 27 Dec 2025 19:26:44 +0300 Subject: [PATCH 18/28] dinamic dirs --- .gitignore | 2 +- run.py | 5 +++++ 2 files changed, 6 insertions(+), 1 deletion(-) diff --git a/.gitignore b/.gitignore index b0fca84..3ac9b4d 100644 --- a/.gitignore +++ b/.gitignore @@ -27,4 +27,4 @@ hint.py #Примеры документов document_examples/ -excel_files/* +excel_files/ diff --git a/run.py b/run.py index 47c9462..9fde7bb 100644 --- a/run.py +++ b/run.py @@ -1,6 +1,11 @@ import server.backend.services.excel as excel from server.backend.services.validating_files import validating from server.backend.api import companies,contractors,storages +#_______________ +from pathlib import Path +path = Path("./excel_files") +path.mkdir(exist_ok=True) +#_______________ import argparse parser = argparse.ArgumentParser(description="Экспорт в Excel") parser.add_argument( -- 2.49.1 From 5d15ff9f5e5ca0180b208c7339ac80d16c051627 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Fri, 2 Jan 2026 14:43:50 +0300 Subject: [PATCH 19/28] api 1.4 --- run.py | 3 +- server/backend/api/nomenclature.py | 30 +++++++++++++++---- server/backend/handlers/ozon_handler.py | 10 +++---- .../handlers/ozon_purchases_handler.py | 10 +++---- .../handlers/ozon_wb_yandex_com_handler.py | 10 +++---- server/backend/handlers/wb_handler.py | 10 +++---- .../backend/handlers/wb_purchases_handler.py | 9 +++--- server/backend/handlers/yandex_handler.py | 9 +++--- server/backend/schemas/pydantic.py | 16 ++++++++++ server/backend/services/excel.py | 2 +- 10 files changed, 73 insertions(+), 36 deletions(-) diff --git a/run.py b/run.py index 9fde7bb..625c7ed 100644 --- a/run.py +++ b/run.py @@ -1,6 +1,6 @@ import server.backend.services.excel as excel from server.backend.services.validating_files import validating -from server.backend.api import companies,contractors,storages +from server.backend.api import companies,contractors,storages, nomenclature #_______________ from pathlib import Path path = Path("./excel_files") @@ -21,6 +21,7 @@ match args.mode: companies.companies() contractors.contractor() storages.storages() + nomenclature.nomenclature(flag=True) case "orgs": print("Режим:", args.mode) companies.companies() diff --git a/server/backend/api/nomenclature.py b/server/backend/api/nomenclature.py index 5c70fab..2e105eb 100644 --- a/server/backend/api/nomenclature.py +++ b/server/backend/api/nomenclature.py @@ -2,6 +2,8 @@ import requests import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings +import re +from functools import lru_cache import pandas as pd auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") @@ -32,16 +34,32 @@ def parse_contragents(xml: str): properties = entry.find('atom:content',NS).find( 'm:properties', NS) rows.append({ - 'Ref_Key': properties.findtext('d:Ref_Key', default=None, namespaces=NS), - 'Description': properties.findtext('d:Description', default=None, namespaces=NS), - 'Parent_Key': properties.findtext('d:Parent_Key', default=None, namespaces=NS) + 'ref_key': properties.findtext('d:Ref_Key', default=None, namespaces=NS), + 'description': properties.findtext('d:Description', default=None, namespaces=NS), + 'parent_key': properties.findtext('d:Parent_Key', default=None, namespaces=NS) }) df = pd.DataFrame(rows) - df = df[df['Parent_Key'] == 'e0eb911c-03a0-11ef-95bd-fa163e7429d8'] - df['Description'] = df['Description'].str.extract(r'^([^\s(]+)') + df = df[df['parent_key'] == 'e0eb911c-03a0-11ef-95bd-fa163e7429d8'] + df['description'] = df['description'].str.extract(r'^([^\s(]+)') return df except ET.ParseError: raise -def nomenclature(): +@lru_cache(maxsize=1) +def nomenclature(flag=False): xml_data = fetch_contragents() root = parse_contragents(xml_data) + if flag: + root.to_excel("./excel_files/nomenclature.xlsx") + return root +def processing(df): + df2=nomenclature() + result = df.merge( + df2[['description', 'ref_key']], #берутся столбцы из df2 + left_on='arti', #столбец для сравнения в df + right_on='description', #столбец для сравнения в df2 + how='left' #left join для df + ).drop(columns='description') #удаление временного стобца + not_matched = result.loc[result['ref_key'].isna(), 'arti'].unique() + if len(not_matched) > 0: + raise ValueError(f'Не найдены значения: {not_matched}') + return result \ No newline at end of file diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index a73e395..c367759 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,6 +1,6 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo,settings -from server.backend.api.nomenclature import nomenclature +from server.backend.schemas.pydantic import ExcelInfo,settings,Translit +from server.backend.api.nomenclature import processing import re def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): @@ -9,11 +9,12 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum df[real_sum_1]+=df[real_sum_2] df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex - + df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: @@ -22,7 +23,6 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum errors.append((i, e.errors())) #выводит ошибку и пишет номер строки if errors: raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors) - return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 1000ecb..40b0fef 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -1,18 +1,18 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo, settings +from server.backend.schemas.pydantic import ExcelInfo, settings,Translit +from server.backend.api.nomenclature import processing import re - def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex - + df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists - df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index 7b43127..b0a8039 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -1,19 +1,19 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo,settings +from server.backend.schemas.pydantic import ExcelInfo,settings,Translit +from server.backend.api.nomenclature import processing import re - def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex - + df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 854753e..adda783 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,19 +1,19 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo, settings +from server.backend.schemas.pydantic import ExcelInfo, settings,Translit +from server.backend.api.nomenclature import processing import re - def process_sheet(df, document_type:str): df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[df['Тип документа'] == document_type] #фильтруем по типу документа - df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex - + df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 3ed4952..3f01b04 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -1,5 +1,6 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo, settings +from server.backend.schemas.pydantic import ExcelInfo, settings,Translit +from server.backend.api.nomenclature import processing import re def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): @@ -7,12 +8,12 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[[real_arti, real_quantity, real_sum_1]].copy() df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex - + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex + df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index 7044425..17c2332 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,5 +1,6 @@ from pydantic import ValidationError -from server.backend.schemas.pydantic import ExcelInfo, settings +from server.backend.schemas.pydantic import ExcelInfo, settings,Translit +from server.backend.api.nomenclature import processing import re def process_sheet(df, multiply_price=1, sheet_name=''): @@ -7,12 +8,12 @@ def process_sheet(df, multiply_price=1, sheet_name=''): df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic - df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #regex implemented - + df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #To float, if exists df['counts'] = df['counts'].astype(int) #To float, if exists df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 02ca3fa..4dd42fd 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -4,6 +4,7 @@ class ExcelInfo(BaseModel): arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") + ref_key:str = Field(..., description="reffering key from db") class ExcelRealization(BaseModel): pass class ExcelReturning(BaseModel): @@ -44,4 +45,19 @@ class Settings(BaseSettings): env_file=".env", env_file_encoding="utf-8" ) +class Translit(): + TRANSLIT = { + 'А': 'A', + 'В': 'B', + 'Е': 'E', + 'К': 'K', + 'М': 'M', + 'Н': 'H', + 'О': 'O', + 'Р': 'P', + 'С': 'C', + 'Т': 'T', + 'Х': 'X', + } + settings = Settings() \ No newline at end of file diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 6a5e817..7046ba8 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -64,7 +64,7 @@ class WBPurchasesHandler(BaseHandler): if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_purchases_handler.evaluating(dfs) - print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация") + print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация", validated_data) class OZONComHandler(BaseHandler): def process(self): -- 2.49.1 From dcf7878f037466cb0cde4dafa566ece6d0a3e1db Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Sat, 3 Jan 2026 19:48:18 +0300 Subject: [PATCH 20/28] dates --- run.py | 1 - server/backend/api/nomenclature.py | 1 - server/backend/api/realisation.py | 18 +++++- server/backend/api/report.py | 16 ++++++ server/backend/handlers/ozon_handler.py | 57 ++++++++++++------- .../handlers/ozon_purchases_handler.py | 7 ++- .../handlers/ozon_wb_yandex_com_handler.py | 16 +++++- server/backend/handlers/wb_handler.py | 17 +++++- .../backend/handlers/wb_purchases_handler.py | 7 ++- server/backend/handlers/yandex_handler.py | 14 ++++- server/backend/schemas/pydantic.py | 1 + server/backend/services/excel.py | 17 +++--- 12 files changed, 130 insertions(+), 42 deletions(-) diff --git a/run.py b/run.py index 625c7ed..e6eea2f 100644 --- a/run.py +++ b/run.py @@ -1,4 +1,3 @@ -import server.backend.services.excel as excel from server.backend.services.validating_files import validating from server.backend.api import companies,contractors,storages, nomenclature #_______________ diff --git a/server/backend/api/nomenclature.py b/server/backend/api/nomenclature.py index 2e105eb..71f3953 100644 --- a/server/backend/api/nomenclature.py +++ b/server/backend/api/nomenclature.py @@ -2,7 +2,6 @@ import requests import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings -import re from functools import lru_cache import pandas as pd auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py index ec13025..0057c07 100644 --- a/server/backend/api/realisation.py +++ b/server/backend/api/realisation.py @@ -1,4 +1,20 @@ import requests import json from base64 import b64encode -from server.backend.schemas.pydantic import settings \ No newline at end of file +from server.backend.schemas.pydantic import settings +import pandas as pd +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Content-Type": "application/json", + "Accept": "application/json" +}) + +def fetch_contragents(): + response = session.post(settings.URL_REPORT, data=json.dumps(data)) + response.raise_for_status() + return response.status_code + diff --git a/server/backend/api/report.py b/server/backend/api/report.py index 7b8923d..0057c07 100644 --- a/server/backend/api/report.py +++ b/server/backend/api/report.py @@ -2,3 +2,19 @@ import requests import json from base64 import b64encode from server.backend.schemas.pydantic import settings +import pandas as pd +auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" +b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + +session = requests.Session() +session.headers.update({ + "Authorization": f"Basic {b64_auth_str}", + "Content-Type": "application/json", + "Accept": "application/json" +}) + +def fetch_contragents(): + response = session.post(settings.URL_REPORT, data=json.dumps(data)) + response.raise_for_status() + return response.status_code + diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index c367759..03dd323 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -1,32 +1,49 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo,settings,Translit from server.backend.api.nomenclature import processing +import datetime import re +def report_date(df, format: str): + cell = str(df.iloc[0, 4]) + match = re.search(r"\d{2}\.\d{2}\.\d{4}", cell) + if not match: + return None + dt = datetime.datetime.strptime(match.group(0), "%d.%m.%Y") + return dt.strftime(format) +def process_sheet(df,real_arti: int,real_quantity: int,real_sum_1: int,real_sum_2: int): + # пропускаем служебные строки + df = df.iloc[2:].reset_index(drop=True) -def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str): - df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values - df = df[(df != 0).all(axis=1)] #drop all 0 values - df[real_sum_1]+=df[real_sum_2] - df = df[[real_arti, real_quantity, real_sum_1]].copy() - df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + # выбираем нужные колонки по индексам + df = df.iloc[:, [real_arti, real_quantity, real_sum_1, real_sum_2]].copy() + df.dropna(inplace=True) + df = df[(df != 0).all(axis=1)] + + # складываем суммы + df.iloc[:, 2] += df.iloc[:, 3] + df = df.iloc[:, [0, 1, 2]] + df.columns = ['arti', 'counts', 'price'] + + # нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) - df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex - df['price'] = df['price'].astype(float) #Float to Int, if exists - df['counts'] = df['counts'].astype(int) #Float to Int, if exists - df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - df = processing(df) #vlookup for ref_keys + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') + df['price'] = df['price'].astype(float) + df['counts'] = df['counts'].astype(int) + + # группировка + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) + df = processing(df) validated_rows, errors = [], [] - for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): try: - validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + validated_rows.append(ExcelInfo(**row.to_dict())) except ValidationError as e: - errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + errors.append((i, e.errors())) if errors: - raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors) + raise Exception("There are some errors with validation in Отчет о реализации", errors) return validated_rows def evaluating(dfs): - validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона - validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')# - return validated_rows_1, validated_rows_2 - -#Добавить проверку с бд по keys \ No newline at end of file + validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti=2,real_quantity=8, real_sum_1=5,real_sum_2=6) # номера столбцов от озона + validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti=2,real_quantity=16, real_sum_1=13,real_sum_2=14)# + date=report_date(dfs["Отчет о реализации"], format=settings.TIMEFORMAT) + return validated_rows_1, validated_rows_2, date \ No newline at end of file diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 40b0fef..a768ac4 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -4,14 +4,19 @@ from server.backend.api.nomenclature import processing import re def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): + #Выборка df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]].copy() + df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index b0a8039..5184c29 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -2,16 +2,25 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo,settings,Translit from server.backend.api.nomenclature import processing import re - +import datetime +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + #Выборка df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]].copy() + df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] @@ -25,4 +34,5 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов - return validated_rows_1 \ No newline at end of file + date = last_day_of_month(settings.TIMEFORMAT) + return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index adda783..fd484ff 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,17 +1,27 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing -import re +import datetime + +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df, document_type:str): + #Выборка df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values df = df[df['Тип документа'] == document_type] #фильтруем по типу документа - df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy() + df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']] df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #Float to Int, if exists df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] @@ -27,10 +37,11 @@ def process_sheet(df, document_type:str): def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Sheet1"], document_type='Продажа') validated_rows_2 = process_sheet(dfs["Sheet1"], document_type='Возврат') + date = last_day_of_month(settings.TIMEFORMAT) # sum_1 = sum(row.price for row in validated_rows_1) # sum_2 = sum(row.price for row in validated_rows_2) # print("Sum for 'Продажа':", sum_1) # print("Sum for 'Возврат':", sum_2) - return validated_rows_1, validated_rows_2 + return validated_rows_1, validated_rows_2, date diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 3f01b04..89c362e 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -4,14 +4,19 @@ from server.backend.api.nomenclature import processing import re def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + #Выборка df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]].copy() + df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float df['counts'] = df['counts'].astype(int) #Float to Int, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index 17c2332..054e74b 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -1,17 +1,26 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing +import datetime import re - +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df, multiply_price=1, sheet_name=''): + #Выборка df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом df = df[(df != 0).all(axis=1)] #drop all 0 values df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic + + #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['price'] = df['price'].astype(float) #To float, if exists df['counts'] = df['counts'].astype(int) #To float, if exists + + #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] @@ -26,4 +35,5 @@ def process_sheet(df, multiply_price=1, sheet_name=''): def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Получено от потребителей"], sheet_name="Получено от потребителей") validated_rows_2 = process_sheet(dfs["Возвращено потребителям"], multiply_price=-1, sheet_name="Возвращено потребителям") - return validated_rows_1, validated_rows_2 \ No newline at end of file + date = last_day_of_month(settings.TIMEFORMAT) + return validated_rows_1, validated_rows_2, date \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 4dd42fd..ac6b70b 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -14,6 +14,7 @@ class ExcelOut(BaseModel): class Settings(BaseSettings): DIR:str PATTERN: str + TIMEFORMAT:str USERNAME: str PASSWORD: str URL_REPORT:str diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 7046ba8..1d2632d 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -29,7 +29,7 @@ class YandexHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") # вызываем функцию evaluating validated_data = yandex_handler.evaluating(dfs) - print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class WBHandler(BaseHandler): def process(self): @@ -38,17 +38,16 @@ class WBHandler(BaseHandler): if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_handler.evaluating(dfs) - print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") + print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class OZONHandler(BaseHandler): def process(self): #Доставать № документа и дату - dfs = self.read(skiprows=14, skipfooter=17) + dfs = self.read(skiprows=[0,3,4,5,6,7,8,9,10,11,12,13], skipfooter=17) if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_handler.evaluating(dfs) - print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты") - + print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class OZONPurchasesHandler(BaseHandler): def process(self): #доставать дату и номер документа @@ -64,7 +63,7 @@ class WBPurchasesHandler(BaseHandler): if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_purchases_handler.evaluating(dfs) - print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация", validated_data) + print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация") class OZONComHandler(BaseHandler): def process(self): @@ -77,7 +76,7 @@ class OZONComHandler(BaseHandler): if cont != "«Интернет решения» ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data), "Реализация") + print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") class WBComHandler(BaseHandler): def process(self): @@ -90,7 +89,7 @@ class WBComHandler(BaseHandler): if cont != '"Вайлдберриз" ООО': raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data), "Реализация") + print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") class YandexComHandler(BaseHandler): def process(self): @@ -103,5 +102,5 @@ class YandexComHandler(BaseHandler): if cont != "Яндекс Маркет ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data), "Реализация") + print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") -- 2.49.1 From 915103766b83dbca1cf23f66daec2aa2ba3f8555 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Tue, 6 Jan 2026 15:56:16 +0300 Subject: [PATCH 21/28] date 1.1 --- env_example | 1 + server/backend/handlers/ozon_handler.py | 16 ++----- .../handlers/ozon_purchases_handler.py | 46 +++++++++++++------ .../backend/handlers/wb_purchases_handler.py | 28 +++++++---- server/backend/schemas/pydantic.py | 2 +- server/backend/services/excel.py | 10 ++-- 6 files changed, 62 insertions(+), 41 deletions(-) diff --git a/env_example b/env_example index d268cbb..68e980f 100644 --- a/env_example +++ b/env_example @@ -1,5 +1,6 @@ DIR="/dir/dir/dir" PATTERN=[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{0,1} +TIMEFORMAT="%Y-%m-%dT%H:%M:%S" USERNAME = "..." PASSWORD = "..." diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index 03dd323..e6520a1 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -3,17 +3,11 @@ from server.backend.schemas.pydantic import ExcelInfo,settings,Translit from server.backend.api.nomenclature import processing import datetime import re -def report_date(df, format: str): - cell = str(df.iloc[0, 4]) - match = re.search(r"\d{2}\.\d{2}\.\d{4}", cell) - if not match: - return None - dt = datetime.datetime.strptime(match.group(0), "%d.%m.%Y") - return dt.strftime(format) +def last_day_of_month(format: str): + next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) + last_day = next_month - datetime.timedelta(days=next_month.day) + return last_day.strftime(format) def process_sheet(df,real_arti: int,real_quantity: int,real_sum_1: int,real_sum_2: int): - # пропускаем служебные строки - df = df.iloc[2:].reset_index(drop=True) - # выбираем нужные колонки по индексам df = df.iloc[:, [real_arti, real_quantity, real_sum_1, real_sum_2]].copy() df.dropna(inplace=True) @@ -45,5 +39,5 @@ def process_sheet(df,real_arti: int,real_quantity: int,real_sum_1: int,real_sum_ def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti=2,real_quantity=8, real_sum_1=5,real_sum_2=6) # номера столбцов от озона validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti=2,real_quantity=16, real_sum_1=13,real_sum_2=14)# - date=report_date(dfs["Отчет о реализации"], format=settings.TIMEFORMAT) + date=last_day_of_month(format=settings.TIMEFORMAT) return validated_rows_1, validated_rows_2, date \ No newline at end of file diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index a768ac4..9d723ba 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -2,31 +2,47 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing import re - +import datetime +import re +import datetime +def report_date(df, format: str): + row_text = " ".join(df.iloc[0].astype(str)) + match = re.search(r"по\s+(\d{2}\.\d{2}\.\d{4})", row_text) + if not match: + return None + dt = datetime.datetime.strptime(match.group(1), "%d.%m.%Y") + return dt.strftime(format) def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): - #Выборка - df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values - df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]] - df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic + df = df.iloc[2:].reset_index(drop=True) - #Нормализация + # выбор нужных столбцов ПО ПОЗИЦИИ + df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() + df = df[(df != 0).all(axis=1)] + + # сразу задаём нужные имена + df.columns = ['arti', 'counts', 'price'] + + # нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) - df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex - df['price'] = df['price'].astype(float) #Float to Int, if exists - df['counts'] = df['counts'].astype(int) #Float to Int, if exists + df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') + df['price'] = df['price'].astype(float) + df['counts'] = df['counts'].astype(int) #Группировка df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] - for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки + for i, row in df.iterrows(): try: - validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict + validated_rows.append(ExcelInfo(**row.to_dict())) except ValidationError as e: - errors.append((i, e.errors())) #выводит ошибку и пишет номер строки + errors.append((i, e.errors())) if errors: - raise Exception(f"There are some errors with validation in Отчет о выкупленных товарах, check it ", errors) + raise Exception( + "There are some errors with validation in Отчет о выкупленных товарах", + errors + ) return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона - return validated_rows_1 \ No newline at end of file + date=report_date(dfs["Отчет о выкупленных товарах"], format=settings.TIMEFORMAT) + return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 89c362e..1c58ebb 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -2,14 +2,22 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing import re - +import datetime +def report_date(df, format: str): + row_text = " ".join(df.iloc[0].astype(str)) + match = re.search(r"\d{4}-\d{2}-\d{2}", row_text) + if not match: + return None + dt = datetime.datetime.strptime(match.group(0), "%Y-%m-%d") + return dt.strftime(format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + df = df.iloc[2:].reset_index(drop=True) #Выборка - df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() + #df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]] - df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - + #df = df[[real_arti, real_quantity, real_sum_1]] + df.rename(columns={"Unnamed: 1": 'arti', "Unnamed: 3": 'counts', "Unnamed: 4": 'price'}, inplace=True) #переименовываем для pydantic #Нормализация df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) @@ -18,7 +26,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - df = processing(df) #vlookup for ref_keys + #df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: @@ -29,6 +37,8 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) return validated_rows def evaluating(dfs): - validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., -(вкл. НДС)''') # номера столбцов от озона - return validated_rows_1 \ No newline at end of file +# validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., +# (вкл. НДС)''') # номера столбцов от озона + validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti=1,real_quantity=3, real_sum_1=4) # номера столбцов от озона + date=report_date(dfs["Sheet1"], format=settings.TIMEFORMAT) + return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index ac6b70b..3ada5e7 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -4,7 +4,7 @@ class ExcelInfo(BaseModel): arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") - ref_key:str = Field(..., description="reffering key from db") + #ref_key:str = Field(..., description="reffering key from db") class ExcelRealization(BaseModel): pass class ExcelReturning(BaseModel): diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 1d2632d..fe8d07e 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -43,7 +43,7 @@ class WBHandler(BaseHandler): class OZONHandler(BaseHandler): def process(self): #Доставать № документа и дату - dfs = self.read(skiprows=[0,3,4,5,6,7,8,9,10,11,12,13], skipfooter=17) + dfs = self.read(skiprows=14, skipfooter=17) if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_handler.evaluating(dfs) @@ -51,19 +51,19 @@ class OZONHandler(BaseHandler): class OZONPurchasesHandler(BaseHandler): def process(self): #доставать дату и номер документа - dfs = self.read(skiprows=12, skipfooter=1) + dfs = self.read(skiprows=[0,3,4,5,6,7,8,9,10,11], skipfooter=1) if "Отчет о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_purchases_handler.evaluating(dfs) - print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация") + print("Выкупы OZON завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") class WBPurchasesHandler(BaseHandler): def process(self): - dfs = self.read(skiprows=9, skipfooter=7) + dfs = self.read(skiprows=[0,3,4,5,6,7,8], skipfooter=7) if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_purchases_handler.evaluating(dfs) - print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация") + print("Выкупы WB завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата" ) class OZONComHandler(BaseHandler): def process(self): -- 2.49.1 From b184dbb234058d0326ac8ee782ba7d27fa917bb9 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Tue, 6 Jan 2026 15:57:12 +0300 Subject: [PATCH 22/28] date 1.2 --- server/backend/handlers/wb_purchases_handler.py | 4 +--- server/backend/schemas/pydantic.py | 2 +- 2 files changed, 2 insertions(+), 4 deletions(-) diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 1c58ebb..1452ba4 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -14,9 +14,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df.iloc[2:].reset_index(drop=True) #Выборка df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() - #df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - #df = df[[real_arti, real_quantity, real_sum_1]] df.rename(columns={"Unnamed: 1": 'arti', "Unnamed: 3": 'counts', "Unnamed: 4": 'price'}, inplace=True) #переименовываем для pydantic #Нормализация df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex @@ -26,7 +24,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - #df = processing(df) #vlookup for ref_keys + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 3ada5e7..ac6b70b 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -4,7 +4,7 @@ class ExcelInfo(BaseModel): arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") - #ref_key:str = Field(..., description="reffering key from db") + ref_key:str = Field(..., description="reffering key from db") class ExcelRealization(BaseModel): pass class ExcelReturning(BaseModel): -- 2.49.1 From 58e6ef2d98ed740e4021025a06922b3c43368103 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Tue, 6 Jan 2026 18:06:34 +0300 Subject: [PATCH 23/28] api 1.5 --- server/backend/api/companies.py | 8 ++----- server/backend/api/contractors.py | 17 ++++++--------- server/backend/api/nomenclature.py | 15 ++++++------- server/backend/api/realisation.py | 34 +++++++++++++++++++----------- server/backend/api/report.py | 34 +++++++++++++++++++----------- server/backend/api/session.py | 20 ++++++++++++++++++ server/backend/api/storages.py | 17 ++++++--------- server/backend/schemas/pydantic.py | 16 ++++++++++---- server/backend/services/excel.py | 19 ++++++++++++----- 9 files changed, 112 insertions(+), 68 deletions(-) create mode 100644 server/backend/api/session.py diff --git a/server/backend/api/companies.py b/server/backend/api/companies.py index 822978e..40ad4ef 100644 --- a/server/backend/api/companies.py +++ b/server/backend/api/companies.py @@ -3,13 +3,9 @@ import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings import pandas as pd +from server.backend.api.session import get_session -auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" -b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") - -session = requests.Session() -session.headers.update({ - "Authorization": f"Basic {b64_auth_str}", +session = get_session({ "Accept": "application/xml", }) diff --git a/server/backend/api/contractors.py b/server/backend/api/contractors.py index d2afa40..12e63f2 100644 --- a/server/backend/api/contractors.py +++ b/server/backend/api/contractors.py @@ -3,22 +3,19 @@ import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings import pandas as pd +from server.backend.api.session import get_session -auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" -b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") - -session = requests.Session() -session.headers.update({ - "Authorization": f"Basic {b64_auth_str}", +session = get_session({ "Accept": "application/xml", }) -def fetch_contragents(): + +def fetch_companies(): response = session.get(settings.URL_CONTRACTORS, timeout=10) response.raise_for_status() return response.text -def parse_contragents(xml: str): +def parse_companies(xml: str): try: NS = { "atom": "http://www.w3.org/2005/Atom", @@ -45,6 +42,6 @@ def parse_contragents(xml: str): except ET.ParseError: raise def contractor(): - xml_data = fetch_contragents() - root = parse_contragents(xml_data) + xml_data = fetch_companies() + root = parse_companies(xml_data) root.to_excel("./excel_files/contractors.xlsx") \ No newline at end of file diff --git a/server/backend/api/nomenclature.py b/server/backend/api/nomenclature.py index 71f3953..7969b30 100644 --- a/server/backend/api/nomenclature.py +++ b/server/backend/api/nomenclature.py @@ -4,21 +4,18 @@ from base64 import b64encode from server.backend.schemas.pydantic import settings from functools import lru_cache import pandas as pd -auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" -b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") +from server.backend.api.session import get_session -session = requests.Session() -session.headers.update({ - "Authorization": f"Basic {b64_auth_str}", +session = get_session({ "Accept": "application/xml", }) -def fetch_contragents(): +def fetch_nomenclature(): response = session.get(settings.URL_NOMENCLATURE, timeout=10) response.raise_for_status() return response.text -def parse_contragents(xml: str): +def parse_nomenclature(xml: str): try: NS = { "atom": "http://www.w3.org/2005/Atom", @@ -45,8 +42,8 @@ def parse_contragents(xml: str): raise @lru_cache(maxsize=1) def nomenclature(flag=False): - xml_data = fetch_contragents() - root = parse_contragents(xml_data) + xml_data = fetch_nomenclature() + root = parse_nomenclature(xml_data) if flag: root.to_excel("./excel_files/nomenclature.xlsx") return root diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py index 0057c07..72127da 100644 --- a/server/backend/api/realisation.py +++ b/server/backend/api/realisation.py @@ -1,20 +1,30 @@ import requests import json -from base64 import b64encode -from server.backend.schemas.pydantic import settings import pandas as pd -auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" -b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") +from server.backend.schemas.pydantic import settings, CreateDocumentParams +from server.backend.api.session import get_session -session = requests.Session() -session.headers.update({ - "Authorization": f"Basic {b64_auth_str}", +session = get_session({ "Content-Type": "application/json", - "Accept": "application/json" + "Accept": "application/json", }) -def fetch_contragents(): - response = session.post(settings.URL_REPORT, data=json.dumps(data)) - response.raise_for_status() - return response.status_code +def create_document(params: CreateDocumentParams) -> int: + data = { + "Дата": params.DATE, + #"ВидОперации": params.OPERATION, + "Организация_Key": settings.COMPANY, + "Контрагент_Key": params.CONTRACTOR, + "Склад_Key": settings.STORE, + "ДоговорКонтрагента_Key": params.CONTRACT, + "ДокументБезНДС": "false", + "СуммаВключаетНДС": "true", + "СчетУчетаРасчетовЗаПосредническиеУслуги_Key": params.ACCOUNT_INTERMEDIARY_SERVICES, + "СчетУчетаРасчетовПоАвансамПолученным_Key": params.ACCOUNT_ADVANCES_RECEIVED, + "СчетУчетаРасчетовПоАвансамВыданным_Key": params.ACCOUNT_ADVANCES_ISSUED, + "СчетУчетаРасчетовСКонтрагентом_Key": params.ACCOUNT_WITH_COUNTERPARTY, + } + response = session.post(settings.URL_REALISATION, json=data) + response.raise_for_status() + return response.status_code \ No newline at end of file diff --git a/server/backend/api/report.py b/server/backend/api/report.py index 0057c07..c15ad74 100644 --- a/server/backend/api/report.py +++ b/server/backend/api/report.py @@ -1,20 +1,30 @@ import requests import json -from base64 import b64encode -from server.backend.schemas.pydantic import settings import pandas as pd -auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" -b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") +from server.backend.schemas.pydantic import settings, CreateDocumentParams +from server.backend.api.session import get_session -session = requests.Session() -session.headers.update({ - "Authorization": f"Basic {b64_auth_str}", +session = get_session({ "Content-Type": "application/json", - "Accept": "application/json" + "Accept": "application/json", }) -def fetch_contragents(): - response = session.post(settings.URL_REPORT, data=json.dumps(data)) - response.raise_for_status() - return response.status_code +def create_document(params: CreateDocumentParams) -> int: + data = { + "Дата": params.DATE, + "ВидОперации": params.OPERATION, + "Организация_Key": settings.COMPANY, + "Контрагент_Key": params.CONTRACTOR, + "Склад_Key": settings.STORE, + "ДоговорКонтрагента_Key": params.CONTRACT, + "ДокументБезНДС": "false", + "СуммаВключаетНДС": "true", + "СчетУчетаРасчетовЗаПосредническиеУслуги_Key": params.ACCOUNT_INTERMEDIARY_SERVICES, + "СчетУчетаРасчетовПоАвансамПолученным_Key": params.ACCOUNT_ADVANCES_RECEIVED, + "СчетУчетаРасчетовПоАвансамВыданным_Key": params.ACCOUNT_ADVANCES_ISSUED, + "СчетУчетаРасчетовСКонтрагентом_Key": params.ACCOUNT_WITH_COUNTERPARTY, + } + response = session.post(settings.URL_REPORT, json=data) + response.raise_for_status() + return response.status_code \ No newline at end of file diff --git a/server/backend/api/session.py b/server/backend/api/session.py new file mode 100644 index 0000000..0405704 --- /dev/null +++ b/server/backend/api/session.py @@ -0,0 +1,20 @@ +import requests +from base64 import b64encode +from server.backend.schemas.pydantic import settings +def get_session(extra_headers=None): + """ + Создаёт и возвращает requests.Session с базовой авторизацией. + Можно менять username, password и добавлять дополнительные заголовки. + """ + session = requests.Session() + auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" + b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") + + headers = { + "Authorization": f"Basic {b64_auth_str}", + "Accept": "application/json" + } + if extra_headers: + headers.update(extra_headers) + session.headers.update(headers) + return session \ No newline at end of file diff --git a/server/backend/api/storages.py b/server/backend/api/storages.py index 77122cd..4205ef1 100644 --- a/server/backend/api/storages.py +++ b/server/backend/api/storages.py @@ -3,22 +3,19 @@ import xml.etree.ElementTree as ET from base64 import b64encode from server.backend.schemas.pydantic import settings import pandas as pd +from server.backend.api.session import get_session -auth_str = f"{settings.USERNAME}:{settings.PASSWORD}" -b64_auth_str = b64encode(auth_str.encode("utf-8")).decode("utf-8") - -session = requests.Session() -session.headers.update({ - "Authorization": f"Basic {b64_auth_str}", +session = get_session({ "Accept": "application/xml", }) -def fetch_contragents(): + +def fetch_stores(): response = session.get(settings.URL_STORAGES, timeout=10) response.raise_for_status() return response.text -def parse_contragents(xml: str): +def parse_stores(xml: str): try: NS = { "atom": "http://www.w3.org/2005/Atom", @@ -41,6 +38,6 @@ def parse_contragents(xml: str): except ET.ParseError: raise def storages(): - xml_data = fetch_contragents() - root = parse_contragents(xml_data) + xml_data = fetch_stores() + root = parse_stores(xml_data) root.to_excel("./excel_files/storages.xlsx") \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index ac6b70b..0903e53 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -29,9 +29,9 @@ class Settings(BaseSettings): CONTRAGENT_RWB:str CONTRAGENT_OZON:str CONTRAGENT_YANDEX:str - CONTRACT_RWB0:str - CONTRACT_RWB1:str - CONTRACT_RWB2:str + CONTRACT_RWB:str + CONTRACT_YAN:str + CONTRACT_OZON:str MEASURE:str A60_01:str A62_02:str @@ -60,5 +60,13 @@ class Translit(): 'Т': 'T', 'Х': 'X', } - +class CreateDocumentParams(BaseModel): + DATE: str = Field(..., min_length=1) + OPERATION: str = Field(..., min_length=1) + CONTRACTOR: str = Field(..., min_length=1) + CONTRACT: str = Field(..., min_length=1) + ACCOUNT_INTERMEDIARY_SERVICES: str = Field(..., min_length=1) + ACCOUNT_ADVANCES_RECEIVED: str = Field(..., min_length=1) + ACCOUNT_ADVANCES_ISSUED: str = Field(..., min_length=1) + ACCOUNT_WITH_COUNTERPARTY: str = Field(..., min_length=1) settings = Settings() \ No newline at end of file diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index fe8d07e..99df4b3 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -5,6 +5,7 @@ import server.backend.handlers.ozon_handler as ozon_handler import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler import server.backend.handlers.wb_purchases_handler as wb_purchases_handler import server.backend.handlers.ozon_wb_yandex_com_handler as ozon_wb_yandex_com_handler +from server.backend.schemas.pydantic import settings, CreateDocumentParams class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -21,8 +22,6 @@ class BaseHandler: class YandexHandler(BaseHandler): def process(self): - # читаем Excel внутри объекта - #доставать дату dfs = self.read(skiprows=[0,1,3]) # проверяем наличие нужных листов if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs: @@ -30,11 +29,13 @@ class YandexHandler(BaseHandler): # вызываем функцию evaluating validated_data = yandex_handler.evaluating(dfs) print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") + status = create_document(params) + print(status) + class WBHandler(BaseHandler): def process(self): dfs = self.read() - #доставать дату по месяцу и просто день ставить последний if "Sheet1" not in dfs : raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_handler.evaluating(dfs) @@ -42,7 +43,6 @@ class WBHandler(BaseHandler): class OZONHandler(BaseHandler): def process(self): - #Доставать № документа и дату dfs = self.read(skiprows=14, skipfooter=17) if "Отчет о реализации" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") @@ -50,12 +50,21 @@ class OZONHandler(BaseHandler): print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") class OZONPurchasesHandler(BaseHandler): def process(self): - #доставать дату и номер документа dfs = self.read(skiprows=[0,3,4,5,6,7,8,9,10,11], skipfooter=1) if "Отчет о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_purchases_handler.evaluating(dfs) print("Выкупы OZON завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") + params = CreateDocumentParams( + DATE=validated_data[1], + OPERATION="ВыкупТоваровКомиссионером", + CONTRACTOR=settings.CONTRAGENT_OZON, + CONTRACT=settings.CONTRACT_OZON, + ACCOUNT_INTERMEDIARY_SERVICES=settings.A60_01, + ACCOUNT_ADVANCES_RECEIVED=settings.A62_02, + ACCOUNT_ADVANCES_ISSUED=settings.A60_02, + ACCOUNT_WITH_COUNTERPARTY=settings.A62_01) + print(params) class WBPurchasesHandler(BaseHandler): def process(self): -- 2.49.1 From e22abc80578d776bfc7d26d03f08b43086312caf Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Tue, 6 Jan 2026 18:55:47 +0300 Subject: [PATCH 24/28] date 1.3 --- server/backend/api/realisation.py | 16 ++++++------ .../handlers/ozon_purchases_handler.py | 8 +++--- .../handlers/ozon_wb_yandex_com_handler.py | 14 ++++++----- server/backend/handlers/wb_handler.py | 4 +-- .../backend/handlers/wb_purchases_handler.py | 8 +++--- server/backend/schemas/pydantic.py | 11 +------- server/backend/services/excel.py | 25 ++++++------------- 7 files changed, 34 insertions(+), 52 deletions(-) diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py index 72127da..f6866ff 100644 --- a/server/backend/api/realisation.py +++ b/server/backend/api/realisation.py @@ -9,20 +9,20 @@ session = get_session({ "Accept": "application/json", }) -def create_document(params: CreateDocumentParams) -> int: +def create_document(**kwargs) -> int: data = { - "Дата": params.DATE, + "Дата": DATE, #"ВидОперации": params.OPERATION, "Организация_Key": settings.COMPANY, - "Контрагент_Key": params.CONTRACTOR, + "Контрагент_Key": CONTRACTOR, "Склад_Key": settings.STORE, - "ДоговорКонтрагента_Key": params.CONTRACT, + "ДоговорКонтрагента_Key": CONTRACT, "ДокументБезНДС": "false", "СуммаВключаетНДС": "true", - "СчетУчетаРасчетовЗаПосредническиеУслуги_Key": params.ACCOUNT_INTERMEDIARY_SERVICES, - "СчетУчетаРасчетовПоАвансамПолученным_Key": params.ACCOUNT_ADVANCES_RECEIVED, - "СчетУчетаРасчетовПоАвансамВыданным_Key": params.ACCOUNT_ADVANCES_ISSUED, - "СчетУчетаРасчетовСКонтрагентом_Key": params.ACCOUNT_WITH_COUNTERPARTY, + "СчетУчетаРасчетовЗаПосредническиеУслуги_Key": ACCOUNT_INTERMEDIARY_SERVICES, + "СчетУчетаРасчетовПоАвансамПолученным_Key": ACCOUNT_ADVANCES_RECEIVED, + "СчетУчетаРасчетовПоАвансамВыданным_Key": ACCOUNT_ADVANCES_ISSUED, + "СчетУчетаРасчетовСКонтрагентом_Key": ACCOUNT_WITH_COUNTERPARTY, } response = session.post(settings.URL_REALISATION, json=data) diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 9d723ba..40f0172 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -5,13 +5,13 @@ import re import datetime import re import datetime -def report_date(df, format: str): +def report_date(df, date_format: str): row_text = " ".join(df.iloc[0].astype(str)) match = re.search(r"по\s+(\d{2}\.\d{2}\.\d{4})", row_text) if not match: - return None + raise ValueError("There is no date in ozon_purchase_handler") dt = datetime.datetime.strptime(match.group(1), "%d.%m.%Y") - return dt.strftime(format) + return dt.strftime(date_format) def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df = df.iloc[2:].reset_index(drop=True) @@ -44,5 +44,5 @@ def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): return validated_rows def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона - date=report_date(dfs["Отчет о выкупленных товарах"], format=settings.TIMEFORMAT) + date=report_date(dfs["Отчет о выкупленных товарах"], date_format=settings.TIMEFORMAT) return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index 5184c29..4ed21ca 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -8,12 +8,13 @@ def last_day_of_month(format: str): last_day = next_month - datetime.timedelta(days=next_month.day) return last_day.strftime(format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): + df= df.iloc[2:].reset_index(drop=True) #Выборка - df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values + df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() + #df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - df = df[[real_arti, real_quantity, real_sum_1]] - df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic - + #df = df[[real_arti, real_quantity, real_sum_1]] + df.columns = ['arti', 'counts', 'price'] #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) df['arti'] = df['arti'].astype(str).str.upper().str.extract(f'({settings.PATTERN})') #arti под regex @@ -22,7 +23,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - df = processing(df) #vlookup for ref_keys + #df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: @@ -33,6 +34,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): raise Exception(f"There are some errors with validation in Лист_1, check it ", errors) return validated_rows def evaluating(dfs): - validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов + #validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов + validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti=0,real_quantity=4, real_sum_1=8) date = last_day_of_month(settings.TIMEFORMAT) return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index fd484ff..d321703 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -3,10 +3,10 @@ from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing import datetime -def last_day_of_month(format: str): +def last_day_of_month(date_format: str): next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) last_day = next_month - datetime.timedelta(days=next_month.day) - return last_day.strftime(format) + return last_day.strftime(date_format) def process_sheet(df, document_type:str): #Выборка df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index 1452ba4..f51e268 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -3,13 +3,13 @@ from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing import re import datetime -def report_date(df, format: str): +def report_date(df, date_format: str): row_text = " ".join(df.iloc[0].astype(str)) match = re.search(r"\d{4}-\d{2}-\d{2}", row_text) if not match: - return None + raise ValueError("There is no date in ozon_purchase_handler") dt = datetime.datetime.strptime(match.group(0), "%Y-%m-%d") - return dt.strftime(format) + return dt.strftime(date_format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df = df.iloc[2:].reset_index(drop=True) #Выборка @@ -38,5 +38,5 @@ def evaluating(dfs): # validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., # (вкл. НДС)''') # номера столбцов от озона validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti=1,real_quantity=3, real_sum_1=4) # номера столбцов от озона - date=report_date(dfs["Sheet1"], format=settings.TIMEFORMAT) + date=report_date(dfs["Sheet1"], date_format=settings.TIMEFORMAT) return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 0903e53..5cca9fc 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -4,7 +4,7 @@ class ExcelInfo(BaseModel): arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") - ref_key:str = Field(..., description="reffering key from db") + #ref_key:str = Field(..., description="reffering key from db") class ExcelRealization(BaseModel): pass class ExcelReturning(BaseModel): @@ -60,13 +60,4 @@ class Translit(): 'Т': 'T', 'Х': 'X', } -class CreateDocumentParams(BaseModel): - DATE: str = Field(..., min_length=1) - OPERATION: str = Field(..., min_length=1) - CONTRACTOR: str = Field(..., min_length=1) - CONTRACT: str = Field(..., min_length=1) - ACCOUNT_INTERMEDIARY_SERVICES: str = Field(..., min_length=1) - ACCOUNT_ADVANCES_RECEIVED: str = Field(..., min_length=1) - ACCOUNT_ADVANCES_ISSUED: str = Field(..., min_length=1) - ACCOUNT_WITH_COUNTERPARTY: str = Field(..., min_length=1) settings = Settings() \ No newline at end of file diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 99df4b3..7203584 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -29,8 +29,6 @@ class YandexHandler(BaseHandler): # вызываем функцию evaluating validated_data = yandex_handler.evaluating(dfs) print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") - status = create_document(params) - print(status) class WBHandler(BaseHandler): @@ -55,16 +53,6 @@ class OZONPurchasesHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_purchases_handler.evaluating(dfs) print("Выкупы OZON завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") - params = CreateDocumentParams( - DATE=validated_data[1], - OPERATION="ВыкупТоваровКомиссионером", - CONTRACTOR=settings.CONTRAGENT_OZON, - CONTRACT=settings.CONTRACT_OZON, - ACCOUNT_INTERMEDIARY_SERVICES=settings.A60_01, - ACCOUNT_ADVANCES_RECEIVED=settings.A62_02, - ACCOUNT_ADVANCES_ISSUED=settings.A60_02, - ACCOUNT_WITH_COUNTERPARTY=settings.A62_01) - print(params) class WBPurchasesHandler(BaseHandler): def process(self): @@ -75,13 +63,14 @@ class WBPurchasesHandler(BaseHandler): print("Выкупы WB завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата" ) class OZONComHandler(BaseHandler): + #Убрать двойной вызов pd.read def process(self): dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - df = dfs["Лист_1"] + df = dfs["Лист_1"] + # контрагент cont = df.iloc[1, 0] - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2],skipfooter=1) if cont != "«Интернет решения» ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) @@ -92,9 +81,9 @@ class WBComHandler(BaseHandler): dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - df = dfs["Лист_1"] + df = dfs["Лист_1"] + # контрагент cont = df.iloc[1, 0] - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1) if cont != '"Вайлдберриз" ООО': raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) @@ -105,9 +94,9 @@ class YandexComHandler(BaseHandler): dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - df = dfs["Лист_1"] + df = dfs["Лист_1"] + # контрагент cont = df.iloc[1, 0] - dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1) if cont != "Яндекс Маркет ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) -- 2.49.1 From 9980c1f002981ca644d813501e8e4a5ebd76fe0a Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Thu, 8 Jan 2026 17:51:12 +0300 Subject: [PATCH 25/28] api 1.6 --- server/backend/api/realisation.py | 186 +++++++++++++++--- .../handlers/ozon_purchases_handler.py | 6 +- .../handlers/ozon_wb_yandex_com_handler.py | 2 +- .../backend/handlers/wb_purchases_handler.py | 2 - server/backend/schemas/pydantic.py | 8 +- server/backend/services/excel.py | 157 +++++++++++++-- server/backend/services/validating_files.py | 2 +- 7 files changed, 316 insertions(+), 47 deletions(-) diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py index f6866ff..4eb4bec 100644 --- a/server/backend/api/realisation.py +++ b/server/backend/api/realisation.py @@ -1,30 +1,170 @@ import requests import json import pandas as pd -from server.backend.schemas.pydantic import settings, CreateDocumentParams +from server.backend.schemas.pydantic import settings from server.backend.api.session import get_session -session = get_session({ - "Content-Type": "application/json", - "Accept": "application/json", -}) +class DocumentCreation: + def __init__(self, URL): + self.session = get_session({ + "Content-Type": "application/json", + "Accept": "application/json", + }) + self.url = URL -def create_document(**kwargs) -> int: - data = { - "Дата": DATE, - #"ВидОперации": params.OPERATION, - "Организация_Key": settings.COMPANY, - "Контрагент_Key": CONTRACTOR, - "Склад_Key": settings.STORE, - "ДоговорКонтрагента_Key": CONTRACT, - "ДокументБезНДС": "false", - "СуммаВключаетНДС": "true", - "СчетУчетаРасчетовЗаПосредническиеУслуги_Key": ACCOUNT_INTERMEDIARY_SERVICES, - "СчетУчетаРасчетовПоАвансамПолученным_Key": ACCOUNT_ADVANCES_RECEIVED, - "СчетУчетаРасчетовПоАвансамВыданным_Key": ACCOUNT_ADVANCES_ISSUED, - "СчетУчетаРасчетовСКонтрагентом_Key": ACCOUNT_WITH_COUNTERPARTY, - } + def save_key_txt(self, document_key: str, filename: str = "./excel_files/documents.txt"): + with open(filename, "a", encoding="utf-8") as f: + f.write(document_key + "\n") - response = session.post(settings.URL_REALISATION, json=data) - response.raise_for_status() - return response.status_code \ No newline at end of file + def build_dict(self, **kwargs) -> dict: + return dict(kwargs) + + def create_document(self, **kwargs) -> str: + data = self.build_dict(**kwargs) + + self.contragent = kwargs.get("Контрагент_Key") + response = self.session.post(self.url, json=data) + response.raise_for_status() + result = response.json() + document_key = result.get("Ref_Key") or result.get("Ссылка_Key") + + if not document_key: + raise RuntimeError(f"Не удалось получить ключ документа: {result}") + + self.save_key_txt(document_key) + return document_key + + def fill_document_items_purchase(self, document_key: str, validated_rows: list): + line_url = f"{self.url}({document_key})" + + response = self.session.get(line_url) + response.raise_for_status() + document_data = response.json() + + items = document_data.get("Товары", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A45_02, + "СчетДоходов_Key": settings.A90_01_1, + "СчетРасходов_Key": settings.A90_02_1, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + "СчетУчетаНДСПоРеализации_Key": settings.A90_03, + } + items.append(new_item) + + document_data["Товары"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + def fill_document_items_to_real(self, document_key: str, validated_rows: list): + line_url = f"{self.url}({document_key})" + + response = self.session.get(line_url) + response.raise_for_status() + document_data = response.json() + + items = document_data.get("Товары", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A43, + "ПереданныеСчетУчета_Key": settings.A45_02, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + } + items.append(new_item) + + document_data["Товары"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() +def fill_document_items_report(self, document_key:str, validated_rows:list): + line_url = f"{self.url}({document_key})" + + response = self.session.get(line_url) + response.raise_for_status() + document_data = response.json() + items = document_data.get("Покупатели",[]) + new_item={ + "LineNumber": str(len(items) + 1), + "Покупатель_Key": self.contragent + } + items.append(new_item) + document_data["Покупатели"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + + items = document_data.get("Товары", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A45_02, + "СчетДоходов_Key": settings.A90_01_1, + "СчетРасходов_Key": settings.A90_02_1, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + "СчетУчетаНДСПоРеализации_Key": settings.A90_03, + } + items.append(new_item) + + document_data["Товары"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + + items = document_data.get("Возвраты", []) + new_item = { + "LineNumber": str(len(items) + 1), + "Покупатель_Key": settings.BUYER + } + items.append(new_item) + document_data["Возвраты"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + + + items = document_data.get("ТоварыВозвращенные", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A45_02, + "СчетДоходов_Key": settings.A90_01_1, + "СчетРасходов_Key": settings.A90_02_1, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + "СчетУчетаНДСПоРеализации_Key": settings.A90_03, + "Себестоимость": 100, + "ОтражениеВУСН": "Принимаются", + } + items.append(new_item) + + document_data["ТоварыВозвращенные"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() \ No newline at end of file diff --git a/server/backend/handlers/ozon_purchases_handler.py b/server/backend/handlers/ozon_purchases_handler.py index 40f0172..24a1d34 100644 --- a/server/backend/handlers/ozon_purchases_handler.py +++ b/server/backend/handlers/ozon_purchases_handler.py @@ -14,7 +14,6 @@ def report_date(df, date_format: str): return dt.strftime(date_format) def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df = df.iloc[2:].reset_index(drop=True) - # выбор нужных столбцов ПО ПОЗИЦИИ df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() df = df[(df != 0).all(axis=1)] @@ -29,6 +28,7 @@ def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): df['counts'] = df['counts'].astype(int) #Группировка + df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): @@ -43,6 +43,6 @@ def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int): ) return validated_rows def evaluating(dfs): - validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона - date=report_date(dfs["Отчет о выкупленных товарах"], date_format=settings.TIMEFORMAT) + validated_rows_1 = process_sheet(dfs["Отчёт о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11) # номера столбцов от озона + date=report_date(dfs["Отчёт о выкупленных товарах"], date_format=settings.TIMEFORMAT) return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index 4ed21ca..00c4f6c 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -23,7 +23,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): #Группировка df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping - #df = processing(df) #vlookup for ref_keys + df = processing(df) #vlookup for ref_keys validated_rows, errors = [], [] for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки try: diff --git a/server/backend/handlers/wb_purchases_handler.py b/server/backend/handlers/wb_purchases_handler.py index f51e268..9fbd847 100644 --- a/server/backend/handlers/wb_purchases_handler.py +++ b/server/backend/handlers/wb_purchases_handler.py @@ -35,8 +35,6 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): raise Exception(f"There are some errors with validation in Sheet1, check it ", errors) return validated_rows def evaluating(dfs): -# validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti='Артикул',real_quantity="Количество", real_sum_1='''Сумма выкупа, руб., -# (вкл. НДС)''') # номера столбцов от озона validated_rows_1 = process_sheet(dfs["Sheet1"], real_arti=1,real_quantity=3, real_sum_1=4) # номера столбцов от озона date=report_date(dfs["Sheet1"], date_format=settings.TIMEFORMAT) return validated_rows_1, date \ No newline at end of file diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 5cca9fc..4023708 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -4,7 +4,7 @@ class ExcelInfo(BaseModel): arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes") counts:int = Field(..., gt=0, description="the quantity of the clothes") price:float = Field(..., gt=0, description="the price of the clothes") - #ref_key:str = Field(..., description="reffering key from db") + ref_key:str = Field(..., description="reffering key from db") class ExcelRealization(BaseModel): pass class ExcelReturning(BaseModel): @@ -42,6 +42,12 @@ class Settings(BaseSettings): A90_02_1:str A90_03:str A76_09:str + A44_01:str + A19_04:str + TYPE1:str + TYPE2:str + TYPE3:str + TYPE4:str model_config = SettingsConfigDict( env_file=".env", env_file_encoding="utf-8" diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 7203584..0ee465c 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -5,7 +5,8 @@ import server.backend.handlers.ozon_handler as ozon_handler import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler import server.backend.handlers.wb_purchases_handler as wb_purchases_handler import server.backend.handlers.ozon_wb_yandex_com_handler as ozon_wb_yandex_com_handler -from server.backend.schemas.pydantic import settings, CreateDocumentParams +from server.backend.schemas.pydantic import settings +from server.backend.api.realisation import fill_document_items, create_document class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -29,8 +30,26 @@ class YandexHandler(BaseHandler): # вызываем функцию evaluating validated_data = yandex_handler.evaluating(dfs) print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") - - + doc_creator = DocumentCreation(URL=settings.URL_REPORT) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE3, + Контрагент_Key=settings.CONTRAGENT_YANDEX, + ДоговорКонтрагента_Key=settings.CONTRACT_YAN, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + УдержатьВознаграждение="true", + СчетУчетаРасчетовПоАвансамПолученным_Key=settings.A76_09, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A76_09, + СчетУчетаРасчетовПоАвансамВыданным_Key=settings.A60_02, + СчетУчетаРасчетовЗаПосредническиеУслуги_Key=settings.A60_01, + СтавкаНДСВознаграждения="БезНДС", + СчетУчетаЗатрат_Key=settings.A44_01, + СчетУчетаНДС_Key=settings.A19_04 + ) + doc_creator.fill_document_items_purchase(doc_key, validated_data) class WBHandler(BaseHandler): def process(self): dfs = self.read() @@ -38,7 +57,26 @@ class WBHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = wb_handler.evaluating(dfs) print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") - + doc_creator = DocumentCreation(URL=settings.URL_REPORT) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE3, + Контрагент_Key=settings.CONTRAGENT_RWB, + ДоговорКонтрагента_Key=settings.CONTRACT_RWB, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + УдержатьВознаграждение="true", + СчетУчетаРасчетовПоАвансамПолученным_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A62_01, + СчетУчетаРасчетовПоАвансамВыданным_Key=settings.A60_02, + СчетУчетаРасчетовЗаПосредническиеУслуги_Key=settings.A60_01, + СтавкаНДСВознаграждения="НДС20", + СчетУчетаЗатрат_Key=settings.A44_01, + СчетУчетаНДС_Key=settings.A19_04 + ) + doc_creator.fill_document_items_purchase(doc_key, validated_data) class OZONHandler(BaseHandler): def process(self): dfs = self.read(skiprows=14, skipfooter=17) @@ -46,24 +84,70 @@ class OZONHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") validated_data = ozon_handler.evaluating(dfs) print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") + doc_creator = DocumentCreation(URL=settings.URL_REPORT) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE3, + Контрагент_Key=settings.CONTRAGENT_OZON, + ДоговорКонтрагента_Key=settings.CONTRACT_OZON, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + УдержатьВознаграждение="true", + СчетУчетаРасчетовПоАвансамПолученным_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A62_01, + СчетУчетаРасчетовПоАвансамВыданным_Key=settings.A60_02, + СчетУчетаРасчетовЗаПосредническиеУслуги_Key=settings.A60_01, + СтавкаНДСВознаграждения="НДС20", + СчетУчетаЗатрат_Key=settings.A44_01, + СчетУчетаНДС_Key=settings.A19_04 + ) + doc_creator.fill_document_items_purchase(doc_key, validated_data) + class OZONPurchasesHandler(BaseHandler): def process(self): dfs = self.read(skiprows=[0,3,4,5,6,7,8,9,10,11], skipfooter=1) - if "Отчет о выкупленных товарах" not in dfs: + if "Отчёт о выкупленных товарах" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - validated_data = ozon_purchases_handler.evaluating(dfs) - print("Выкупы OZON завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") - + validated_data, date = ozon_purchases_handler.evaluating(dfs) + print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация", date, "Дата") + doc_creator = DocumentCreation(URL=settings.URL_REALISATION) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE1, + Контрагент_Key=settings.CONTRAGENT_OZON, + ДоговорКонтрагента_Key=settings.CONTRACT_OZON, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A62_01, + ) + doc_creator.fill_document_items_purchase(doc_key, validated_data) class WBPurchasesHandler(BaseHandler): def process(self): dfs = self.read(skiprows=[0,3,4,5,6,7,8], skipfooter=7) if "Sheet1" not in dfs: raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы") - validated_data = wb_purchases_handler.evaluating(dfs) - print("Выкупы WB завершены, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата" ) - + validated_data, date = wb_purchases_handler.evaluating(dfs) + print("Выкупы WB завершены, валидированных строк:", len(validated_data), "Реализация", date, "Дата" ) + doc_creator = DocumentCreation(URL=settings.URL_REALISATION) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE1, + Контрагент_Key=settings.CONTRAGENT_RWB, + ДоговорКонтрагента_Key=settings.CONTRACT_RWB, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A62_01 + ) + doc_creator.fill_document_items_purchase(doc_key, validated_data) class OZONComHandler(BaseHandler): - #Убрать двойной вызов pd.read def process(self): dfs = self.read(skipfooter=1) if "Лист_1" not in dfs: @@ -73,9 +157,22 @@ class OZONComHandler(BaseHandler): cont = df.iloc[1, 0] if cont != "«Интернет решения» ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") - validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") - + validated_data, date = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data), "Реализация", date, "Дата") + doc_creator = DocumentCreation(URL=settings.URL_REALISATION) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE2, + Контрагент_Key=settings.CONTRAGENT_OZON, + ДоговорКонтрагента_Key=settings.CONTRACT_OZON, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A62_01 + ) + doc_creator.fill_document_items_to_real(doc_key, validated_data) class WBComHandler(BaseHandler): def process(self): dfs = self.read(skipfooter=1) @@ -88,6 +185,20 @@ class WBComHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") + doc_creator = DocumentCreation(URL=settings.URL_REALISATION) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE2, + Контрагент_Key=settings.CONTRAGENT_RWB, + ДоговорКонтрагента_Key=settings.CONTRACT_RWB, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A76_09 + ) + doc_creator.fill_document_items_to_real(doc_key, validated_data) class YandexComHandler(BaseHandler): def process(self): @@ -101,4 +212,18 @@ class YandexComHandler(BaseHandler): raise Exception(f"В файле {self.file_path.name} неверный контрагент") validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") - + doc_creator = DocumentCreation(URL=settings.URL_REALISATION) + doc_key = doc_creator.create_document( + Date=date, + ВидОперации=settings.TYPE2, + Контрагент_Key=settings.CONTRAGENT_YANDEX, + ДоговорКонтрагента_Key=settings.CONTRACT_YAN, + Организация_Key=settings.COMPANY, + Склад_Key=settings.STORE, + ДокументБезНДС="false", + СуммаВключаетНДС="true", + СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, + СчетУчетаРасчетовСКонтрагентом_Key=settings.A76_09 + ) + doc_creator.fill_document_items_to_real(doc_key, validated_data) + diff --git a/server/backend/services/validating_files.py b/server/backend/services/validating_files.py index 4fc1fda..f081f31 100644 --- a/server/backend/services/validating_files.py +++ b/server/backend/services/validating_files.py @@ -29,7 +29,7 @@ def validating(): match file: case _ if "period_closure_income" in name: label = "period_closure_income" - case _ if name == "0": + case _ if name == "0" or "weekly_report" in name: label = "0" case _ if "отчет о реализации товара" in name: label = "отчет о реализации товара" -- 2.49.1 From 4e546bfc64f7d56b660f43797b696f41d08b90f3 Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Thu, 8 Jan 2026 19:25:19 +0300 Subject: [PATCH 26/28] dates fix --- server/backend/api/realisation.py | 170 ---------------- server/backend/api/report.py | 186 +++++++++++++++--- server/backend/handlers/ozon_handler.py | 7 +- .../handlers/ozon_wb_yandex_com_handler.py | 7 +- server/backend/handlers/wb_handler.py | 11 +- server/backend/handlers/yandex_handler.py | 7 +- server/backend/schemas/pydantic.py | 2 + server/backend/services/excel.py | 26 ++- 8 files changed, 195 insertions(+), 221 deletions(-) delete mode 100644 server/backend/api/realisation.py diff --git a/server/backend/api/realisation.py b/server/backend/api/realisation.py deleted file mode 100644 index 4eb4bec..0000000 --- a/server/backend/api/realisation.py +++ /dev/null @@ -1,170 +0,0 @@ -import requests -import json -import pandas as pd -from server.backend.schemas.pydantic import settings -from server.backend.api.session import get_session - -class DocumentCreation: - def __init__(self, URL): - self.session = get_session({ - "Content-Type": "application/json", - "Accept": "application/json", - }) - self.url = URL - - def save_key_txt(self, document_key: str, filename: str = "./excel_files/documents.txt"): - with open(filename, "a", encoding="utf-8") as f: - f.write(document_key + "\n") - - def build_dict(self, **kwargs) -> dict: - return dict(kwargs) - - def create_document(self, **kwargs) -> str: - data = self.build_dict(**kwargs) - - self.contragent = kwargs.get("Контрагент_Key") - response = self.session.post(self.url, json=data) - response.raise_for_status() - result = response.json() - document_key = result.get("Ref_Key") or result.get("Ссылка_Key") - - if not document_key: - raise RuntimeError(f"Не удалось получить ключ документа: {result}") - - self.save_key_txt(document_key) - return document_key - - def fill_document_items_purchase(self, document_key: str, validated_rows: list): - line_url = f"{self.url}({document_key})" - - response = self.session.get(line_url) - response.raise_for_status() - document_data = response.json() - - items = document_data.get("Товары", []) - start_line = len(items) - - for idx, row in enumerate(validated_rows, start=1): - new_item = { - "LineNumber": str(start_line + idx), - "Номенклатура_Key": row.ref_key, - "Количество": row.counts, - "ЕдиницаИзмерения_Key": settings.MEASURE, - "Цена": row.price / row.counts if row.counts else 0, - "Сумма": row.price, - "СчетУчета_Key": settings.A45_02, - "СчетДоходов_Key": settings.A90_01_1, - "СчетРасходов_Key": settings.A90_02_1, - "СтавкаНДС": "НДС5", - "СуммаНДС": row.price * 5 / 105, - "СчетУчетаНДСПоРеализации_Key": settings.A90_03, - } - items.append(new_item) - - document_data["Товары"] = items - patch_response = self.session.patch(line_url, json=document_data) - patch_response.raise_for_status() - def fill_document_items_to_real(self, document_key: str, validated_rows: list): - line_url = f"{self.url}({document_key})" - - response = self.session.get(line_url) - response.raise_for_status() - document_data = response.json() - - items = document_data.get("Товары", []) - start_line = len(items) - - for idx, row in enumerate(validated_rows, start=1): - new_item = { - "LineNumber": str(start_line + idx), - "Номенклатура_Key": row.ref_key, - "Количество": row.counts, - "ЕдиницаИзмерения_Key": settings.MEASURE, - "Цена": row.price / row.counts if row.counts else 0, - "Сумма": row.price, - "СчетУчета_Key": settings.A43, - "ПереданныеСчетУчета_Key": settings.A45_02, - "СтавкаНДС": "НДС5", - "СуммаНДС": row.price * 5 / 105, - } - items.append(new_item) - - document_data["Товары"] = items - patch_response = self.session.patch(line_url, json=document_data) - patch_response.raise_for_status() -def fill_document_items_report(self, document_key:str, validated_rows:list): - line_url = f"{self.url}({document_key})" - - response = self.session.get(line_url) - response.raise_for_status() - document_data = response.json() - items = document_data.get("Покупатели",[]) - new_item={ - "LineNumber": str(len(items) + 1), - "Покупатель_Key": self.contragent - } - items.append(new_item) - document_data["Покупатели"] = items - patch_response = self.session.patch(line_url, json=document_data) - patch_response.raise_for_status() - - items = document_data.get("Товары", []) - start_line = len(items) - - for idx, row in enumerate(validated_rows, start=1): - new_item = { - "LineNumber": str(start_line + idx), - "Номенклатура_Key": row.ref_key, - "Количество": row.counts, - "ЕдиницаИзмерения_Key": settings.MEASURE, - "Цена": row.price / row.counts if row.counts else 0, - "Сумма": row.price, - "СчетУчета_Key": settings.A45_02, - "СчетДоходов_Key": settings.A90_01_1, - "СчетРасходов_Key": settings.A90_02_1, - "СтавкаНДС": "НДС5", - "СуммаНДС": row.price * 5 / 105, - "СчетУчетаНДСПоРеализации_Key": settings.A90_03, - } - items.append(new_item) - - document_data["Товары"] = items - patch_response = self.session.patch(line_url, json=document_data) - patch_response.raise_for_status() - - items = document_data.get("Возвраты", []) - new_item = { - "LineNumber": str(len(items) + 1), - "Покупатель_Key": settings.BUYER - } - items.append(new_item) - document_data["Возвраты"] = items - patch_response = self.session.patch(line_url, json=document_data) - patch_response.raise_for_status() - - - items = document_data.get("ТоварыВозвращенные", []) - start_line = len(items) - - for idx, row in enumerate(validated_rows, start=1): - new_item = { - "LineNumber": str(start_line + idx), - "Номенклатура_Key": row.ref_key, - "Количество": row.counts, - "ЕдиницаИзмерения_Key": settings.MEASURE, - "Цена": row.price / row.counts if row.counts else 0, - "Сумма": row.price, - "СчетУчета_Key": settings.A45_02, - "СчетДоходов_Key": settings.A90_01_1, - "СчетРасходов_Key": settings.A90_02_1, - "СтавкаНДС": "НДС5", - "СуммаНДС": row.price * 5 / 105, - "СчетУчетаНДСПоРеализации_Key": settings.A90_03, - "Себестоимость": 100, - "ОтражениеВУСН": "Принимаются", - } - items.append(new_item) - - document_data["ТоварыВозвращенные"] = items - patch_response = self.session.patch(line_url, json=document_data) - patch_response.raise_for_status() \ No newline at end of file diff --git a/server/backend/api/report.py b/server/backend/api/report.py index c15ad74..0a031cd 100644 --- a/server/backend/api/report.py +++ b/server/backend/api/report.py @@ -1,30 +1,170 @@ import requests import json import pandas as pd -from server.backend.schemas.pydantic import settings, CreateDocumentParams +from server.backend.schemas.pydantic import settings from server.backend.api.session import get_session -session = get_session({ - "Content-Type": "application/json", - "Accept": "application/json", -}) +class DocumentCreation: + def __init__(self, URL): + self.session = get_session({ + "Content-Type": "application/json", + "Accept": "application/json", + }) + self.url = URL -def create_document(params: CreateDocumentParams) -> int: - data = { - "Дата": params.DATE, - "ВидОперации": params.OPERATION, - "Организация_Key": settings.COMPANY, - "Контрагент_Key": params.CONTRACTOR, - "Склад_Key": settings.STORE, - "ДоговорКонтрагента_Key": params.CONTRACT, - "ДокументБезНДС": "false", - "СуммаВключаетНДС": "true", - "СчетУчетаРасчетовЗаПосредническиеУслуги_Key": params.ACCOUNT_INTERMEDIARY_SERVICES, - "СчетУчетаРасчетовПоАвансамПолученным_Key": params.ACCOUNT_ADVANCES_RECEIVED, - "СчетУчетаРасчетовПоАвансамВыданным_Key": params.ACCOUNT_ADVANCES_ISSUED, - "СчетУчетаРасчетовСКонтрагентом_Key": params.ACCOUNT_WITH_COUNTERPARTY, - } + def save_key_txt(self, document_key: str, filename: str = "./excel_files/documents.txt"): + with open(filename, "a", encoding="utf-8") as f: + f.write(document_key + "\n") - response = session.post(settings.URL_REPORT, json=data) - response.raise_for_status() - return response.status_code \ No newline at end of file + def build_dict(self, **kwargs) -> dict: + return dict(kwargs) + + def create_document(self, **kwargs) -> str: + data = self.build_dict(**kwargs) + + self.contragent = kwargs.get("Контрагент_Key") + response = self.session.post(self.url, json=data) + response.raise_for_status() + result = response.json() + document_key = result.get("Ref_Key") or result.get("Ссылка_Key") + + if not document_key: + raise RuntimeError(f"Не удалось получить ключ документа: {result}") + + self.save_key_txt(document_key) + return document_key + + def fill_document_items_purchase(self, document_key: str, validated_rows: list): + line_url = f"{self.url}({document_key})" + + response = self.session.get(line_url) + response.raise_for_status() + document_data = response.json() + + items = document_data.get("Товары", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A45_02, + "СчетДоходов_Key": settings.A90_01_1, + "СчетРасходов_Key": settings.A90_02_1, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + "СчетУчетаНДСПоРеализации_Key": settings.A90_03, + } + items.append(new_item) + + document_data["Товары"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + def fill_document_items_to_real(self, document_key: str, validated_rows: list): + line_url = f"{self.url}({document_key})" + + response = self.session.get(line_url) + response.raise_for_status() + document_data = response.json() + + items = document_data.get("Товары", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A43, + "ПереданныеСчетУчета_Key": settings.A45_02, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + } + items.append(new_item) + + document_data["Товары"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + def fill_document_items_report(self, document_key:str, validated_rows_real:list, validated_rows_refund:list): + line_url = f"{self.url}({document_key})" + + response = self.session.get(line_url) + response.raise_for_status() + document_data = response.json() + items = document_data.get("Покупатели",[]) + new_item={ + "LineNumber": str(len(items) + 1), + "Покупатель_Key": self.contragent + } + items.append(new_item) + document_data["Покупатели"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + + items = document_data.get("Товары", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows_real, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A45_02, + "СчетДоходов_Key": settings.A90_01_1, + "СчетРасходов_Key": settings.A90_02_1, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + "СчетУчетаНДСПоРеализации_Key": settings.A90_03, + } + items.append(new_item) + + document_data["Товары"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + + items = document_data.get("Возвраты", []) + new_item = { + "LineNumber": str(len(items) + 1), + "Покупатель_Key": settings.BUYER + } + items.append(new_item) + document_data["Возвраты"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() + + + items = document_data.get("ТоварыВозвращенные", []) + start_line = len(items) + + for idx, row in enumerate(validated_rows_refund, start=1): + new_item = { + "LineNumber": str(start_line + idx), + "Номенклатура_Key": row.ref_key, + "Количество": row.counts, + "ЕдиницаИзмерения_Key": settings.MEASURE, + "Цена": row.price / row.counts if row.counts else 0, + "Сумма": row.price, + "СчетУчета_Key": settings.A45_02, + "СчетДоходов_Key": settings.A90_01_1, + "СчетРасходов_Key": settings.A90_02_1, + "СтавкаНДС": "НДС5", + "СуммаНДС": row.price * 5 / 105, + "СчетУчетаНДСПоРеализации_Key": settings.A90_03, + "Себестоимость": 100, + "ОтражениеВУСН": "Принимаются", + } + items.append(new_item) + + document_data["ТоварыВозвращенные"] = items + patch_response = self.session.patch(line_url, json=document_data) + patch_response.raise_for_status() \ No newline at end of file diff --git a/server/backend/handlers/ozon_handler.py b/server/backend/handlers/ozon_handler.py index e6520a1..602c6fc 100644 --- a/server/backend/handlers/ozon_handler.py +++ b/server/backend/handlers/ozon_handler.py @@ -4,9 +4,10 @@ from server.backend.api.nomenclature import processing import datetime import re def last_day_of_month(format: str): - next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) - last_day = next_month - datetime.timedelta(days=next_month.day) - return last_day.strftime(format) + today = datetime.datetime.now() + first_day_current_month = today.replace(day=1) + last_day_prev_month = first_day_current_month - datetime.timedelta(days=1) + return last_day_prev_month.strftime(format) def process_sheet(df,real_arti: int,real_quantity: int,real_sum_1: int,real_sum_2: int): # выбираем нужные колонки по индексам df = df.iloc[:, [real_arti, real_quantity, real_sum_1, real_sum_2]].copy() diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index 00c4f6c..3209fdb 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -4,9 +4,10 @@ from server.backend.api.nomenclature import processing import re import datetime def last_day_of_month(format: str): - next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) - last_day = next_month - datetime.timedelta(days=next_month.day) - return last_day.strftime(format) + today = datetime.datetime.now() + first_day_current_month = today.replace(day=1) + last_day_prev_month = (first_day_current_month - datetime.timedelta(days=1)).replace(day=1) + return last_day_prev_month.strftime(format) def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df= df.iloc[2:].reset_index(drop=True) #Выборка diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index d321703..76a8307 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -2,11 +2,12 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing import datetime - -def last_day_of_month(date_format: str): - next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) - last_day = next_month - datetime.timedelta(days=next_month.day) - return last_day.strftime(date_format) +#Доставать дату из колонки +def last_day_of_month(format: str): + today = datetime.datetime.now() + first_day_current_month = today.replace(day=1) + last_day_prev_month = first_day_current_month - datetime.timedelta(days=1) + return last_day_prev_month.strftime(format) def process_sheet(df, document_type:str): #Выборка df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values diff --git a/server/backend/handlers/yandex_handler.py b/server/backend/handlers/yandex_handler.py index 054e74b..86db072 100644 --- a/server/backend/handlers/yandex_handler.py +++ b/server/backend/handlers/yandex_handler.py @@ -4,9 +4,10 @@ from server.backend.api.nomenclature import processing import datetime import re def last_day_of_month(format: str): - next_month = datetime.datetime.now().replace(day=28) + datetime.timedelta(days=4) - last_day = next_month - datetime.timedelta(days=next_month.day) - return last_day.strftime(format) + today = datetime.datetime.now() + first_day_current_month = today.replace(day=1) + last_day_prev_month = first_day_current_month - datetime.timedelta(days=1) + return last_day_prev_month.strftime(format) def process_sheet(df, multiply_price=1, sheet_name=''): #Выборка df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом diff --git a/server/backend/schemas/pydantic.py b/server/backend/schemas/pydantic.py index 4023708..463917d 100644 --- a/server/backend/schemas/pydantic.py +++ b/server/backend/schemas/pydantic.py @@ -30,6 +30,7 @@ class Settings(BaseSettings): CONTRAGENT_OZON:str CONTRAGENT_YANDEX:str CONTRACT_RWB:str + CONTRACT_RWB1:str CONTRACT_YAN:str CONTRACT_OZON:str MEASURE:str @@ -38,6 +39,7 @@ class Settings(BaseSettings): A60_02:str A62_01:str A45_02:str + A43:str A90_01_1:str A90_02_1:str A90_03:str diff --git a/server/backend/services/excel.py b/server/backend/services/excel.py index 0ee465c..937bfa8 100644 --- a/server/backend/services/excel.py +++ b/server/backend/services/excel.py @@ -6,7 +6,7 @@ import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler import server.backend.handlers.wb_purchases_handler as wb_purchases_handler import server.backend.handlers.ozon_wb_yandex_com_handler as ozon_wb_yandex_com_handler from server.backend.schemas.pydantic import settings -from server.backend.api.realisation import fill_document_items, create_document +from server.backend.api.report import DocumentCreation class BaseHandler: def __init__(self, file_path): self.file_path = file_path @@ -32,7 +32,7 @@ class YandexHandler(BaseHandler): print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") doc_creator = DocumentCreation(URL=settings.URL_REPORT) doc_key = doc_creator.create_document( - Date=date, + Date=validated_data[2], ВидОперации=settings.TYPE3, Контрагент_Key=settings.CONTRAGENT_YANDEX, ДоговорКонтрагента_Key=settings.CONTRACT_YAN, @@ -49,7 +49,7 @@ class YandexHandler(BaseHandler): СчетУчетаЗатрат_Key=settings.A44_01, СчетУчетаНДС_Key=settings.A19_04 ) - doc_creator.fill_document_items_purchase(doc_key, validated_data) + doc_creator.fill_document_items_report(doc_key, validated_data[0], validated_data[1]) class WBHandler(BaseHandler): def process(self): dfs = self.read() @@ -59,7 +59,7 @@ class WBHandler(BaseHandler): print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") doc_creator = DocumentCreation(URL=settings.URL_REPORT) doc_key = doc_creator.create_document( - Date=date, + Date=validated_data[2], ВидОперации=settings.TYPE3, Контрагент_Key=settings.CONTRAGENT_RWB, ДоговорКонтрагента_Key=settings.CONTRACT_RWB, @@ -76,7 +76,7 @@ class WBHandler(BaseHandler): СчетУчетаЗатрат_Key=settings.A44_01, СчетУчетаНДС_Key=settings.A19_04 ) - doc_creator.fill_document_items_purchase(doc_key, validated_data) + doc_creator.fill_document_items_report(doc_key, validated_data[0], validated_data[1]) class OZONHandler(BaseHandler): def process(self): dfs = self.read(skiprows=14, skipfooter=17) @@ -86,7 +86,7 @@ class OZONHandler(BaseHandler): print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты", validated_data[2], "Дата") doc_creator = DocumentCreation(URL=settings.URL_REPORT) doc_key = doc_creator.create_document( - Date=date, + Date=validated_data[2], ВидОперации=settings.TYPE3, Контрагент_Key=settings.CONTRAGENT_OZON, ДоговорКонтрагента_Key=settings.CONTRACT_OZON, @@ -103,7 +103,7 @@ class OZONHandler(BaseHandler): СчетУчетаЗатрат_Key=settings.A44_01, СчетУчетаНДС_Key=settings.A19_04 ) - doc_creator.fill_document_items_purchase(doc_key, validated_data) + doc_creator.fill_document_items_report(doc_key, validated_data[0], validated_data[1]) class OZONPurchasesHandler(BaseHandler): def process(self): @@ -119,7 +119,6 @@ class OZONPurchasesHandler(BaseHandler): Контрагент_Key=settings.CONTRAGENT_OZON, ДоговорКонтрагента_Key=settings.CONTRACT_OZON, Организация_Key=settings.COMPANY, - Склад_Key=settings.STORE, ДокументБезНДС="false", СуммаВключаетНДС="true", СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, @@ -138,9 +137,8 @@ class WBPurchasesHandler(BaseHandler): Date=date, ВидОперации=settings.TYPE1, Контрагент_Key=settings.CONTRAGENT_RWB, - ДоговорКонтрагента_Key=settings.CONTRACT_RWB, + ДоговорКонтрагента_Key=settings.CONTRACT_RWB1, Организация_Key=settings.COMPANY, - Склад_Key=settings.STORE, ДокументБезНДС="false", СуммаВключаетНДС="true", СчетУчетаРасчетовПоАвансам_Key=settings.A62_02, @@ -183,8 +181,8 @@ class WBComHandler(BaseHandler): cont = df.iloc[1, 0] if cont != '"Вайлдберриз" ООО': raise Exception(f"В файле {self.file_path.name} неверный контрагент") - validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") + validated_data, date = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data), "Реализация", date, "Дата") doc_creator = DocumentCreation(URL=settings.URL_REALISATION) doc_key = doc_creator.create_document( Date=date, @@ -210,8 +208,8 @@ class YandexComHandler(BaseHandler): cont = df.iloc[1, 0] if cont != "Яндекс Маркет ООО": raise Exception(f"В файле {self.file_path.name} неверный контрагент") - validated_data = ozon_wb_yandex_com_handler.evaluating(dfs) - print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data[0]), "Реализация", validated_data[1], "Дата") + validated_data, date = ozon_wb_yandex_com_handler.evaluating(dfs) + print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data), "Реализация", date, "Дата") doc_creator = DocumentCreation(URL=settings.URL_REALISATION) doc_key = doc_creator.create_document( Date=date, -- 2.49.1 From d30348f0ceb7c6220338b5597ad200f5de96534e Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Thu, 8 Jan 2026 19:31:04 +0300 Subject: [PATCH 27/28] env_example update --- env_example | 15 ++++++++++++--- .../handlers/ozon_wb_yandex_com_handler.py | 7 ++----- 2 files changed, 14 insertions(+), 8 deletions(-) diff --git a/env_example b/env_example index 68e980f..cddd093 100644 --- a/env_example +++ b/env_example @@ -16,6 +16,7 @@ COMPANY="..." #Организация_Key STORE = "..." #Склад_Key CONTRAGENT_RWB = "..." #WB +CONTRACT_RWB1="..." #Purchases CONTRAGENT_OZON = "..." #Озон CONTRAGENT_YANDEX="..." #Яндекс @@ -25,14 +26,22 @@ CONTRACT_RWB2 = "..." #основной для озона MEASURE="..." #"ЕдиницаИзмерения_Key" шт -#Accountant +#Accountant sector A60_01="..." # 60.01 СчетУчетаРасчетовЗаПосредническиеУслуги_Key A62_02= "..." # 62.02 СчетУчетаРасчетовПоАвансамПолученным_Key A60_02= "..." # 60.02 СчетУчетаРасчетовПоАвансамВыданным_Key A62_01= "..." # 62.01 СчетУчетаРасчетовСКонтрагентом_Key -A45_02="..." # 45.02 СчетУчета_Key +A45_02="..." # 45.02 СчетУчета_Key Счет_передачи_key +A43="..." # 43 СчетУчета_Key A90_01_1="..." # 90.01.1 СчетДоходов_Key A90_02_1="..." # 90.02.1 СчетРасходов_Key A90_03="..." # 90.03 СчетУчетаНДСПоРеализации_Key -A76_09="..." # 76.09 СчетУчетаРасчетовПоАвансамПолученным_Key and СчетУчетаРасчетовСКонтрагентом_Key \ No newline at end of file +A76_09="..." # 76.09 СчетУчетаРасчетовПоАвансамПолученным_Key and СчетУчетаРасчетовСКонтрагентом_Key +A44_01="..." # 44.01 СчетУчетаЗатрат_Key +A19_04="..." # 19.04 СчетУчетаНДС_Key + +TYPE1="..." #types of documents +TYPE2="..." +TYPE3="..." +TYPE4="..." \ No newline at end of file diff --git a/server/backend/handlers/ozon_wb_yandex_com_handler.py b/server/backend/handlers/ozon_wb_yandex_com_handler.py index 3209fdb..c5d1bca 100644 --- a/server/backend/handlers/ozon_wb_yandex_com_handler.py +++ b/server/backend/handlers/ozon_wb_yandex_com_handler.py @@ -3,7 +3,7 @@ from server.backend.schemas.pydantic import ExcelInfo,settings,Translit from server.backend.api.nomenclature import processing import re import datetime -def last_day_of_month(format: str): +def first_day_of_prev_month(format: str): today = datetime.datetime.now() first_day_current_month = today.replace(day=1) last_day_prev_month = (first_day_current_month - datetime.timedelta(days=1)).replace(day=1) @@ -12,9 +12,7 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): df= df.iloc[2:].reset_index(drop=True) #Выборка df = df.iloc[:, [real_arti, real_quantity, real_sum_1]].copy().dropna() - #df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values df = df[(df != 0).all(axis=1)] #drop all 0 values - #df = df[[real_arti, real_quantity, real_sum_1]] df.columns = ['arti', 'counts', 'price'] #Нормализация df['arti'] = df['arti'].replace(Translit.TRANSLIT, regex=True) @@ -35,7 +33,6 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str): raise Exception(f"There are some errors with validation in Лист_1, check it ", errors) return validated_rows def evaluating(dfs): - #validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8]) # номера столбцов validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti=0,real_quantity=4, real_sum_1=8) - date = last_day_of_month(settings.TIMEFORMAT) + date = first_day_of_prev_month(settings.TIMEFORMAT) return validated_rows_1, date \ No newline at end of file -- 2.49.1 From 47a42d9974e10143d06366c803e971ebe07c171f Mon Sep 17 00:00:00 2001 From: "MH.Dmitrii" Date: Fri, 9 Jan 2026 13:15:56 +0300 Subject: [PATCH 28/28] dates fix --- server/backend/handlers/wb_handler.py | 15 ++++++++------- 1 file changed, 8 insertions(+), 7 deletions(-) diff --git a/server/backend/handlers/wb_handler.py b/server/backend/handlers/wb_handler.py index 76a8307..918f3cd 100644 --- a/server/backend/handlers/wb_handler.py +++ b/server/backend/handlers/wb_handler.py @@ -1,13 +1,14 @@ from pydantic import ValidationError from server.backend.schemas.pydantic import ExcelInfo, settings,Translit from server.backend.api.nomenclature import processing +import pandas as pd import datetime -#Доставать дату из колонки -def last_day_of_month(format: str): - today = datetime.datetime.now() - first_day_current_month = today.replace(day=1) - last_day_prev_month = first_day_current_month - datetime.timedelta(days=1) - return last_day_prev_month.strftime(format) +def report_date(df, date_format: str): + dates = pd.to_datetime(df["Дата продажи"], format="%Y-%m-%d", errors="coerce") + if dates.isna().all(): + raise ValueError("В колонке нет валидных дат") + max_date = dates.max() + return max_date.strftime(date_format) def process_sheet(df, document_type:str): #Выборка df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values @@ -38,7 +39,7 @@ def process_sheet(df, document_type:str): def evaluating(dfs): validated_rows_1 = process_sheet(dfs["Sheet1"], document_type='Продажа') validated_rows_2 = process_sheet(dfs["Sheet1"], document_type='Возврат') - date = last_day_of_month(settings.TIMEFORMAT) + date = report_date(dfs["Sheet1"], settings.TIMEFORMAT) # sum_1 = sum(row.price for row in validated_rows_1) # sum_2 = sum(row.price for row in validated_rows_2) -- 2.49.1