com handler 1.0

server/backend/excel.py

@@ -4,6 +4,7 @@ import server.backend.handlers.wb_handler as wb_handler
 import server.backend.handlers.ozon_handler as ozon_handler
 import server.backend.handlers.ozon_purchases_handler as ozon_purchases_handler
 import server.backend.handlers.wb_purchases_handler as wb_purchases_handler
+import server.backend.handlers.ozon_wb_yandex_com_handler as ozon_wb_yandex_com_handler
 class BaseHandler:
     def __init__(self, file_path):
         self.file_path = file_path
@@ -27,9 +28,8 @@ class YandexHandler(BaseHandler):
         if "Получено от потребителей" not in dfs or "Возвращено потребителям" not in dfs:
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
         # вызываем функцию evaluating
-
+        validated_data = yandex_handler.evaluating(dfs)
-        #validated_data = yandex_handler.evaluating(dfs)
+        print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты")
-        #print("Реализация Яндекс завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты")
 
 class WBHandler(BaseHandler):
     def process(self):
@@ -37,8 +37,8 @@ class WBHandler(BaseHandler):
         #доставать дату по месяцу и просто день ставить последний
         if "Sheet1" not in dfs :
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
-        #validated_data = wb_handler.evaluating(dfs)
+        validated_data = wb_handler.evaluating(dfs)
-        #print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты")
+        print("Реализация WB завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты")
 
 class OZONHandler(BaseHandler):
     def process(self):
@@ -46,8 +46,8 @@ class OZONHandler(BaseHandler):
         dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=14, skipfooter=17) #skip the header and the footer
         if "Отчет о реализации" not in dfs:
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
-        #validated_data = ozon_handler.evaluating(dfs)
+        validated_data = ozon_handler.evaluating(dfs)
-        #print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты")
+        print("Реализация OZON завершена, валидированных строк:", len(validated_data[0]), "Реализация", len(validated_data[1]), "Возвраты")
 
 class OZONPurchasesHandler(BaseHandler):
     def process(self):
@@ -55,8 +55,8 @@ class OZONPurchasesHandler(BaseHandler):
         dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=12, skipfooter=1)
         if "Отчет о выкупленных товарах" not in dfs:
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
-        #validated_data = ozon_purchases_handler.evaluating(dfs)
+        validated_data = ozon_purchases_handler.evaluating(dfs)
-        #print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация")
+        print("Выкупы OZON завершены, валидированных строк:", len(validated_data), "Реализация")
 
 class WBPurchasesHandler(BaseHandler):
     def process(self):
@@ -68,34 +68,40 @@ class WBPurchasesHandler(BaseHandler):
 
 class OZONComHandler(BaseHandler):
     def process(self):
-        dfs = pd.read_excel(self.file_path, sheet_name=None)
+        dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1)
         if "Лист_1" not in dfs:
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
         df = dfs["Лист_1"]  
         cont = df.iloc[1, 0]
+        dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2],skipfooter=1)
         if cont != "«Интернет решения» ООО":
             raise Exception(f"В файле {self.file_path.name} неверный контрагент")
-        print("Товары, переданные на комиссию озон")
+        validated_data = ozon_wb_yandex_com_handler.evaluating(dfs)
+        print("Передача на коммисию OZON завершена, валидированных строк:", len(validated_data), "Реализация")
 
 class WBComHandler(BaseHandler):
     def process(self):
-        dfs = pd.read_excel(self.file_path, sheet_name=None)
+        dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1)
         if "Лист_1" not in dfs:
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
         df = dfs["Лист_1"]  
         cont = df.iloc[1, 0]
+        dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1)
         if cont != '"Вайлдберриз" ООО':
             raise Exception(f"В файле {self.file_path.name} неверный контрагент")
-        print("Товары, переданные на комиссию wb")
+        validated_data = ozon_wb_yandex_com_handler.evaluating(dfs)
+        print("Передача на коммисию WB завершена, валидированных строк:", len(validated_data), "Реализация")
 
 class YandexComHandler(BaseHandler):
     def process(self):
-        dfs = pd.read_excel(self.file_path, sheet_name=None)
+        dfs = pd.read_excel(self.file_path, sheet_name=None, skipfooter=1)
         if "Лист_1" not in dfs:
             raise Exception(f"В файле {self.file_path.name} отсутствуют необходимые листы")
         df = dfs["Лист_1"]  
         cont = df.iloc[1, 0]
+        dfs = pd.read_excel(self.file_path, sheet_name=None, skiprows=[0,2], skipfooter=1)
         if cont != "Яндекс Маркет ООО":
             raise Exception(f"В файле {self.file_path.name} неверный контрагент")
-        print("Товары, переданные на комиссию yandex")
+        validated_data = ozon_wb_yandex_com_handler.evaluating(dfs)
+        print("Передача на коммисию YANDEX завершена, валидированных строк:", len(validated_data), "Реализация")
     

server/backend/handlers/ozon_handler.py

@@ -1,26 +1,31 @@
 from pydantic import ValidationError
 from server.backend.pydantic import ExcelInfo
 import re
-def process_sheet(df, real_arti = '', real_quantity='', real_sum_1='', real_sum_2=''):
+
-    pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
+from dotenv import load_dotenv                              #Работа с env
+import os
+load_dotenv()
+PATTERN = os.getenv("PATTERN")
+
+def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str):
     df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values
     df = df[(df != 0).all(axis=1)] #drop all 0 values
     df[real_sum_1]+=df[real_sum_2]
-    df_validate = df[[real_arti, real_quantity, real_sum_1]].copy()
+    df = df[[real_arti, real_quantity, real_sum_1]].copy()
-    df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
+    df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
-    df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
+    df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
     
-    df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists  
+    df['price'] = df['price'].astype(float) #Float to Int, if exists  
-    df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
+    df['counts'] = df['counts'].astype(int) #Float to Int, if exists
-
+    df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
     validated_rows, errors = [], []
-    for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
+    for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
         try:
             validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
         except ValidationError as e:
             errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
     if errors:
-        raise Exception(f"There are some errors with validation in Sheet1, check it ", errors)
+        raise Exception(f"There are some errors with validation in Отчет о реализации, check it ", errors)
     return validated_rows
 def evaluating(dfs):
     validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6')   # номера столбцов от озона

server/backend/handlers/ozon_purchases_handler.py

@@ -1,24 +1,30 @@
 from pydantic import ValidationError
 from server.backend.pydantic import ExcelInfo
 import re
-def process_sheet(df, real_arti = 0, real_quantity=0, real_sum_1=0):
+
-    pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
+from dotenv import load_dotenv                              #Работа с env
+import os
+load_dotenv()
+PATTERN = os.getenv("PATTERN")
+
+def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int):
     df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
     df = df[(df != 0).all(axis=1)] #drop all 0 values
-    df_validate = df[[real_arti, real_quantity, real_sum_1]].copy()
+    df = df[[real_arti, real_quantity, real_sum_1]].copy()
-    df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
+    df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
-    df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
+    df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
     
-    df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists  
+    df['price'] = df['price'].astype(float) #Float to Int, if exists  
-    df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
+    df['counts'] = df['counts'].astype(int) #Float to Int, if exists
+    df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
     validated_rows, errors = [], []
-    for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
+    for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
         try:
             validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
         except ValidationError as e:
             errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
     if errors:
-        raise Exception(f"There are some errors with validation in Sheet1, check it ", errors)
+        raise Exception(f"There are some errors with validation in Отчет о выкупленных товарах, check it ", errors)
     return validated_rows
 def evaluating(dfs):
     validated_rows_1 = process_sheet(dfs["Отчет о выкупленных товарах"], real_arti=3,real_quantity=10, real_sum_1=11)   # номера столбцов от озона

server/backend/handlers/ozon_wb_yandex_com_handler.py

@@ -0,0 +1,32 @@
+from pydantic import ValidationError
+from server.backend.pydantic import ExcelInfo
+import re
+
+from dotenv import load_dotenv                              #Работа с env
+import os
+load_dotenv()
+PATTERN = os.getenv("PATTERN")
+
+def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
+    df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
+    df = df[(df != 0).all(axis=1)] #drop all 0 values
+    df = df[[real_arti, real_quantity, real_sum_1]].copy()
+    df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
+    df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
+
+    df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float
+    df['counts'] = df['counts'].astype(int) #Float to Int, if exists
+    df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
+
+    validated_rows, errors = [], []
+    for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
+        try:
+            validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
+        except ValidationError as e:
+            errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
+    if errors:
+        raise Exception(f"There are some errors with validation in Лист_1, check it ", errors)
+    return validated_rows
+def evaluating(dfs):
+    validated_rows_1 = process_sheet(dfs["Лист_1"], real_arti="Артикул",real_quantity=dfs["Лист_1"].columns[4], real_sum_1=dfs["Лист_1"].columns[8])   # номера столбцов
+    return validated_rows_1

server/backend/handlers/wb_handler.py

@@ -2,22 +2,27 @@ from pydantic import ValidationError
 from server.backend.pydantic import ExcelInfo
 import re
 
-def process_sheet(df, document_type= ''):
+from dotenv import load_dotenv                              #Работа с env
-    pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
+import os
+load_dotenv()
+PATTERN = os.getenv("PATTERN")
+
+def process_sheet(df, document_type:str):
     df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values
     df = df[(df != 0).all(axis=1)] #drop all 0 values
-    df_validate = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
+    df = df[df['Тип документа'] == document_type] #фильтруем по типу документа
-    df_validate.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
-    df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
-    
-    df_validate['price'] = df_validate['price'].astype(float) #Float to Int, if exists  
-    df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
 
+    df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
+    df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
+    df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
+    
+    df['price'] = df['price'].astype(float) #Float to Int, if exists  
+    df['counts'] = df['counts'].astype(int) #Float to Int, if exists
+    df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'})
     validated_rows, errors = [], []
-    for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
+    for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
         try:
-            if df.loc[i, 'Тип документа'] == document_type:
+            validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
-                validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
         except ValidationError as e:
             errors.append((i, e.errors())) #выводит ошибку и пишет номер строки
     if errors:

server/backend/handlers/wb_purchases_handler.py

@@ -1,18 +1,25 @@
 from pydantic import ValidationError
 from server.backend.pydantic import ExcelInfo
 import re
-def process_sheet(df, real_arti = '', real_quantity='', real_sum_1=''):
+
-    pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}' #regex
+from dotenv import load_dotenv                              #Работа с env
+import os
+load_dotenv()
+PATTERN = os.getenv("PATTERN")
+
+def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
     df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
     df = df[(df != 0).all(axis=1)] #drop all 0 values
-    df_validate = df[[real_arti, real_quantity, real_sum_1]].copy()
+    df = df[[real_arti, real_quantity, real_sum_1]].copy()
-    df_validate.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
+    df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
-    df_validate['arti'] = df_validate['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #arti под regex
+    df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
     
-    df_validate['price'] = df_validate['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
+    df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
-    df_validate['counts'] = df_validate['counts'].astype(int) #Float to Int, if exists
+    df['counts'] = df['counts'].astype(int) #Float to Int, if exists
+    df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
+
     validated_rows, errors = [], []
-    for i, row in df_validate.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
+    for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки
         try:
             validated_rows.append(ExcelInfo(**row.to_dict())) #добавляем в список проверенные данные полученные от pydantic, которые туда передаются в виде dict
         except ValidationError as e:

server/backend/handlers/yandex_handler.py

@@ -1,18 +1,22 @@
 from pydantic import ValidationError
 from server.backend.pydantic import ExcelInfo
 import re
-def process_sheet(df, multiply_price=1, sheet_name=''):
-    # INLINE regex к колонке 'arti'
-    pattern = r'[A-ZА-Я]{0,1}\d{4}[A-ZА-Я]{1,2}\d{1}'
 
+from dotenv import load_dotenv                              #Работа с env
+import os
+load_dotenv()
+PATTERN = os.getenv("PATTERN")
+
+def process_sheet(df, multiply_price=1, sheet_name=''):
     df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом
     df = df[(df != 0).all(axis=1)] #drop all 0 values
     df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов
     df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic
-    df['arti'] = df['arti'].astype(str).str.extract(f'({pattern})', flags=re.IGNORECASE) #regex implemented
+    df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented
     
     df['price'] = df['price'].astype(float) #To float, if exists 
     df['counts'] = df['counts'].astype(int) #To float, if exists 
+    df = df.groupby('arti', as_index=False).agg({'counts': 'sum', 'price': 'sum'}) #groupping
 
     validated_rows, errors = [], []
     for i, row in df.iterrows(): #проходит построчно по df, где i - индекс строки, row - данные строки

server/backend/pydantic.py

@@ -1,6 +1,6 @@
 from pydantic import BaseModel, Field, field_validator
 class ExcelInfo(BaseModel):
-    arti:str = Field(..., min_length=6, max_length=12, description="arti of the clothes")
+    arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes")
     counts:int = Field(..., gt=0, description="the quantity of the clothes")
     price:float = Field(..., gt=0, description="the price of the clothes")
 class ExcelRealization(BaseModel):