refactoring 1.1

This commit is contained in:
2025-12-21 18:18:26 +03:00
parent 46b4e95d45
commit 6b92cf8782
11 changed files with 62 additions and 50 deletions

View File

@@ -1,19 +1,14 @@
from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo
from server.backend.schemas.pydantic import ExcelInfo,settings
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str):
df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df[real_sum_1]+=df[real_sum_2]
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
@@ -30,4 +25,6 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum
def evaluating(dfs):
validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона
validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')#
return validated_rows_1, validated_rows_2
return validated_rows_1, validated_rows_2
#Добавить проверку с бд по keys

View File

@@ -1,18 +1,14 @@
from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo
from server.backend.schemas.pydantic import ExcelInfo, settings
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int):
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists

View File

@@ -1,18 +1,14 @@
from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo
from server.backend.schemas.pydantic import ExcelInfo,settings
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float
df['counts'] = df['counts'].astype(int) #Float to Int, if exists

View File

@@ -1,12 +1,7 @@
from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo
from server.backend.schemas.pydantic import ExcelInfo, settings
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, document_type:str):
df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
@@ -14,7 +9,7 @@ def process_sheet(df, document_type:str):
df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].astype(float) #Float to Int, if exists
df['counts'] = df['counts'].astype(int) #Float to Int, if exists

View File

@@ -1,18 +1,13 @@
from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo
from server.backend.schemas.pydantic import ExcelInfo, settings
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
df = df[(df != 0).all(axis=1)] #drop all 0 values
df = df[[real_arti, real_quantity, real_sum_1]].copy()
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
df['counts'] = df['counts'].astype(int) #Float to Int, if exists

View File

@@ -1,18 +1,13 @@
from pydantic import ValidationError
from server.backend.schemas.pydantic import ExcelInfo
from server.backend.schemas.pydantic import ExcelInfo, settings
import re
from dotenv import load_dotenv #Работа с env
import os
load_dotenv()
PATTERN = os.getenv("PATTERN")
def process_sheet(df, multiply_price=1, sheet_name=''):
df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом
df = df[(df != 0).all(axis=1)] #drop all 0 values
df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов
df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #regex implemented
df['price'] = df['price'].astype(float) #To float, if exists
df['counts'] = df['counts'].astype(int) #To float, if exists