feature/evaluating #2
@@ -1,4 +1,5 @@
|
|||||||
pandas==2.3.3
|
pandas==2.3.3
|
||||||
openpyxl==3.1.5
|
openpyxl==3.1.5
|
||||||
pydantic==2.12.3
|
pydantic==2.12.3
|
||||||
|
pydantic_settings == 2.12.0
|
||||||
dotenv==0.9.9
|
dotenv==0.9.9
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
import requests
|
||||||
|
import json
|
||||||
|
from base64 import b64encode
|
||||||
|
from server.backend.schemas.pydantic import settings
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
import requests
|
||||||
|
import json
|
||||||
|
from base64 import b64encode
|
||||||
|
from server.backend.schemas.pydantic import settings
|
||||||
|
|||||||
@@ -1,19 +1,14 @@
|
|||||||
from pydantic import ValidationError
|
from pydantic import ValidationError
|
||||||
from server.backend.schemas.pydantic import ExcelInfo
|
from server.backend.schemas.pydantic import ExcelInfo,settings
|
||||||
import re
|
import re
|
||||||
|
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
load_dotenv()
|
|
||||||
PATTERN = os.getenv("PATTERN")
|
|
||||||
|
|
||||||
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str):
|
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum_2:str):
|
||||||
df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values
|
df = df[[real_arti, real_quantity, real_sum_1, real_sum_2]].copy().dropna() #copy and drop all NA values
|
||||||
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
||||||
df[real_sum_1]+=df[real_sum_2]
|
df[real_sum_1]+=df[real_sum_2]
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
||||||
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
||||||
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
|
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
|
||||||
|
|
||||||
df['price'] = df['price'].astype(float) #Float to Int, if exists
|
df['price'] = df['price'].astype(float) #Float to Int, if exists
|
||||||
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
||||||
@@ -30,4 +25,6 @@ def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str, real_sum
|
|||||||
def evaluating(dfs):
|
def evaluating(dfs):
|
||||||
validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона
|
validated_rows_1 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='8', real_sum_1='5',real_sum_2='6') # номера столбцов от озона
|
||||||
validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')#
|
validated_rows_2 = process_sheet(dfs["Отчет о реализации"], real_arti='2',real_quantity='16', real_sum_1='13',real_sum_2='14')#
|
||||||
return validated_rows_1, validated_rows_2
|
return validated_rows_1, validated_rows_2
|
||||||
|
|
||||||
|
#Добавить проверку с бд по keys
|
||||||
@@ -1,18 +1,14 @@
|
|||||||
from pydantic import ValidationError
|
from pydantic import ValidationError
|
||||||
from server.backend.schemas.pydantic import ExcelInfo
|
from server.backend.schemas.pydantic import ExcelInfo, settings
|
||||||
import re
|
import re
|
||||||
|
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
load_dotenv()
|
|
||||||
PATTERN = os.getenv("PATTERN")
|
|
||||||
|
|
||||||
def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int):
|
def process_sheet(df, real_arti:int, real_quantity:int, real_sum_1:int):
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
|
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
|
||||||
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
||||||
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
||||||
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
|
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
|
||||||
|
|
||||||
df['price'] = df['price'].astype(float) #Float to Int, if exists
|
df['price'] = df['price'].astype(float) #Float to Int, if exists
|
||||||
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
||||||
|
|||||||
@@ -1,18 +1,14 @@
|
|||||||
from pydantic import ValidationError
|
from pydantic import ValidationError
|
||||||
from server.backend.schemas.pydantic import ExcelInfo
|
from server.backend.schemas.pydantic import ExcelInfo,settings
|
||||||
import re
|
import re
|
||||||
|
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
load_dotenv()
|
|
||||||
PATTERN = os.getenv("PATTERN")
|
|
||||||
|
|
||||||
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
|
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
|
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
|
||||||
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
||||||
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
||||||
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
|
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
|
||||||
|
|
||||||
df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float
|
df['price'] = df['price'].astype(float) #переделка к норм виду и преобразование в float
|
||||||
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
||||||
|
|||||||
@@ -1,12 +1,7 @@
|
|||||||
from pydantic import ValidationError
|
from pydantic import ValidationError
|
||||||
from server.backend.schemas.pydantic import ExcelInfo
|
from server.backend.schemas.pydantic import ExcelInfo, settings
|
||||||
import re
|
import re
|
||||||
|
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
load_dotenv()
|
|
||||||
PATTERN = os.getenv("PATTERN")
|
|
||||||
|
|
||||||
def process_sheet(df, document_type:str):
|
def process_sheet(df, document_type:str):
|
||||||
df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values
|
df = df[['Артикул поставщика', 'Тип документа', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy().dropna() #copy and drop all NA values
|
||||||
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
||||||
@@ -14,7 +9,7 @@ def process_sheet(df, document_type:str):
|
|||||||
|
|
||||||
df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
|
df = df[['Артикул поставщика', 'Кол-во', 'Вайлдберриз реализовал Товар (Пр)']].copy()
|
||||||
df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
|
df.rename(columns={'Артикул поставщика': 'arti', 'Кол-во': 'counts', 'Вайлдберриз реализовал Товар (Пр)': 'price'}, inplace=True) #переименовываем для pydantic
|
||||||
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
|
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
|
||||||
|
|
||||||
df['price'] = df['price'].astype(float) #Float to Int, if exists
|
df['price'] = df['price'].astype(float) #Float to Int, if exists
|
||||||
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
||||||
|
|||||||
@@ -1,18 +1,13 @@
|
|||||||
from pydantic import ValidationError
|
from pydantic import ValidationError
|
||||||
from server.backend.schemas.pydantic import ExcelInfo
|
from server.backend.schemas.pydantic import ExcelInfo, settings
|
||||||
import re
|
import re
|
||||||
|
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
load_dotenv()
|
|
||||||
PATTERN = os.getenv("PATTERN")
|
|
||||||
|
|
||||||
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
|
def process_sheet(df, real_arti:str, real_quantity:str, real_sum_1:str):
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
|
df = df[[real_arti, real_quantity, real_sum_1]].copy().dropna() #copy and drop all NA values
|
||||||
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
||||||
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
df = df[[real_arti, real_quantity, real_sum_1]].copy()
|
||||||
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
df.rename(columns={real_arti: 'arti', real_quantity: 'counts', real_sum_1: 'price'}, inplace=True) #переименовываем для pydantic
|
||||||
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #arti под regex
|
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #arti под regex
|
||||||
|
|
||||||
df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
|
df['price'] = df['price'].str.replace(' ', '', regex=False).str.replace(',', '.', regex=False).astype(float) #переделка к норм виду и преобразование в float
|
||||||
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
df['counts'] = df['counts'].astype(int) #Float to Int, if exists
|
||||||
|
|||||||
@@ -1,18 +1,13 @@
|
|||||||
from pydantic import ValidationError
|
from pydantic import ValidationError
|
||||||
from server.backend.schemas.pydantic import ExcelInfo
|
from server.backend.schemas.pydantic import ExcelInfo, settings
|
||||||
import re
|
import re
|
||||||
|
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
load_dotenv()
|
|
||||||
PATTERN = os.getenv("PATTERN")
|
|
||||||
|
|
||||||
def process_sheet(df, multiply_price=1, sheet_name=''):
|
def process_sheet(df, multiply_price=1, sheet_name=''):
|
||||||
df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом
|
df = df[['Ваш SKU', 'Количество, шт.', 'Сумма транзакции, ₽']].copy().dropna() #выбираем нужные колонки, делаем копию, чтобы можно было удалить None inline модом
|
||||||
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
df = df[(df != 0).all(axis=1)] #drop all 0 values
|
||||||
df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов
|
df['Сумма транзакции, ₽'] *= multiply_price #умножаем на -1 для возвратов
|
||||||
df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic
|
df.rename(columns={'Ваш SKU': 'arti', 'Количество, шт.': 'counts', 'Сумма транзакции, ₽': 'price'}, inplace=True) #переименовываем для pydantic
|
||||||
df['arti'] = df['arti'].astype(str).str.extract(f'({PATTERN})', flags=re.IGNORECASE) #regex implemented
|
df['arti'] = df['arti'].astype(str).str.extract(f'({settings.PATTERN})', flags=re.IGNORECASE) #regex implemented
|
||||||
|
|
||||||
df['price'] = df['price'].astype(float) #To float, if exists
|
df['price'] = df['price'].astype(float) #To float, if exists
|
||||||
df['counts'] = df['counts'].astype(int) #To float, if exists
|
df['counts'] = df['counts'].astype(int) #To float, if exists
|
||||||
|
|||||||
@@ -1,4 +1,5 @@
|
|||||||
from pydantic import BaseModel, Field, field_validator
|
from pydantic import BaseModel, Field, field_validator
|
||||||
|
from pydantic_settings import BaseSettings, SettingsConfigDict
|
||||||
class ExcelInfo(BaseModel):
|
class ExcelInfo(BaseModel):
|
||||||
arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes")
|
arti:str = Field(..., min_length=5, max_length=12, description="arti of the clothes")
|
||||||
counts:int = Field(..., gt=0, description="the quantity of the clothes")
|
counts:int = Field(..., gt=0, description="the quantity of the clothes")
|
||||||
@@ -8,4 +9,35 @@ class ExcelRealization(BaseModel):
|
|||||||
class ExcelReturning(BaseModel):
|
class ExcelReturning(BaseModel):
|
||||||
pass
|
pass
|
||||||
class ExcelOut(BaseModel):
|
class ExcelOut(BaseModel):
|
||||||
pass
|
pass
|
||||||
|
class Settings(BaseSettings):
|
||||||
|
DIR:str
|
||||||
|
PATTERN: str
|
||||||
|
USERNAME: str
|
||||||
|
PASSWORD: str
|
||||||
|
URL_REPORT:str
|
||||||
|
URL_REALISATION:str
|
||||||
|
BUYER: str
|
||||||
|
COMPANY: str
|
||||||
|
STORE: str
|
||||||
|
CONTRAGENT_RWB:str
|
||||||
|
CONTRAGENT_OZON:str
|
||||||
|
CONTRAGENT_YANDEX:str
|
||||||
|
CONTRACT_RWB0:str
|
||||||
|
CONTRACT_RWB1:str
|
||||||
|
CONTRACT_RWB2:str
|
||||||
|
MEASURE:str
|
||||||
|
A60_01:str
|
||||||
|
A62_02:str
|
||||||
|
A60_02:str
|
||||||
|
A62_01:str
|
||||||
|
A45_02:str
|
||||||
|
A90_01_1:str
|
||||||
|
A90_02_1:str
|
||||||
|
A90_03:str
|
||||||
|
A76_09:str
|
||||||
|
model_config = SettingsConfigDict(
|
||||||
|
env_file=".env",
|
||||||
|
env_file_encoding="utf-8"
|
||||||
|
)
|
||||||
|
settings = Settings()
|
||||||
@@ -1,10 +1,7 @@
|
|||||||
import server.backend.services.excel as excel
|
import server.backend.services.excel as excel
|
||||||
|
from server.backend.schemas.pydantic import settings
|
||||||
from dotenv import load_dotenv #Работа с env
|
|
||||||
import os
|
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
load_dotenv()
|
DIR = Path(settings.DIR)
|
||||||
base_dir = Path(os.getenv("DIR"))
|
|
||||||
|
|
||||||
handlers = { #метки какие файлы есть и должны быть занесены с вызовами функций из файла
|
handlers = { #метки какие файлы есть и должны быть занесены с вызовами функций из файла
|
||||||
"period_closure_income": excel.YandexHandler,
|
"period_closure_income": excel.YandexHandler,
|
||||||
@@ -19,9 +16,9 @@ handlers = { #метки какие файлы есть и должны быть
|
|||||||
|
|
||||||
#Проход по всем файлам в директории
|
#Проход по всем файлам в директории
|
||||||
def validating():
|
def validating():
|
||||||
if not base_dir.exists():
|
if not DIR.exists():
|
||||||
raise (f"Директория {base_dir} не существует") #Проверка существует ли директория
|
raise (f"Директория {DIR} не существует") #Проверка существует ли директория
|
||||||
for file in base_dir.rglob("*.xlsx"):
|
for file in DIR.rglob("*.xlsx"):
|
||||||
|
|
||||||
if file.name.startswith("~$"): #Проверка не редактируемый ли файл
|
if file.name.startswith("~$"): #Проверка не редактируемый ли файл
|
||||||
continue
|
continue
|
||||||
|
|||||||
Reference in New Issue
Block a user