test check deposits

Author: felipao-mx

speid/commands/spei.py

@@ -4,23 +4,21 @@
 import pytz
 from mongoengine import DoesNotExist
 from stpmex.business_days import get_next_business_day
-from stpmex.types import Estado as StpEstado
 
 from speid import app
 from speid.helpers.callback_helper import set_status_transaction
-from speid.helpers.transaction_helper import process_incoming_transaction
+from speid.helpers.transaction_helper import (
+    process_incoming_transaction,
+    stp_model_to_dict,
+)
 from speid.models import Event, Transaction
+from speid.models.transaction import (
+    REFUNDS_PAYMENTS_TYPES,
+    STP_VALID_DEPOSITS_STATUSES,
+)
 from speid.processors import stpmex_client
 from speid.types import Estado, EventType
 
-ESTADOS_DEPOSITOS_VALIDOS = {
-    StpEstado.confirmada,
-    StpEstado.liquidada,
-    StpEstado.traspaso_liquidado,
-}
-
-TIPOS_PAGO_DEVOLUCION = {0, 16, 17, 18, 23, 24}
-
 
 @app.cli.group('speid')
 def speid_group():
@@ -87,11 +85,11 @@ def reconciliate_deposits(
         # Se ignora los tipos pago devolución debido a que
         # el estado de estas operaciones se envían
         # al webhook `POST /orden_events`
-        if recibida.tipoPago in TIPOS_PAGO_DEVOLUCION:
+        if recibida.tipoPago in REFUNDS_PAYMENTS_TYPES:
             no_procesadas.append(recibida.claveRastreo)
             continue
 
-        if recibida.estado not in ESTADOS_DEPOSITOS_VALIDOS:
+        if recibida.estado not in STP_VALID_DEPOSITS_STATUSES:
             no_procesadas.append(recibida.claveRastreo)
             continue
 
@@ -105,27 +103,7 @@ def reconciliate_deposits(
             # hace una conversión del modelo de respuesta de
             # la función `consulta_recibidas` al modelo del evento que envía
             # STP por el webhook en `POST /ordenes`
-            stp_request = dict(
-                Clave=recibida.idEF,
-                FechaOperacion=recibida.fechaOperacion.strftime('%Y%m%d'),
-                InstitucionOrdenante=recibida.institucionContraparte,
-                InstitucionBeneficiaria=recibida.institucionOperante,
-                ClaveRastreo=recibida.claveRastreo,
-                Monto=recibida.monto,
-                NombreOrdenante=recibida.nombreOrdenante,
-                TipoCuentaOrdenante=recibida.tipoCuentaOrdenante,
-                CuentaOrdenante=recibida.cuentaOrdenante,
-                RFCCurpOrdenante=recibida.rfcCurpOrdenante,
-                NombreBeneficiario=recibida.nombreBeneficiario,
-                TipoCuentaBeneficiario=recibida.tipoCuentaBeneficiario,
-                CuentaBeneficiario=recibida.cuentaBeneficiario,
-                RFCCurpBeneficiario=getattr(
-                    recibida, 'rfcCurpBeneficiario', 'NA'
-                ),
-                ConceptoPago=recibida.conceptoPago,
-                ReferenciaNumerica=recibida.referenciaNumerica,
-                Empresa=recibida.empresa,
-            )
+            stp_request = stp_model_to_dict(recibida)
             click.echo(f'Depósito procesado: {recibida.claveRastreo}')
             process_incoming_transaction(stp_request)
         else:

speid/helpers/transaction_helper.py

@@ -1,4 +1,5 @@
 import os
+from typing import Dict
 
 from mongoengine import NotUniqueError
 from sentry_sdk import capture_exception, capture_message
@@ -40,3 +41,25 @@ def process_incoming_transaction(incoming_transaction: dict) -> dict:
         transaction.save()
         capture_exception(e)
     return r
+
+
+def stp_model_to_dict(model) -> Dict:
+    return dict(
+        Clave=model.idEF,
+        FechaOperacion=model.fechaOperacion.strftime('%Y%m%d'),
+        InstitucionOrdenante=model.institucionContraparte,
+        InstitucionBeneficiaria=model.institucionOperante,
+        ClaveRastreo=model.claveRastreo,
+        Monto=model.monto,
+        NombreOrdenante=model.nombreOrdenante,
+        TipoCuentaOrdenante=model.tipoCuentaOrdenante,
+        CuentaOrdenante=model.cuentaOrdenante,
+        RFCCurpOrdenante=model.rfcCurpOrdenante,
+        NombreBeneficiario=model.nombreBeneficiario,
+        TipoCuentaBeneficiario=model.tipoCuentaBeneficiario,
+        CuentaBeneficiario=model.cuentaBeneficiario,
+        RFCCurpBeneficiario=getattr(model, 'rfcCurpBeneficiario', 'NA'),
+        ConceptoPago=model.conceptoPago,
+        ReferenciaNumerica=model.referenciaNumerica,
+        Empresa=model.empresa,
+    )

speid/models/transaction.py

@@ -1,6 +1,7 @@
 import datetime as dt
 import os
 from enum import Enum
+from typing import Optional
 
 import pytz
 from mongoengine import (
@@ -41,20 +42,29 @@
     os.getenv('SKIP_VALIDATION_PRIOR_SEND_ORDER', 'false').lower() == 'true'
 )
 
-STP_FAILED_STATUSES = {
+STP_FAILED_TRANSFERS_STATUSES = {
     STPEstado.traspaso_cancelado,
     STPEstado.cancelada,
     STPEstado.cancelada_adapter,
     STPEstado.cancelada_rechazada,
     STPEstado.devuelta,
 }
 
-STP_SUCCEDED_STATUSES = {
+STP_SUCCEDED_TRANSFERS_STATUSES = {
     STPEstado.liquidada,
     STPEstado.traspaso_liquidado,
 }
 
 
+STP_VALID_DEPOSITS_STATUSES = {
+    STPEstado.confirmada,
+    STPEstado.liquidada,
+    STPEstado.traspaso_liquidado,
+}
+
+REFUNDS_PAYMENTS_TYPES = {0, 16, 17, 18, 23, 24}
+
+
 @handler(signals.pre_save)
 def pre_save_transaction(sender, document):
     date = document.fecha_operacion or dt.datetime.today()
@@ -180,22 +190,25 @@ def is_valid_account(self) -> bool:
         return is_valid
 
     def fetch_stp_status(self) -> STPEstado:
-        fecha_operacion = None
-        if (
-            self.created_at_fecha_operacion
-            < Transaction.current_fecha_operacion()
-        ):
-            fecha_operacion = self.created_at_fecha_operacion
+        # fecha_operacion = None
+        # if (
+        #     self.created_at_fecha_operacion
+        #     < Transaction.current_fecha_operacion()
+        # ):
+        #     fecha_operacion = self.created_at_fecha_operacion
 
         stp_order = stpmex_client.ordenes_v2.consulta_clave_rastreo_enviada(
             clave_rastreo=self.clave_rastreo,
-            fecha_operacion=fecha_operacion,
+            fecha_operacion=self.created_at_fecha_operacion
+            if self.created_at_fecha_operacion
+            < Transaction.current_fecha_operacion()
+            else None,
         )
         return stp_order.estado
 
     def update_stp_status(self) -> None:
         try:
-            status = self.fetch_stp_status()
+            status: Optional[STPEstado] = self.fetch_stp_status()
         except EmptyResultsError:
             status = None
         except StpmexException as ex:
@@ -207,10 +220,10 @@ def update_stp_status(self) -> None:
         elif not self.stp_id and not status:
             self.set_state(Estado.failed)
             self.save()
-        elif status in STP_FAILED_STATUSES:
+        elif status in STP_FAILED_TRANSFERS_STATUSES:
             self.set_state(Estado.failed)
             self.save()
-        elif status in STP_SUCCEDED_STATUSES:
+        elif status in STP_SUCCEDED_TRANSFERS_STATUSES:
             self.set_state(Estado.succeeded)
             self.save()
         elif status is STPEstado.autorizada:

speid/tasks/transactions.py

@@ -1,16 +1,33 @@
-from typing import List
+import datetime as dt
+from typing import Dict, List
 
 import cep
 import pytz
 from celery.exceptions import MaxRetriesExceededError
 from cep.exc import CepError, MaxRequestError
 from mongoengine import DoesNotExist
-from stpmex.business_days import current_cdmx_time_zone
+from pydantic import ValidationError
+from stpmex.business_days import (
+    current_cdmx_time_zone,
+    get_next_business_day,
+    get_prior_business_day,
+)
+from stpmex.exc import EmptyResultsError
 
 from speid.helpers import callback_helper
+from speid.helpers.transaction_helper import (
+    process_incoming_transaction,
+    stp_model_to_dict,
+)
 from speid.models import Account, Event, Transaction
+from speid.models.transaction import (
+    REFUNDS_PAYMENTS_TYPES,
+    STP_VALID_DEPOSITS_STATUSES,
+)
+from speid.processors import stpmex_client
 from speid.tasks import celery
 from speid.types import Estado, EventType, TipoTransaccion
+from speid.validations.queries import DepositStatusQuery
 
 CURP_LENGTH = 18
 RFC_LENGTH = 13
@@ -127,25 +144,51 @@ def send_transaction_status(self, transaction_id: str, state: str) -> None:
     )
 
 
-@celery.task(max_retries=GET_RFC_TASK_MAX_RETRIES)
-def check_transfer_status(cuenta_ordenante: str, clave_rastreo: str) -> None:
+@celery.task
+def check_deposits_status(deposit: Dict) -> None:
     try:
-        transaction = Transaction.objects.get(
-            clave_rastreo=clave_rastreo, cuenta_ordenante=cuenta_ordenante
-        )
-    except DoesNotExist:
+        req = DepositStatusQuery(**deposit)
+    except ValidationError:
         return
 
-    if transaction.tipo is not TipoTransaccion.retiro:
-        return
-
-    if transaction.estado in [Estado.succeeded, Estado.failed]:
-        send_transaction_status.apply_async(
-            [transaction.id, transaction.estado]
+    try:
+        transaction = Transaction.objects.get(
+            clave_rastreo=req.clave_rastreo,
+            cuenta_beneficiario=req.cuenta_beneficiario,
+            tipo=TipoTransaccion.deposito,
         )
-    elif transaction.estado is Estado.error:
-        send_transaction_status.apply_async([transaction.id, Estado.failed])
-    elif transaction.estado is Estado.created:
-        ...
-    elif transaction.estado is Estado.submitted:
+    except DoesNotExist:
         ...
+    else:
+        retry_incoming_transactions.apply_async(([transaction.speid_id],))
+
+    # Si no existe en los registros se obtiene de STP y se intenta con 3 fechas
+    # operativas próximas a la fecha que el cliente nos proporcionó
+    fechas_operacion = [
+        get_next_business_day(req.fecha_deposito),
+        get_prior_business_day(req.fecha_deposito),
+        get_next_business_day(req.fecha_deposito + dt.timedelta(days=1)),
+    ]
+
+    for fecha_operacion in fechas_operacion:
+        try:
+            recibida = (
+                stpmex_client.ordenes_v2.consulta_clave_rastreo_recibida(
+                    clave_rastreo=req.clave_rastreo,
+                    fecha_operacion=fecha_operacion
+                    if Transaction.current_fecha_operacion() > fecha_operacion
+                    else None,
+                )
+            )
+        except EmptyResultsError:
+            ...
+        else:
+            if (
+                recibida.tipoPago in REFUNDS_PAYMENTS_TYPES
+                or recibida.estado not in STP_VALID_DEPOSITS_STATUSES
+            ):
+                return
+
+            stp_request = stp_model_to_dict(recibida)
+            process_incoming_transaction(stp_request)
+            return

speid/validations/queries.py

@@ -0,0 +1,10 @@
+import datetime as dt
+
+from clabe import Clabe
+from pydantic import BaseModel
+
+
+class DepositStatusQuery(BaseModel):
+    clave_rastreo: str
+    cuenta_beneficiario: Clabe
+    fecha_deposito: dt.date

tests/commands/test_spei.py

@@ -5,12 +5,12 @@
 import requests_mock
 from freezegun import freeze_time
 
-from speid.commands.spei import (
-    ESTADOS_DEPOSITOS_VALIDOS,
-    TIPOS_PAGO_DEVOLUCION,
-    speid_group,
-)
+from speid.commands.spei import speid_group
 from speid.models import Transaction
+from speid.models.transaction import (
+    REFUNDS_PAYMENTS_TYPES,
+    STP_VALID_DEPOSITS_STATUSES,
+)
 from speid.types import Estado, EventType
 from speid.validations import StpTransaction
 
@@ -149,7 +149,6 @@ def test_reconciliate_deposits_historic(runner):
     ).all()
 
     assert len(deposits_db) == 1
-    Transaction.drop_collection()
 
 
 @freeze_time("2023-08-27")  # 2023-08-26 18:00 UTC-6
@@ -175,8 +174,8 @@ def test_reconciliate_deposits_current_fecha_operacion(runner):
     valid_deposits = [
         d
         for d in deposits
-        if d['estado'] in ESTADOS_DEPOSITOS_VALIDOS
-        and d['tipoPago'] not in TIPOS_PAGO_DEVOLUCION
+        if d['estado'] in STP_VALID_DEPOSITS_STATUSES
+        and d['tipoPago'] not in REFUNDS_PAYMENTS_TYPES
     ]
 
     with requests_mock.mock() as m:
@@ -199,7 +198,6 @@ def test_reconciliate_deposits_current_fecha_operacion(runner):
     assert not any(
         d.clave_rastreo == devolucion['claveRastreo'] for d in deposits_db
     )
-    Transaction.drop_collection()
 
 
 @freeze_time("2023-08-26 01:00:00")  # 2023-08-25 19:00 UTC-6
@@ -249,8 +247,8 @@ def test_reconciliate_deposits_ignores_duplicated(runner):
     valid_deposits = [
         d
         for d in deposits
-        if d['estado'] in ESTADOS_DEPOSITOS_VALIDOS
-        and d['tipoPago'] not in TIPOS_PAGO_DEVOLUCION
+        if d['estado'] in STP_VALID_DEPOSITS_STATUSES
+        and d['tipoPago'] not in REFUNDS_PAYMENTS_TYPES
     ]
 
     with requests_mock.mock() as m:
@@ -270,4 +268,3 @@ def test_reconciliate_deposits_ignores_duplicated(runner):
     ).all()
 
     assert len(deposits_db) == len(valid_deposits)
-    Transaction.drop_collection()

tests/conftest.py

@@ -174,6 +174,6 @@ def orden_pago(outcome_transaction):
 
 
 @pytest.fixture(autouse=True)
-def cleanup_transfers():
+def cleanup_transactions():
     yield
     Transaction.drop_collection()