Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

An unexpected error occured while loading the data #62

Closed
Lunyyx opened this issue Oct 6, 2024 · 19 comments
Closed

An unexpected error occured while loading the data #62

Lunyyx opened this issue Oct 6, 2024 · 19 comments

Comments

@Lunyyx
Copy link

Lunyyx commented Oct 6, 2024

Bonjour,

Lorsque j'essaye d'utiliser home-assistant-gazpar, j'obtiens une erreur, la voici:

2024-10-06 17:28:07.969 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:11.161 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:14.350 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:17.549 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:20.735 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:24.083 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:27.278 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:30.464 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:33.790 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:37.034 ERROR (SyncWorker_28) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.
2024-10-06 17:28:37.037 ERROR (SyncWorker_28) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.
2024-10-06 17:28:37.041 ERROR (SyncWorker_28) [custom_components.gazpar.sensor] Failed to query PyGazpar library. The exception has been raised: Traceback (most recent call last):
  File "/config/custom_components/gazpar/sensor.py", line 138, in update_gazpar_data
    self._dataByFrequency = client.loadSince(self._pceIdentifier, 1095)
                            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.

Par ailleurs, j'ai aussi souvent cette erreur:

Failed to query PyGazpar library. The exception has been raised: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

Evidemment, j'ai tenté plusieurs choses, j'ai vérifié plusieurs fois mes identifiants, qui fonctionnent, aussi bien sur le site de GRDF, mais aussi sur la librairie Python directement (Hors Home Assistant donc)

J'avoue que j'ai du mal à comprendre pourquoi la librairie fonctionne sur le même serveur, mais via python directement, mais par contre via Home Assistant, ça ne veut pas...

Une idée ?

Merci !

@ssenart
Copy link
Owner

ssenart commented Oct 6, 2024

Bonjour,

Tu dis: "j'ai aussi souvent cette erreur:".

Est-ce que ça veut dire que ça fonctionnait avant ?

Quelles versions de HA et de l'intégration utilises tu ?

Autre chose: il ne faut pas mettre de caractères spéciaux dans le mot de passe.

@Lunyyx
Copy link
Author

Lunyyx commented Oct 6, 2024

Bonjour,

Tu dis: "j'ai aussi souvent cette erreur:".

Est-ce que ça veut dire que ça fonctionnait avant ?

Quelles versions de HA et de l'intégration utilises tu ?

Autre chose: il ne faut pas mettre de caractères spéciaux dans le mot de passe.

Bonjour,

Oui, durant mes différent essais, j'ai souvent eu cette erreur.

Non non, mon installation est toute nouvelle, elle date d'hier, elle tourne sur une machine virtuelle KVM selon le tutoriel du site officiel.

Concernant la version de Home Assistant:
Core
2024.10.1

Supervisor
2024.09.1

Operating System
13.1

Interface utilisateur
20241002.2

J'utilise la toute dernière version de l'intégration, soit 1.3.7.

Concernant le mot de passe, c'est ce que j'avais cru comprendre, j'ai essayé de le changer pour quelque chose de plus simple, sans succès, pourtant les deux fonctionnaient si j'utilise le script python directement...

@ssenart
Copy link
Owner

ssenart commented Oct 6, 2024

Lorsque tu fais les tests avec la librairie PyGazpar directement, tu fais ça directement dans KVM ?

Sinon, je ne vois pas pourquoi l'un fonctionnerait et pas l'autre ! Les deux utilisent bien la même installation de Python ? Version 3.12 d'après les logs...

@Lunyyx
Copy link
Author

Lunyyx commented Oct 6, 2024

Lorsque tu fais les tests avec la librairie PyGazpar directement, tu fais ça directement dans KVM ?

Sinon, je ne vois pas pourquoi l'un fonctionnerait et pas l'autre ! Les deux utilisent bien la même installation de Python ? Version 3.12 d'après les logs...

Exactement, j'ai essayé à l'intérieur de KVM, et ça fonctionne via la librairie.

Par contre, rien du côté de Home Assistant, j'ai que des erreurs, ce que je trouve hyper étrange....

Les versions de Python sont bien les mêmes, je le confirme

@Lunyyx
Copy link
Author

Lunyyx commented Oct 6, 2024

Je viens de voir cette erreur un peu plus haut, si ça peut aider:

2024-10-06 19:58:13.943 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration hacs which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-06 19:58:13.944 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration gazpar which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-06 19:58:16.046 WARNING (MainThread) [homeassistant.util.loop] Detected blocking call to open with args ('/config/custom_components/gazpar/manifest.json',) inside the event loop by custom integration 'gazpar' at custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile: (offender: /config/custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile:), please create a bug report at https://github.com/ssenart/ha-custom_components/issues
For developers, please see https://developers.home-assistant.io/docs/asyncio_blocking_operations/#open

@Fenkiou
Copy link

Fenkiou commented Oct 6, 2024

Perso j’ai exactement le même soucis, j’arrive à récupérer les données via la lib directement, mais via home assistant, ça me génère la même erreur.

@ssenart
Copy link
Owner

ssenart commented Oct 6, 2024

Concernant le message "Detected blocking call", j'ai une idée d'où ça peut venir. Je vois que maintenant HA utilise les routines async de Python que ne sont pas mise en oeuvre dans home-assistant-gazpar.

Cela nécessite un peu de travail pour le mettre à jour et s'aligner sur la nouvelle bonne façon de fonctionner. A l'occasion, voir si il y a d'autres éléments de code à actualiser...

Je vais essayer de dégager un peu de temps prochainement pour faire ça.

@C-Duv
Copy link

C-Duv commented Oct 7, 2024

J'ai également les même erreurs « An error occurred while loading data. Please check your credentials. », visibles dans les journaux (URL /config/logs) :

Enregistreur: pygazpar.client
Source: /usr/local/lib/python3.12/site-packages/pygazpar/client.py:41
S'est produit pour la première fois: 5 octobre 2024 à 21:59:56 (3 occurrences)
Dernier enregistrement: 05:59:50
An unexpected error occured while loading the data

Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.

La commande suivante fonctionne pourtant très bien, mais je ne l'ai exécutée que depuis mon ordinateur car je n'arrive pas à trouver comment la tester sur Home Assistant (avec l'add-on "Terminal & SSH" j'ai bien une CLI mais il n'y trouve pas python) :

python -m pygazpar -u "${login}" -p "${password}" -c "${pce}" --datasource 'json'

@ssenart
Copy link
Owner

ssenart commented Oct 7, 2024

Hello,

Je viens de fixer le problème en 1.3.8 qui amène le message:

Detected blocking call to open with args ('/config/custom_components/gazpar/manifest.json',) inside the event loop by custom integration 'gazpar' at custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile: (offender: /config/custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile:), please create a bug report at https://github.com/ssenart/ha-custom_components/issues
For developers, please see https://developers.home-assistant.io/docs/asyncio_blocking_operations/#open

Pourriez-vous vérifier si ça corrige aussi l'autre problème ?

@C-Duv
Copy link

C-Duv commented Oct 7, 2024

Je ne vois plus d'erreur Detected blocking call mais j'ai encore l'autre :

Enregistreur: pygazpar.client
Source: /usr/local/lib/python3.12/site-packages/pygazpar/client.py:41
S'est produit pour la première fois: 22:53:39 (1 occurrences)
Dernier enregistrement: 22:53:39

An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

@Lunyyx
Copy link
Author

Lunyyx commented Oct 7, 2024

Salut,

Merci de la mise à jour, mais le soucis reste le même pour moi aussi malheureusement... 😕

@Fenkiou
Copy link

Fenkiou commented Oct 8, 2024

Le problème est toujours là. Voici le log complet (ou tout du moins ce que je peux récupérer via l'interface d'home assistant). Plus d'erreur de credentials semblerait.

2024-10-08 09:23:08.188 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration gazpar which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-08 09:23:08.189 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration hacs which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-08 09:23:08.457 WARNING (Recorder) [homeassistant.components.recorder.util] The system could not validate that the sqlite3 database at //config/home-assistant_v2.db was shutdown cleanly
2024-10-08 09:23:08.466 WARNING (Recorder) [homeassistant.components.recorder.util] Ended unfinished session (id=12 from 2024-10-08 07:16:59.458129)
2024-10-08 09:23:17.619 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:21.395 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:25.671 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:29.954 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:34.017 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:37.623 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:41.368 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:45.369 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:48.832 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:53.724 ERROR (SyncWorker_4) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}
2024-10-08 09:23:53.726 ERROR (SyncWorker_4) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}
2024-10-08 09:23:53.731 ERROR (MainThread) [custom_components.gazpar.sensor] Failed to query PyGazpar library. The exception has been raised: Traceback (most recent call last):
  File "/config/custom_components/gazpar/sensor.py", line 146, in async_update_gazpar_data
    self._dataByFrequency = await loop.run_in_executor(None, client.loadSince, self._pceIdentifier, 1095)
                            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/concurrent/futures/thread.py", line 58, in run
    result = self.fn(*self.args, **self.kwargs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

@C-Duv
Copy link

C-Duv commented Oct 8, 2024

@ssenart qu'est-ce que je (on) peut faire/tester pour aider ?

Déjà j'aimerais bien accéder en CLI à ce qui exécute l'integration, ça me permettrait de bidouiller pour voir ce qui se passe.

@ssenart
Copy link
Owner

ssenart commented Oct 8, 2024

Une autre idée:

Dans le code de l'intégration, le profondeur de jours pour récupérer des données est en dur à 1095 jours. Autrement dit, on demande à GrDF de nous reconvoyer les derniers 1095 jours de données.

Et vous avez "Internal Server Error" qui dénote une erreur côté serveur GrDF.

Peut-être que cette profondeur doit être ajustée suivant les comptes ?

Pour nous en assurer, est-ce vous pouvez utiliser PyGazpar en ligne de commande et jouer avec le paramètre -d (--lastNDays) en commençant petit jusqu'à la valeur de 1095 ? Est-ce que vous reproduisez l'erreur à partir d'une certaine valeur ?

@Fenkiou
Copy link

Fenkiou commented Oct 8, 2024

@ssenart Bien vu

➜ pygazpar -u 'XXX' -p 'XXX' -c 'XXX' --datasource 'json' --lastNDays 1095
An error occured while querying PyGazpar library : %s Traceback (most recent call last):
  File "/Users/alex/Library/Application Support/pipx/venvs/pygazpar/lib/python3.12/site-packages/pygazpar/__main__.py", line 74, in main
    data = client.loadSince(args.pce, int(args.lastNDays), [args.frequency])
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/alex/Library/Application Support/pipx/venvs/pygazpar/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/alex/Library/Application Support/pipx/venvs/pygazpar/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/alex/Library/Application Support/pipx/venvs/pygazpar/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/alex/Library/Application Support/pipx/venvs/pygazpar/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/Users/alex/Library/Application Support/pipx/venvs/pygazpar/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

Pour 1095 jours ça plante.
Pour 365 jours, c'est ok.
Pour 730 jours, c'est ok.
Ca commence a planter à 743 (c'est précis 😅).

@ssenart
Copy link
Owner

ssenart commented Oct 8, 2024

Très bien, dans ce cas, je vais vous faire une version dans laquelle ce nombre de jours sera configurable.

@C-Duv
Copy link

C-Duv commented Oct 8, 2024

Dans mon cas (où je n'ai activé l'historisation côté GrDF que depuis peu) j'ai le comportement suivant :

  • Pas de limite de jours (python -m pygazpar … --datasource 'json') : OK
    Je reçois 258 mesures/éléments.
  • Limite explicite de 1095 jours (python -m pygazpar … --datasource 'json' --lastNDays 1095) : échec

    Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

  • Limite explicite de 730 jours (python -m pygazpar … --datasource 'json' --lastNDays 730) : échec

    Exception: An error occurred while loading data. Please check your credentials.

  • Limite explicite de 10 jours (python -m pygazpar … --datasource 'json' --lastNDays 10) : OK
    Je reçois 10 mesures/éléments.
  • Limite explicite de 300 jours (python -m pygazpar … --datasource 'json' --lastNDays 10) : OK
    Je reçois 258 mesures/éléments.

Note : pour compter les éléments reçu j'utilise jq :

python -m pygazpar -u "${login}" -p "${gaz_password}" -c "${pce}" --datasource 'json' --lastNDays ${days} \
| jq '.daily | length'

@ssenart
Copy link
Owner

ssenart commented Oct 8, 2024

Je viens de publier une nouvelle version 1.3.9 qui permet de rajouter un paramètre optionnel 'lastNDays':

'lastNDays' is the number of days of data to download from GrDF (only available from version 1.3.9). Its default value is 1095 (3 years).

Rajoutez ce paramètre dans votre fichier de configuration et mettez lui une valeur qui permet à l'intégration de fonctionner correctement.

@Lunyyx
Copy link
Author

Lunyyx commented Oct 8, 2024

Tout est bon de mon côté, merci bien !

@Lunyyx Lunyyx closed this as completed Oct 8, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants