Ressource "temps réel" Möbius marquée comme "non disponible"

[thbar]

Après ajout de la ressource temps réel pour ce dataset:

https://transport.data.gouv.fr/datasets/horaires-theoriques-et-temps-reel-reseau-mobius/

la ressource est marquée comme "non disponible).

Pourtant le lien pointé est bon à première vue:

https://tr.transport.data.gouv.fr/horaires-theoriques-et-temps-reel-reseau-mobius/gtfs-rt

Je vais aller enquêter.

[thbar]

Liens locaux par commodité:

• http://localhost:5000/datasets/horaires-theoriques-et-temps-reel-reseau-mobius/
• http://localhost:5000/backoffice/datasets/617/edit

[thbar]

J'ai identifié le problème sous-jacent, ça doit je pense concerner d'autres ressources.

[thbar]

Au final ça ne concerne que la ressource actuelle. Voici l'explication.

• l'url de la ressource est https://tr.transport.data.gouv.fr/horaires-theoriques-et-temps-reel-reseau-mobius/gtfs-rt
• c'est une ressource dans le proxy rust
• l'évaluation du fait que la ressource est "available" est stockée en base dans le champ is_available
• cette évaluation se fait ici:

transport-site/apps/transport/lib/transport/import_data.ex

Lines 338 to 351 in 142e8e7

	@spec available?(map()) :: boolean
	# Temporarily disabled since data.gouv.fr has been blocked by ODS
	# def available?(%{"extras" => %{"check:available" => available}}), do: available
	def available?(%{"url" => "https://static.data.gouv.fr/" <> _}), do: true
	def available?(%{"url" => "https://demo.data.gouv.fr/" <> _}), do: true
	def available?(%{"format" => "csv"}), do: true
	def available?(%{"type" => "api"}), do: true
	def available?(%{"url" => url}) do
	case HTTPoison.head(url) do
	{:ok, %HTTPoison.Response{status_code: code}} when code >= 200 and code < 400 -> true
	_ -> false
	end
	end

• dans le cas de notre url en "tr.transport", on tombe sur le cas où une requête HTTPoison.head est faite par le code
• il se trouve que le proxy "tr.transport" ne gère actuellement pas les requêtes HEAD (j'avais ouvert un ticket à ce sujet Implement HEAD queries transpo-rt#113)

J'ai été voir en base si d'autres ressources étaient concernées:

select count(*), format, is_available
from resource
where url like 'https://tr.transport%'
group by format, is_available

Le résultat est:

count	format	is_available
1	gtfs-rt	false
43	siri-lite	true

Donc il semblerait, si je ne me trompe pas, que c'est la première fois qu'on ajoute une ressource avec une url en "tr.transport". Je suis étonné à première vue :-)

Du coup les options sont:

1. comprendre quel est le workflow normal qui ne nécessiterait pas de modifier le proxy
2. ou bien corriger Implement HEAD queries transpo-rt#113

[thbar]

Voici la réponse du proxy Rust pour mémoire, avec un statut 405:

{:ok,
 %HTTPoison.Response{
   body: "",
   headers: [
     {"content-length", "0"},
     {"date", "Tue, 09 Mar 2021 17:26:24 GMT"},
     {"Sozu-Id", "c976e871-ae09-459a-befe-51205a06551a"}
   ],
   request: %HTTPoison.Request{
     body: "",
     headers: [],
     method: :head,
     options: [],
     params: %{},
     url: "https://tr.transport.data.gouv.fr/horaires-theoriques-et-temps-reel-reseau-mobius/gtfs-rt"
   },
   request_url: "https://tr.transport.data.gouv.fr/horaires-theoriques-et-temps-reel-reseau-mobius/gtfs-rt",
   status_code: 405
 }}

[thbar]

Je dois aller vérifier ce qui se passe dans le cas du SIRI lite https://transport.data.gouv.fr/datasets/horaires-theoriques-et-temps-reel-du-reseau-bmob-bernay-gtfs-gtfs-rt/ - dixit @Miryad3108 rien n'est vérifié.

[fchabouis]

Pour information le dataset https://transport.data.gouv.fr/datasets/donnees-temps-reels-sur-les-veliverts-velo-en-libre-service-de-saint-etienne-metropole est dans le même cas (même si ce n'est pas notre proxy rust), leur serveur ne gère pas la méthode head, on a une réponse 405, leurs jeux se retrouvent donc en non disponibles.

Je me demande si on ne devrait pas être plus fins, et par exemple considérer qu'une réponse 405 fait partie des réponses qui renvoient available à true. Ou bien doit déclencher un get ?

[fchabouis]

les ressources sont de retour en vert ce matin suite au merge. Trop cool !