Correction de la détection des ressources non disponibles

[fchabouis]

closes #1665
closes #1538

L'idée est de supprimer tous les cas particuliers et de traiter toutes les ressources de la même manière :

• on fait une requête head, en suivant les éventuelles redirections pour voir si la ressources est bien disponible
• en cas de réponse 405 (signifiant que la méthode HEAD n'est pas supportée), on passe au plan B : on fait un GET en streamant la réponse. Dès qu'on a l'information sur le statut de la réponse, on arrête le streaming pour gagner du temps.

Question à laquelle je viens de penser : quid des ressources sur ftp ? (voir #1409)

[thbar]

@fchabouis pour les ressources FTP, j'ai un plan qui est de systématiquement passer par le proxy Elixir pour créer ces ressources, ce qui fera qu'on n'aura pas de cas particulier à gérer (on peut en reparler de vive voix si ce n'est pas clair), ça se fera en HTTPS.

[thbar]

Quelques petites choses à améliorer idéalement, et je me demande si tu as pu faire un test global sur toutes les ressources pour voir comment ça se comporte aussi !

[fchabouis]

J'ai fait tourner sur l'ensemble des 2304 ressources. On a 294 ressources non dispo et 2010 disponibles.
Et pas de crash :)

iex(6)> urls = DB.Resource |> DB.Repo.all() |> Enum.map(fn r -> r.url end)
iex(7)> urls |> Enum.count()                       
2304
iex(8)> available = urls |> Enum.map(fn u -> Transport.AvailabilityChecker.available?(u) end)
iex(9)> available |> Enum.frequencies()                                   
%{false: 294, true: 2010}

[thbar]

Ca paraît good ! Beau boulot !