Merge pull request #872 from enolfc/egi-pulsar

Add a pulsar endpoint for EGI deployed instance
usegalaxy-eu · Sep 1, 2023 · 4ace7fc · 4ace7fc
2 parents c7f4d8b + 778d026
commit 4ace7fc
Show file tree

Hide file tree

Showing 5 changed files with 90 additions and 61 deletions.
diff --git a/files/galaxy/config/user_preferences_extra_conf.yml b/files/galaxy/config/user_preferences_extra_conf.yml
@@ -72,6 +72,7 @@ preferences:
           # - ["Bergen (Norway) - UIB", no-pulsar]
           - ["Prague (Czech Republic) - MetaCentrum", cz-pulsar]
           - ["Bratislava (Slovakia) - IISAS", sk-pulsar]
+          - ["Bari (Italy) - INFN", egi-pulsar]
 
   ega_account:
     description: Your EGA (European Genome Archive) account

diff --git a/files/galaxy/tpv/destinations.yml.j2 b/files/galaxy/tpv/destinations.yml.j2
@@ -279,6 +279,18 @@ destinations:
       require:
         - cz-pulsar
 
+  pulsar_egi01_tpv:
+    inherits: pulsar_default
+    runner: pulsar_eu_egi01
+    max_accepted_cores: 8
+    max_accepted_mem: 15
+    min_accepted_gpus: 0
+    max_accepted_gpus: 0
+    scheduling:
+      require:
+        - egi-pulsar
+
+
   #############################
   # LOCAL CONDOR DESTINATIONS #
   #############################

diff --git a/group_vars/mq.yml b/group_vars/mq.yml
@@ -105,6 +105,9 @@ rabbitmq_users:
   - user: galaxy_sk01
     password: "{{ rabbitmq_password_galaxy_sk01 }}"
     vhost: /pulsar/galaxy_sk01
+  - user: galaxy_egi01
+    password: "{{ rabbitmq_password_galaxy_egi01 }}"
+    vhost: /pulsar/galaxy_egi01
 
 rabbitmq_plugins:
   - rabbitmq_management

diff --git a/secret_group_vars/pulsar.yml b/secret_group_vars/pulsar.yml
@@ -1,62 +1,64 @@
 $ANSIBLE_VAULT;1.1;AES256
-35386435356363613338643238343765383534396135376365323866623630646333623864643937
-3865383865383838323734656234323365336437366565340a303966666162363239323732383336
-66343238326463393137326266666664386262636538373331336162393464313239333233666664
-6439316430663763610a333563323565343233666264353764653637323865333839323336363664
-65366439663761613266613965393936376334646334643939306663356436353164626234656234
-35333537333030663037313562313764343337373030626233623465353030343637633864326139
-65373766356138616433383862373631333862313364623163613830663236643738646531303335
-30383432636362373434343831373430613664393134633439306365613235336138393831313164
-30643433363435343834333736646665373239393731616635636632316234653931343931623431
-38663063386662666536623138303237333461353834353765323830636639303866646438393333
-32373536333833633339396262646466626636623932616438323435313566373164636537303938
-62643762343464323761366438383033393730303836376335373932353964663038383464356365
-37333732646436396566383032316230373535363861633232363332343732323633383564623331
-64343031303839353334626138663433643961376236626534343366653061343530356637383931
-36373231633461396135623236623833376230653037373632643736643365353639343533613961
-32363630636132306437386133303064613063366631386163613563333930336166343235316535
-63623837383030666633633330656266623334333535333861666138663837383265346332363637
-66646136346164626334663830336465336166613137373138643939356334363461653537376465
-35646466346266313532313130373038666236386264366134376361373631393432333730313565
-36653738353837623761626536346636343133363231323938373036343934303264333463363635
-32353335666661663036396536306164613566643934373032643933616535356634633030396362
-66393333663332663862313438316130376561333466383666663038623931383939623631613237
-37383336313838666162336533323238326430636461386632383934626533613134646432393431
-33333137666362663637646130626235613733303164346336393363333232326133646331333534
-33653539613862333336653736376266373566643530616461333262386664663438653537353736
-61333236363334343363336530343732373463376230353063643035363962653434333334623133
-34623035333632663565383835313238346462663331616632393361613064643931393561356530
-32313731333334623830623466663835643937383230623135303466363737313333373239643538
-30613437653432353230383161666166656234373131393430646634363764386664663033393365
-64656636336666303536653832656561643932643866323738313133393364643235346136626631
-33353432376137363336353063336463396263333864666230333337636236666165396364346437
-35663730393339366230303334313636636165363531383264653639643930356438393633633961
-39623238643366626663363166343836323162393866626134663739326365666166663364396638
-39626636643736666630396665326337373036616539633964343466636333343663373938646663
-38306230313535383635643963623639666632306433306231383233373037343339353965376364
-31356338666635396232306435303737633232303730613733303435616534303131306339623364
-30386434616232316637373439343431633136363762366139366664386566393234643735656533
-33353735316561306337383336346363656538366436366539633338343436613066356537393561
-35316466336335623966616133643835613965333434376232396465313639366265636363323030
-35343466363634666463383430666238326338366436343433363062353231616239656537643135
-32343530323635313530633131356564323033646132343463373133393064616336326664366638
-62613539646163373938376664303961303031303639366630353039656430336338316334376562
-63636534396366653364623738343433643836386436646133626638303032366436623431306165
-62663932343963646464656263343833636534373536316166663437363234616632373765366163
-63636237353531303163613533653137633437663337343536336333663664336166326565626538
-31306339333932393733393537643062333939336139333835376433613866393861666535653039
-32623364303034303962343739373431353530313031363532653538326230363336666631303465
-32313632383935623165613935323938303735336237363033323934306530653164643537643732
-39303365313361363837363538653262616336626231373733663435366232326338343033343039
-38313166383132326536343761323031306262306461353263373631376262376430626234636164
-66356434353336653266653632316361663133653061323165646563303864353338323864613836
-37616632616633313665336265373762303834393265656431643439363766626338313961626432
-61666438326433333564616530663536383430636137663032393763643666643538333834336631
-36626637656132653564663434366431366265643265313833363761656264333235623130363933
-36653563346334636136396336653737633337303838326261373031373937633865666332393864
-63363738303530343135663362323530323736613531616161323538613565353231346161316433
-36656235616532336433353465343931356231313933646666333136663762353034336266623631
-39323039396432396163373430306238363230326435623032626239323738336566393430373665
-62393333626366653033326464313936623933353534666237373437336566636237363062356462
-34626365623331333636633134633361306434353733646330393939326439376665303639326133
-3864
+38656364323665313139383263656637646665666634316638666263376637346163613562376337
+6337633862633335363164333361393061346332626366610a616266646531666666306331633837
+65303635376631663663333735616536616139393637656133613534366433393635363564653566
+6664396637623264620a656338666134656462343166363238663663336535333130626438393466
+63646236343463666633303536653430363765306262663666633837663933366534363039363065
+38333364303737636664646564366666306634666661336431366636376231353732613063343039
+31316663313462666262376564306137653335393638366332376533616366323138326435323532
+35366465636433333136376462303764366635316132393364353463613831616139323834643861
+30303632383062313535636639313432396265316439373561363939386239333037333439643035
+35383838396135636263363864333930336333383930383333393931643164333730383964373963
+65316238323435633632636565383063343534316562363839393439343365323935613461636238
+38666337333765356531666338656330316637643731343439346432323839666433396135333863
+39623230616261653730393765366530316437616631336533323464336363393464353534376338
+64666137383333363434656439336136373366643461663139613436626530666566613131623533
+36626637366639616131653336396238383037343039616464366464386161333639643266386266
+35633063653565643331393431316337636130623837306635383166626366343834646436366234
+30366364643961303666636539643838323732663838336633646633363434336364343438656431
+65653764366166306366383764663239393061333563383230646564366439386434636635323731
+62346330633330323531643466363939616538663062333561363464656537313035363761393532
+34313730653832363334396165666564613632633934306431613131623335666133346565666439
+66636533653865343838643466373434393330626465376437616532323933653365303961363565
+66663263306233386639613564613162326139393563326462653563646334336264366164623432
+33363964326666333238326138393836633661363138656433353064616638323939333164346563
+65323930653962383937393436616565303930616464653963626264363261373161643630353762
+37343266666261333339626466356163366438376233353864376365303336623532663631396361
+30303531373631313231303361656330663635656164373436326164623436376564336539626662
+38633133623932373438346634356130623166623031303466393166643665653034326561393538
+32343864656332653532646137663336393461366439623234313434376234343232373830316266
+32353230613939646161313966663036616432316161356437656532333165323838373234646436
+35323963363538626133636131633762353630306561663066623930623437656630343535313330
+39303163613634343961636361653762323630306631663238323261656239386434323134333735
+32333730613033393331363865356339346439653364303134386537353234346138636239396438
+39653930623738333434373638336361646664396439346136343563643538356231653930626532
+39313461656436343337643636646166346639626336396637303738623639333765636430333666
+37656661613234316630643134383266613335356137303334623665396237323439386233626238
+39343331303366613933313265653238386133336135373339396638323865386536326561383938
+34636463396464363962373338396563316333366132616338623166346537393363353833653037
+39663465353232613664613566316231303766663234353139313664316133306665653761363161
+36383837653839393364353063376538343936363833343861653465623434663039333139613438
+63633933656465306438656465346361643031623034333763356466333738346235326338346266
+35386634666364326661666163636339613530636235363865323361333333663831323730353338
+32366536333530626261306266383732623433646338646130333433653836623564333163393030
+35326437363338303465303263376439653231336464366464393734366163336332393363336264
+61333766613334386164613636353130303139396137306535643037666265313434666635663332
+62653065633763376661373037656364303563613434633330313363663164396431313735343265
+61313439666330383435366133356562646139393731653865396232343139336230623964613731
+33336465653366353036316661323862366664383637663037346165373332666332303135646534
+31313931616133366539396639336338346539383136373134656537306434376664366666646434
+63353630323033323962343633333637306232633664353761393335346433396464666663643838
+33613066346165353730386434633639313063626163363164646234353734643834383236353365
+63623063643139343361306162323231333730326664383731666665333734303530646161316336
+65376634323765303062386665333766656230646461343633656333613936633437666164623034
+36376365306665303661303162646630343766396235343834396637623331356236663938666537
+65663263643139626235316565616638363463353163366331626534366237383832316162393634
+36613238613432356435646536353662636330323465396435353862663962663666373666316332
+62333231343236326365316338393761343331636163363938313237303630313639653765323038
+63306135616662373432626237613361303133373337323634393963636138366263303438376436
+34653266343037663465626130336436393635336139336331303130626134396436633530353863
+37323334336662343030666132646361633039376563313261393033366663333732636234323865
+33623633656261353863633865336230636566653134353964333135343139393036613334353562
+32396431316338326564643237393337326463613736323134306438643062326235623035626430
+66346331386135383866393633613832336239626430616664623961363031353231366233346665
+383835613836346136663634636236306365
diff --git a/templates/galaxy/config/job_conf.yml b/templates/galaxy/config/job_conf.yml
@@ -186,6 +186,17 @@ galaxy_jobconf:
         amqp_consumer_timeout: 2.0
         amqp_publish_retry: "true"
         amqp_publish_retry_max_retries: 60
+    - id: pulsar_eu_egi01
+      load: galaxy.jobs.runners.pulsar:PulsarMQJobRunner
+      params:
+        amqp_url: "pyamqp://galaxy_egi01:{{ rabbitmq_password_galaxy_egi01 }}@mq.galaxyproject.eu:5671//pulsar/galaxy_egi01?ssl=1"
+        galaxy_url: "https://usegalaxy.eu"
+        manager: production
+        amqp_acknowledge: "true"
+        amqp_ack_republish_time: 300
+        amqp_consumer_timeout: 2.0
+        amqp_publish_retry: "true"
+        amqp_publish_retry_max_retries: 60
   default_destination: tpv_dispatcher
   destinations:
     - id: local