Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[BRMO-374|BRMO-231] Opruimen BRK 1 transformatie xsl en aanliggende code #2317

Merged
merged 8 commits into from
Nov 28, 2024
Merged

[BRMO-374|BRMO-231] Opruimen BRK 1 transformatie xsl en aanliggende code #2317

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
8 commits
Select commit Hold shift + click to select a range
608af3b
BRMO-374: Verwijder `BRKDirectoryScanner` en `BRKScannerProces` autom…
mprins Nov 26, 2024
4754613
BRMO-374: Verwijder code voor BRK 1 functies uit geavanceerde functies
mprins Nov 26, 2024
c7b0425
BRMO-374: Verwijder de BRK 1 xslt stylesheet en `BrkSnapshotXMLReader`
mprins Nov 26, 2024
87a3488
BRMO-374: Verwijder BR_BRK bericht soort
mprins Nov 26, 2024
f420a26
BRMO-374: Verwijder niet langer gebruikte XSLT stylesheets
mprins Nov 26, 2024
81477f6
BRMO-374: opruimen van BRK 1 referenties
mprins Nov 26, 2024
1578352
BRMO-374: opruimen ongebruikte functie om BRK verwijderberichten te h…
mprins Nov 26, 2024
67aaa7c
BRMO-374: Staging upgrade scripts om niet langer bestaande jobs te ve…
mprins Nov 26, 2024
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 5 additions & 7 deletions brmo-loader/src/main/java/nl/b3p/brmo/loader/BrmoFramework.java
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -41,15 +41,13 @@ public class BrmoFramework {

private static final Log log = LogFactory.getLog(BrmoFramework.class);

public static final String BR_BRK = "brk";
public static final String BR_BRK2 = "brk2";
public static final String BR_NHR = "nhr";
public static final String BR_TOPNL = "topnl";
public static final String BR_BRP = "brp";
public static final String BR_GBAV = "gbav";
public static final String BR_WOZ = "woz";

public static final String XSL_BRK = "/xsl/brk-snapshot-to-rsgb-xml.xsl";
public static final String XSL_BRK2 = "/xsl/brk2-snapshot-to-rsgb-xml.xsl";
public static final String XSL_NHR = "/xsl/nhr-to-rsgb-xml-3.0.xsl";
public static final String XSL_BRP = "/xsl/brp-to-rsgb-xml.xsl";
Expand Down Expand Up @@ -428,7 +426,7 @@ protected synchronized void afterRead(int n) throws IOException {
/**
* laden van BR data uit een stream.
*
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param stream datastream
* @param fileName te gebruiken bestandsnaam om laadproces te identificeren
* @throws BrmoException als er een algemene fout optreed
Expand All @@ -446,7 +444,7 @@ public void loadFromStream(String type, InputStream stream, String fileName)
/**
* laden van BR data uit een stream.
*
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param stream datastream
* @param fileName te gebruiken bestandsnaam om laadproces te identificeren
* @param automatischProces id van automatisch proces dat deze functie aanroept
Expand All @@ -473,7 +471,7 @@ public void loadFromStream(
/**
* laden van BR data uit een stream.
*
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param stream datastream
* @param fileName te gebruiken bestandsnaam om laadproces te identificeren
* @param d bestandsdatum
Expand All @@ -491,7 +489,7 @@ public void loadFromStream(String type, InputStream stream, String fileName, Dat
/**
* laden van BR data uit een stream.
*
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param stream datastream
* @param fileName te gebruiken bestandsnaam om laadproces te identificeren
* @param d bestandsdatum
Expand Down Expand Up @@ -519,7 +517,7 @@ public void loadFromStream(
/**
* laden van BR data uit een stream.
*
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param stream datastream
* @param fileName te gebruiken bestandsnaam om laadproces te identificeren
* @param listener mag {@code null} zijn
Expand Down
73 changes: 13 additions & 60 deletions brmo-loader/src/main/java/nl/b3p/brmo/loader/RsgbProxy.java
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,6 +1,5 @@
package nl.b3p.brmo.loader;

import java.io.IOException;
import java.io.PrintWriter;
import java.io.StringReader;
import java.io.StringWriter;
Expand All @@ -26,7 +25,6 @@
import javax.sql.DataSource;
import javax.xml.parsers.ParserConfigurationException;
import javax.xml.transform.TransformerConfigurationException;
import javax.xml.transform.TransformerException;
import javax.xml.transform.dom.DOMSource;
import javax.xml.transform.stream.StreamSource;
import nl.b3p.brmo.loader.entity.Bericht;
Expand All @@ -49,7 +47,6 @@
import org.javasimon.Split;
import org.locationtech.jts.io.ParseException;
import org.w3c.dom.Node;
import org.xml.sax.SAXException;

/**
* @author Boy de Wit
Expand Down Expand Up @@ -646,39 +643,6 @@
metaData = this.dbMetadataBrk;
}

// TODO BRK2 bepalen of dit nog nodig is voor BRK2
if (updateProcess.isUpdateDbXml() && jobBericht.getSoort().equals(BrmoFramework.BR_BRK)) {
try {
// maak nieuwe DbXml voor het bericht op basis van de br xml en gebruik die in
// verdere verwerking
Bericht berichtBericht = stagingProxy.getBerichtById(jobBericht.getId());
log.trace("job bericht: " + jobBericht);
log.trace("origineel bericht: " + berichtBericht);
RsgbTransformer t = new RsgbTransformer(BrmoFramework.XSL_BRK);
final String newDbXml = t.transformToDbXml(berichtBericht);
berichtBericht.setDbXml(newDbXml);
jobBericht.setDbXml(newDbXml);
berichtBericht.setStatus(Bericht.STATUS.RSGB_OK);
berichtBericht.setStatusDatum(new Date());
SimpleDateFormat dateTimeFormat = new SimpleDateFormat("dd-MM-yyyy HH:mm:ss");
berichtBericht.setOpmerking(
String.format(
"%s: Middels update proces '%s' her-verwerkt.\nDe eerdere db_xml van dit bericht is vervangen door nieuwe.\n\nOude verwerkingslog\n\n%s",
dateTimeFormat.format(new Date()),
updateProcess.getName(),
berichtBericht.getOpmerking()));
log.trace("updated bericht: " + jobBericht);
log.trace("job bericht: " + jobBericht);
stagingProxy.updateBerichtProcessing(berichtBericht);
} catch (SAXException
| IOException
| TransformerException
| ParserConfigurationException
| SQLException e) {
log.error("Bijwerken van db_xml is mislukt voor bericht " + jobBericht.getId(), e);
}
}

try {
if (conn.getAutoCommit()) {
conn.setAutoCommit(false);
Expand Down Expand Up @@ -727,28 +691,17 @@
throws TransformerConfigurationException, ParserConfigurationException {
RsgbTransformer t = rsgbTransformers.get(brType);
if (t == null) {
switch (brType) {
case BrmoFramework.BR_BRK:
t = new RsgbTransformer(BrmoFramework.XSL_BRK);
break;
case BrmoFramework.BR_BRK2:
t = new RsgbTransformer(BrmoFramework.XSL_BRK2);
break;
case BrmoFramework.BR_BRP:
t = new RsgbBRPTransformer(BrmoFramework.XSL_BRP, this.stagingProxy);
break;
case BrmoFramework.BR_NHR:
t = new RsgbTransformer(BrmoFramework.XSL_NHR);
break;
case BrmoFramework.BR_GBAV:
t = new RsgbTransformer(BrmoFramework.XSL_GBAV);
break;
case BrmoFramework.BR_WOZ:
t = new RsgbWOZTransformer(BrmoFramework.XSL_WOZ, this.stagingProxy);
break;
default:
throw new IllegalArgumentException("Onbekende basisregistratie: " + brType);
}
t =
switch (brType) {
case BrmoFramework.BR_BRK2 -> new RsgbTransformer(BrmoFramework.XSL_BRK2);
case BrmoFramework.BR_BRP ->
new RsgbBRPTransformer(BrmoFramework.XSL_BRP, this.stagingProxy);

Check warning on line 698 in brmo-loader/src/main/java/nl/b3p/brmo/loader/RsgbProxy.java

View check run for this annotation

Codecov / codecov/patch

brmo-loader/src/main/java/nl/b3p/brmo/loader/RsgbProxy.java#L698 

Added line #L698 was not covered by tests
case BrmoFramework.BR_NHR -> new RsgbTransformer(BrmoFramework.XSL_NHR);
case BrmoFramework.BR_GBAV -> new RsgbTransformer(BrmoFramework.XSL_GBAV);
case BrmoFramework.BR_WOZ ->
new RsgbWOZTransformer(BrmoFramework.XSL_WOZ, this.stagingProxy);
default -> throw new IllegalArgumentException("Onbekende basisregistratie: " + brType);
};
rsgbTransformers.put(brType, t);
}
return t;
Expand Down Expand Up @@ -1033,7 +986,7 @@
* formatting. De fallback optie voor formatting is {@code yyyy-MM-dd}, ondersteunde opties zijn:
*
* <ul>
* <li>{@code yyyy-MM-dd} (BRK / BRK2)
* <li>{@code yyyy-MM-dd} (BRK2)
* <li>{@code yyyyMMddHHmmssSSS0} (BAG)
* </ul>
*
Expand All @@ -1042,7 +995,7 @@
* @return formatted datum, indien mogelijk in de vorm van {@code otherDate}
*/
private String formatDateLikeOtherDate(Date newDate, String otherDate) {
// 2010-06-29 (BRK/BRK2)
// 2010-06-29 (BRK2)
SimpleDateFormat dfltFmt = new SimpleDateFormat("yyyy-MM-dd");
// 201006291200000000 (BAG)
SimpleDateFormat f2 = new SimpleDateFormat("yyyyMMddHHmmssSSS0");
Expand Down
18 changes: 3 additions & 15 deletions brmo-loader/src/main/java/nl/b3p/brmo/loader/StagingProxy.java
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -15,7 +15,6 @@
import nl.b3p.brmo.loader.entity.Bericht;
import nl.b3p.brmo.loader.entity.BerichtenSorter;
import nl.b3p.brmo.loader.entity.Brk2Bericht;
import nl.b3p.brmo.loader.entity.BrkBericht;
import nl.b3p.brmo.loader.entity.LaadProces;
import nl.b3p.brmo.loader.pipeline.BerichtTypeOfWork;
import nl.b3p.brmo.loader.pipeline.BerichtWorkUnit;
Expand All @@ -28,7 +27,6 @@
import nl.b3p.brmo.loader.util.TableData;
import nl.b3p.brmo.loader.xml.BRPXMLReader;
import nl.b3p.brmo.loader.xml.Brk2SnapshotXMLReader;
import nl.b3p.brmo.loader.xml.BrkSnapshotXMLReader;
import nl.b3p.brmo.loader.xml.BrmoXMLReader;
import nl.b3p.brmo.loader.xml.GbavXMLReader;
import nl.b3p.brmo.loader.xml.NhrXMLReader;
Expand Down Expand Up @@ -813,7 +811,7 @@ public List<Bericht> getBerichten() throws SQLException {
* Laadt het bestand uit de stream in de database.
*
* @param stream input
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param fileName naam van het bestand (ter identificatie)
* @param d bestandsdatum
* @param listener progress listener
Expand All @@ -832,7 +830,7 @@ public void loadBr(
* Laadt het bestand uit de stream in de database.
*
* @param stream input
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK}
* @param type type registratie, bijv. {@value BrmoFramework#BR_BRK2}
* @param fileName naam van het bestand (ter identificatie)
* @param d bestandsdatum
* @param automatischProces id van het automatisch proces
Expand All @@ -851,9 +849,7 @@ public void loadBr(
CountingInputStream cis = new CountingInputStream(stream);

BrmoXMLReader brmoXMLReader;
if (type.equals(BrmoFramework.BR_BRK)) {
brmoXMLReader = new BrkSnapshotXMLReader(cis);
} else if (type.equals(BrmoFramework.BR_BRK2)) {
if (type.equals(BrmoFramework.BR_BRK2)) {
brmoXMLReader = new Brk2SnapshotXMLReader(cis);
} else if (type.equals(BrmoFramework.BR_NHR)) {
brmoXMLReader = new NhrXMLReader(cis);
Expand Down Expand Up @@ -931,14 +927,6 @@ public void loadBr(
log.debug(b);

Bericht existingBericht = getExistingBericht(b);
if (type.equals(BrmoFramework.BR_BRK) && !isBerichtGeschreven) {
// haal alleen voor eerste
BrkBericht brkBericht = (BrkBericht) b;
lp.setBestandNaamHersteld(
brkBericht.getRestoredFileName(lp.getBestandDatum(), b.getVolgordeNummer()));
updateLaadProcesBestandNaamHersteld(lp);
}

// TODO BRK2 bepalen of dit nog nodig is voor BRK2
if (type.equals(BrmoFramework.BR_BRK2) && !isBerichtGeschreven) {
// haal alleen voor eerste
Expand Down
Loading
Loading