diff --git a/package-lock.json b/package-lock.json index c49275c..7e0ebd4 100644 --- a/package-lock.json +++ b/package-lock.json @@ -1796,7 +1796,6 @@ "version": "1.8.12", "resolved": "https://registry.npmjs.org/bunyan/-/bunyan-1.8.12.tgz", "integrity": "sha1-8VDw9nSKvdcq6uhPBEA74u8RN5c=", - "dev": true, "requires": { "dtrace-provider": "~0.8", "moment": "^2.10.6", @@ -2504,7 +2503,6 @@ "version": "0.8.7", "resolved": "https://registry.npmjs.org/dtrace-provider/-/dtrace-provider-0.8.7.tgz", "integrity": "sha1-3JObTT4GIM/gwc2APQ0tftBP/QQ=", - "dev": true, "optional": true, "requires": { "nan": "^2.10.0" @@ -4827,7 +4825,6 @@ "version": "2.23.0", "resolved": "https://registry.npmjs.org/moment/-/moment-2.23.0.tgz", "integrity": "sha512-3IE39bHVqFbWWaPOMHZF98Q9c3LDKGTmypMiTM2QygGXXElkFWIH7GxfmlwmY2vwa+wmNsoYZmG2iusf1ZjJoA==", - "dev": true, "optional": true }, "move-concurrently": { @@ -4860,7 +4857,6 @@ "version": "2.1.1", "resolved": "https://registry.npmjs.org/mv/-/mv-2.1.1.tgz", "integrity": "sha1-rmzg1vbV4KT32JN5jQPB6pVZtqI=", - "dev": true, "optional": true, "requires": { "mkdirp": "~0.5.1", @@ -4872,7 +4868,6 @@ "version": "6.0.4", "resolved": "https://registry.npmjs.org/glob/-/glob-6.0.4.tgz", "integrity": "sha1-DwiGD2oVUSey+t1PnOJLGqtuTSI=", - "dev": true, "optional": true, "requires": { "inflight": "^1.0.4", @@ -4886,7 +4881,6 @@ "version": "2.4.5", "resolved": "https://registry.npmjs.org/rimraf/-/rimraf-2.4.5.tgz", "integrity": "sha1-7nEM5dk6j9uFb7Xqj/Di11k0sto=", - "dev": true, "optional": true, "requires": { "glob": "^6.0.1" @@ -4898,7 +4892,6 @@ "version": "2.10.0", "resolved": "https://registry.npmjs.org/nan/-/nan-2.10.0.tgz", "integrity": "sha512-bAdJv7fBLhWC+/Bls0Oza+mvTaNQtP+1RyhhhvD95pgUJz6XM5IzgmxOkItJ9tkoCiplvAnXI1tNmmUD/eScyA==", - "dev": true, "optional": true }, "nanomatch": { @@ -4930,7 +4923,6 @@ "version": "2.0.0", "resolved": "https://registry.npmjs.org/ncp/-/ncp-2.0.0.tgz", "integrity": "sha1-GVoh1sRuNh0vsSgbo4uR6d9727M=", - "dev": true, "optional": true }, "neo-async": { @@ -6003,7 +5995,6 @@ "version": "1.2.0", "resolved": "https://registry.npmjs.org/safe-json-stringify/-/safe-json-stringify-1.2.0.tgz", "integrity": "sha512-gH8eh2nZudPQO6TytOvbxnuhYBOvDBBLW52tz5q6X58lJcd/tkmqFR+5Z9adS8aJtURSXWThWy/xJtJwixErvg==", - "dev": true, "optional": true }, "safe-regex": { diff --git a/package.json b/package.json index 7378467..53fad64 100644 --- a/package.json +++ b/package.json @@ -51,7 +51,6 @@ "@types/source-map-support": "^0.4.1", "@types/verror": "^1.10.3", "babel-loader": "^8.0.4", - "bunyan": "^1.8.12", "chai": "^4.2.0", "chai-exclude": "^1.0.12", "copy-webpack-plugin": "^4.5.2", @@ -75,6 +74,7 @@ }, "dependencies": { "better-sqlite3": "^5.2.1", + "bunyan": "^1.8.12", "cheerio": "^1.0.0-rc.2", "handlebars": "^4.0.12", "node-fetch": "^2.1.2", diff --git a/src/index.ts b/src/index.ts index 51ad1ee..138ab75 100644 --- a/src/index.ts +++ b/src/index.ts @@ -1,4 +1,3 @@ import 'source-map-support/register' export { scrape } from './scraper' -export * from './settings/external-utils' diff --git a/src/settings/config/runtime/tsr-declarations.js b/src/settings/config/runtime/tsr-declarations.js index b62f725..e71cf26 100644 --- a/src/settings/config/runtime/tsr-declarations.js +++ b/src/settings/config/runtime/tsr-declarations.js @@ -2,7 +2,7 @@ var _this = this; Object.defineProperty(exports, "__esModule", { value: true }); var lib_1 = require("ts-runtime/lib"); -lib_1.default.declare("Array.631742855", lib_1.default.type("Array", function (Array) { +lib_1.default.declare("Array.209944603", lib_1.default.type("Array", function (Array) { var T = Array.typeParameter("T"); return lib_1.default.object(lib_1.default.property("length", lib_1.default.nullable(lib_1.default.number())), lib_1.default.indexer("n", lib_1.default.nullable(lib_1.default.number()), lib_1.default.nullable(T)), lib_1.default.property("toString", lib_1.default.nullable(lib_1.default.function(lib_1.default.return(lib_1.default.nullable(lib_1.default.string()))))), lib_1.default.property("toLocaleString", lib_1.default.nullable(lib_1.default.function(lib_1.default.return(lib_1.default.nullable(lib_1.default.string()))))), lib_1.default.property("pop", lib_1.default.nullable(lib_1.default.function(lib_1.default.return(lib_1.default.nullable(lib_1.default.union(lib_1.default.nullable(T), lib_1.default.nullable(lib_1.default.undef()))))))), lib_1.default.property("push", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("items", lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.number()))))), lib_1.default.property("concat", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("items", lib_1.default.nullable(lib_1.default.union(lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(lib_1.default.ref(ConcatArray, lib_1.default.nullable(T))))), lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(lib_1.default.union(lib_1.default.nullable(T), lib_1.default.nullable(lib_1.default.ref(ConcatArray, lib_1.default.nullable(T))))))))), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))))))), lib_1.default.property("join", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("separator", lib_1.default.nullable(lib_1.default.string()), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.string()))))), lib_1.default.property("reverse", lib_1.default.nullable(lib_1.default.function(lib_1.default.return(lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))))))), lib_1.default.property("shift", lib_1.default.nullable(lib_1.default.function(lib_1.default.return(lib_1.default.nullable(lib_1.default.union(lib_1.default.nullable(T), lib_1.default.nullable(lib_1.default.undef()))))))), lib_1.default.property("slice", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("start", lib_1.default.nullable(lib_1.default.number()), true), lib_1.default.param("end", lib_1.default.nullable(lib_1.default.number()), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))))))), lib_1.default.property("sort", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("compareFn", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("a", lib_1.default.nullable(T)), lib_1.default.param("b", lib_1.default.nullable(T)), lib_1.default.return(lib_1.default.nullable(lib_1.default.number())))), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.this(_this)))))), lib_1.default.property("splice", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("start", lib_1.default.nullable(lib_1.default.number())), lib_1.default.param("deleteCount", lib_1.default.nullable(lib_1.default.number()), true), lib_1.default.param("items", lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))))))), lib_1.default.property("unshift", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("items", lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T))), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.number()))))), lib_1.default.property("indexOf", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("searchElement", lib_1.default.nullable(T)), lib_1.default.param("fromIndex", lib_1.default.nullable(lib_1.default.number()), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.number()))))), lib_1.default.property("lastIndexOf", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("searchElement", lib_1.default.nullable(T)), lib_1.default.param("fromIndex", lib_1.default.nullable(lib_1.default.number()), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.number()))))), lib_1.default.property("every", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("callbackfn", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("value", lib_1.default.nullable(T)), lib_1.default.param("index", lib_1.default.nullable(lib_1.default.number())), lib_1.default.param("array", lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T)))), lib_1.default.return(lib_1.default.nullable(lib_1.default.boolean()))))), lib_1.default.param("thisArg", lib_1.default.any(), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.boolean()))))), lib_1.default.property("some", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("callbackfn", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("value", lib_1.default.nullable(T)), lib_1.default.param("index", lib_1.default.nullable(lib_1.default.number())), lib_1.default.param("array", lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T)))), lib_1.default.return(lib_1.default.nullable(lib_1.default.boolean()))))), lib_1.default.param("thisArg", lib_1.default.any(), true), lib_1.default.return(lib_1.default.nullable(lib_1.default.boolean()))))), lib_1.default.property("forEach", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("callbackfn", lib_1.default.nullable(lib_1.default.function(lib_1.default.param("value", lib_1.default.nullable(T)), lib_1.default.param("index", lib_1.default.nullable(lib_1.default.number())), lib_1.default.param("array", lib_1.default.nullable(lib_1.default.array(lib_1.default.nullable(T)))), lib_1.default.return(lib_1.default.void())))), lib_1.default.param("thisArg", lib_1.default.any(), true), lib_1.default.return(lib_1.default.void())))), lib_1.default.property("map", lib_1.default.nullable(lib_1.default.function(function (fn) { var U = fn.typeParameter("U"); diff --git a/src/settings/options/runtime/tsr-declarations.js b/src/settings/options/runtime/tsr-declarations.js index 64549db..9c018ea 100644 --- a/src/settings/options/runtime/tsr-declarations.js +++ b/src/settings/options/runtime/tsr-declarations.js @@ -1,7 +1,7 @@ "use strict"; Object.defineProperty(exports, "__esModule", { value: true }); var lib_1 = require("ts-runtime/lib"); -lib_1.default.declare("global.Map.1935072597", lib_1.default.type("global.Map", function (Map) { +lib_1.default.declare("global.Map.3608425033", lib_1.default.type("global.Map", function (Map) { var K = Map.typeParameter("K"); var V = Map.typeParameter("V"); return lib_1.default.object(); diff --git a/src/settings/options/runtime/types.js b/src/settings/options/runtime/types.js index 3064bec..540517a 100644 --- a/src/settings/options/runtime/types.js +++ b/src/settings/options/runtime/types.js @@ -10,4 +10,4 @@ var ScraperOptions = lib_1.default.type("ScraperOptions", lib_1.default.intersec exports.Parallelism = lib_1.default.type("Parallelism", lib_1.default.object(lib_1.default.property("maxConcurrent", lib_1.default.nullable(lib_1.default.number()), true), lib_1.default.property("rateLimit", lib_1.default.object(lib_1.default.property("rate", lib_1.default.nullable(lib_1.default.number())), lib_1.default.property("limit", lib_1.default.nullable(lib_1.default.number()))), true))); exports.OptionsInit = lib_1.default.type("OptionsInit", lib_1.default.intersect(lib_1.default.ref(OptionsAny), lib_1.default.ref(exports.Parallelism), lib_1.default.object(lib_1.default.property("input", lib_1.default.nullable(lib_1.default.ref(exports.Input)), true), lib_1.default.property("folder", lib_1.default.nullable(lib_1.default.string())), lib_1.default.property("cleanFolder", lib_1.default.nullable(lib_1.default.boolean()), true), lib_1.default.property("logLevel", lib_1.default.nullable(lib_1.default.ref(LogLevel)), true), lib_1.default.property("logToFile", lib_1.default.nullable(lib_1.default.string()), true), lib_1.default.property("optionsEach", lib_1.default.object(lib_1.default.indexer("scraperName", lib_1.default.nullable(lib_1.default.string()), lib_1.default.nullable(lib_1.default.ref(ScraperOptionsInit)))), true)))); exports.Options = lib_1.default.type("Options", lib_1.default.intersect(lib_1.default.ref(ScraperOptions), lib_1.default.object(lib_1.default.property("input", lib_1.default.nullable(lib_1.default.ref(exports.Input))), lib_1.default.property("folder", lib_1.default.nullable(lib_1.default.string()))))); -exports.FlatOptions = lib_1.default.type("FlatOptions", lib_1.default.nullable(lib_1.default.ref("global.Map.1935072597", lib_1.default.nullable(lib_1.default.ref(ScraperName)), lib_1.default.nullable(lib_1.default.ref(exports.Options))))); +exports.FlatOptions = lib_1.default.type("FlatOptions", lib_1.default.nullable(lib_1.default.ref("global.Map.3608425033", lib_1.default.nullable(lib_1.default.ref(ScraperName)), lib_1.default.nullable(lib_1.default.ref(exports.Options)))));