validate column: Pandas exception in combiner for min/max of dates/timestamps

[nj1973]

If a table contains dates/timestamps with a wide gap from the present day then min/max validations throw an exception:

    raise ValueError("Trying to coerce float values to integers")
ValueError: Trying to coerce float values to integers

Test tables
Oracle:

CREATE TABLE dvt_test.dvt_tricky_dates (
  id            NUMBER(5) NOT NULL PRIMARY KEY
, col_dt_low    DATE
, col_dt_epoch  DATE
, col_dt_high   DATE
, col_ts_low    TIMESTAMP(0)
, col_ts_epoch  TIMESTAMP(0)
, col_ts_high   TIMESTAMP(0));
INSERT INTO dvt_test.dvt_tricky_dates VALUES
(1,DATE'1000-01-01',DATE'1970-01-01',DATE'9999-12-31'
,TIMESTAMP'1000-01-01 00:00:00',TIMESTAMP'1970-01-01 00:00:00',TIMESTAMP'9999-12-31 23:59:59');
COMMIT;

PostgreSQL:

CREATE TABLE dvt_test.dvt_tricky_dates (
  id            integer NOT NULL PRIMARY KEY
, col_dt_low    date
, col_dt_epoch  date
, col_dt_high   date
, col_ts_low    timestamp(0)
, col_ts_epoch  timestamp(0)
, col_ts_high   timestamp(0));
INSERT INTO dvt_test.dvt_tricky_dates VALUES
(1,DATE'1000-01-01',DATE'1970-01-01',DATE'9999-12-31'
,TIMESTAMP'1000-01-01 00:00:00',TIMESTAMP'1970-01-01 00:00:00',TIMESTAMP'9999-12-31 23:59:59');

Test commands

col_dt_low:

data-validation -v validate column -sc ora_local -tc pg_local  --tables-list=dvt_test.dvt_tricky_dates \
 --min="col_dt_low" --max="col_dt_low" 
Traceback (most recent call last):
  File "/professional-services-data-validator/.venv/bin/data-validation", line 8, in <module>
    sys.exit(main())
             ^^^^^^
  File "/professional-services-data-validator/data_validation/__main__.py", line 694, in main
    validate(args)
  File "/professional-services-data-validator/data_validation/__main__.py", line 670, in validate
    run(args)
  File "/professional-services-data-validator/data_validation/__main__.py", line 636, in run
    run_validations(args, config_managers)
  File "/professional-services-data-validator/data_validation/__main__.py", line 575, in run_validations
    run_validation(config_manager, dry_run=args.dry_run, verbose=args.verbose)
  File "/professional-services-data-validator/data_validation/__main__.py", line 564, in run_validation
    validator.execute()
  File "/professional-services-data-validator/data_validation/data_validation.py", line 118, in execute
    result_df = self._execute_validation(
                ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/professional-services-data-validator/data_validation/data_validation.py", line 379, in _execute_validation
    raise e
  File "/professional-services-data-validator/data_validation/data_validation.py", line 360, in _execute_validation
    result_df = util.timed_call(
                ^^^^^^^^^^^^^^^^
  File "/professional-services-data-validator/data_validation/util.py", line 21, in timed_call
    result = fn(*args, **kwargs)
             ^^^^^^^^^^^^^^^^^^^
  File "/professional-services-data-validator/data_validation/combiner.py", line 77, in generate_report
    differences_df = client.execute(differences_pivot)
                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
...
    subarr = maybe_cast_to_integer_array(arr, dtype)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/professional-services-data-validator/.venv/lib/python3.11/site-packages/pandas/core/dtypes/cast.py", line 1688, in maybe_cast_to_integer_array
    raise ValueError("Trying to coerce float values to integers")
ValueError: Trying to coerce float values to integers 

col_dt_epoch (near present time):

data-validation -v validate column -sc ora_local -tc pg_local  --tables-list=dvt_test.dvt_tricky_dates \
 --min="col_dt_epoch" --max="col_dt_epoch" 
╒═══════════════════╤═══════════════════╤═══════════════════════════╤══════════════════════╤════════════════════╤════════════════════╤══════════════════╤═════════════════════╤══════════════════════════════════════╕
│ validation_name   │ validation_type   │ source_table_name         │ source_column_name   │ source_agg_value   │ target_agg_value   │   pct_difference │ validation_status   │ run_id                               │
╞═══════════════════╪═══════════════════╪═══════════════════════════╪══════════════════════╪════════════════════╪════════════════════╪══════════════════╪═════════════════════╪══════════════════════════════════════╡
│ max__col_dt_epoch │ Column            │ dvt_test.dvt_tricky_dates │ col_dt_epoch         │ 1970-01-01         │ 1970-01-01         │                0 │ success             │ 8cd6a97a-bb4b-4794-818c-4a4e50f6c0da │
├───────────────────┼───────────────────┼───────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ count             │ Column            │ dvt_test.dvt_tricky_dates │                      │ 1                  │ 1                  │                0 │ success             │ 8cd6a97a-bb4b-4794-818c-4a4e50f6c0da │
├───────────────────┼───────────────────┼───────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ min__col_dt_epoch │ Column            │ dvt_test.dvt_tricky_dates │ col_dt_epoch         │ 1970-01-01         │ 1970-01-01         │                0 │ success             │ 8cd6a97a-bb4b-4794-818c-4a4e50f6c0da │
╘═══════════════════╧═══════════════════╧═══════════════════════════╧══════════════════════╧════════════════════╧════════════════════╧══════════════════╧═════════════════════╧══════════════════════════════════════╛

col_dt_high:

data-validation -v validate column -sc ora_local -tc pg_local  --tables-list=dvt_test.dvt_tricky_dates \
 --min="col_dt_high" --max="col_dt_high" 
...
ValueError: Trying to coerce float values to integers

col_ts_low:

data-validation -v validate column -sc ora_local -tc pg_local  --tables-list=dvt_test.dvt_tricky_dates \
 --min="col_ts_low" --max="col_ts_low" 
...
ValueError: Trying to coerce float values to integers

col_ts_epoch:

data-validation -v validate column -sc ora_local -tc pg_local  --tables-list=dvt_test.dvt_tricky_dates \
 --min="col_ts_epoch" --max="col_ts_epoch" 
...
╒═══════════════════╤═══════════════════╤═══════════════════════════╤══════════════════════╤════════════════════╤════════════════════╤══════════════════╤═════════════════════╤══════════════════════════════════════╕
│ validation_name   │ validation_type   │ source_table_name         │ source_column_name   │ source_agg_value   │ target_agg_value   │   pct_difference │ validation_status   │ run_id                               │
╞═══════════════════╪═══════════════════╪═══════════════════════════╪══════════════════════╪════════════════════╪════════════════════╪══════════════════╪═════════════════════╪══════════════════════════════════════╡
│ count             │ Column            │ dvt_test.dvt_tricky_dates │                      │ 1                  │ 1                  │                0 │ success             │ 04aa937c-63bc-4db0-815c-39b590cbd1f6 │
├───────────────────┼───────────────────┼───────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ max__col_ts_epoch │ Column            │ dvt_test.dvt_tricky_dates │ col_ts_epoch         │ 1970-01-01         │ 1970-01-01         │                0 │ success             │ 04aa937c-63bc-4db0-815c-39b590cbd1f6 │
├───────────────────┼───────────────────┼───────────────────────────┼──────────────────────┼────────────────────┼────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ min__col_ts_epoch │ Column            │ dvt_test.dvt_tricky_dates │ col_ts_epoch         │ 1970-01-01         │ 1970-01-01         │                0 │ success             │ 04aa937c-63bc-4db0-815c-39b590cbd1f6 │
╘═══════════════════╧═══════════════════╧═══════════════════════════╧══════════════════════╧════════════════════╧════════════════════╧══════════════════╧═════════════════════╧══════════════════════════════════════╛

col_ts_high:

data-validation -v validate column -sc ora_local -tc pg_local  --tables-list=dvt_test.dvt_tricky_dates \
 --min="col_ts_high" --max="col_ts_high" 
...
ValueError: Trying to coerce float values to integers

[nj1973]

I need the tests from #1397 to be able to test any fix in this issue.

[nj1973]

I believe the problem stems from how we try to provide a difference between the values

professional-services-data-validator/data_validation/combiner.py

Lines 127 to 128 in 949d6c5

	source_value = field_differences["differences_source_value"].epoch_seconds()
	target_value = field_differences["differences_target_value"].epoch_seconds()

We use epoch_seconds() on dates/timestamps so that we can then figure out how far out the values are. If I remove that and simple compare the values then my test passes:

╒═══════════════════╤═══════════════════╤═══════════════════════════╤══════════════════════╤═════════════════════╤═════════════════════╤══════════════════╤═════════════════════╤══════════════════════════════════════╕
│ validation_name   │ validation_type   │ source_table_name         │ source_column_name   │ source_agg_value    │ target_agg_value    │   pct_difference │ validation_status   │ run_id                               │
╞═══════════════════╪═══════════════════╪═══════════════════════════╪══════════════════════╪═════════════════════╪═════════════════════╪══════════════════╪═════════════════════╪══════════════════════════════════════╡
│ count             │ Column            │ dvt_test.dvt_tricky_dates │                      │ 1                   │ 1                   │                0 │ success             │ 8e10f6a5-aac8-48f7-9f57-2f1446e91d74 │
├───────────────────┼───────────────────┼───────────────────────────┼──────────────────────┼─────────────────────┼─────────────────────┼──────────────────┼─────────────────────┼──────────────────────────────────────┤
│ min__col_ts_low   │ Column            │ dvt_test.dvt_tricky_dates │ col_ts_low           │ 1000-01-01 00:00:00 │ 1000-01-01 00:00:00 │              nan │ success             │ 8e10f6a5-aac8-48f7-9f57-2f1446e91d74 │
╘═══════════════════╧═══════════════════╧═══════════════════════════╧══════════════════════╧═════════════════════╧═════════════════════╧══════════════════╧═════════════════════╧══════════════════════════════════════╛

My guess is that epoch_seconds() is overflowing int somewhere in the Ibis/Pandas execution and giving us the exception.

The solution might be to cast the value to int64 before calculating the difference:

-        source_value = field_differences["differences_source_value"].epoch_seconds()
-        target_value = field_differences["differences_target_value"].epoch_seconds()
+        source_value = (
+            field_differences["differences_source_value"].epoch_seconds().cast("int64")
+        )
+        target_value = (
+            field_differences["differences_target_value"].epoch_seconds().cast("int64")
+        )