Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Release DataFusion 21.1.0 #5744

Closed
alamb opened this issue Mar 26, 2023 · 12 comments
Closed

Release DataFusion 21.1.0 #5744

alamb opened this issue Mar 26, 2023 · 12 comments
Assignees
@alamb
Labels
enhancement New feature or request

Comments

@alamb
Copy link
Contributor

alamb commented Mar 26, 2023 •
edited
Loading

Is your feature request related to a problem or challenge?

During testing of Version 21.0.0 RC1 we discovered that it inadvertently depends both on arrow (and its subcrates) version 34.0.0 as well as arrow-array version 35.0.0

This feature was fixed in #5724 (so datafusion only depends on arrow 34.0.0)

https://lists.apache.org/thread/fnnmrn83spnb2y2l2vdw2v1hd54pfjl7

Describe the solution you'd like

I propose releasing DataFusion 21.1.0 with the fix in #5724

Describe alternatives you've considered

We could do nothing and wait for DataFusion 22.0.0 in a few weeks time.

Additional context

No response
@alamb alamb added the enhancement New feature or request label Mar 26, 2023
@andygrove
Copy link
Member

Thanks @alamb. There is a branch-21 already that we can merge the fix to, and release from there. Note that the release process for DataFusion differs slightly from the Arrow-rs release process (specifically with tags and branches), but hopefully this is documented well enough in dev/release/README, LMK if you have questions.

@alamb alamb self-assigned this Mar 27, 2023
This was referenced Mar 28, 2023
Merged
Merged
@alamb
Copy link
Contributor Author

alamb commented Mar 28, 2023

I have prepared PRs to backport the relevant parts to branch-21:

#5766
#5765

@alamb alamb mentioned this issue Mar 28, 2023
Merged
@alamb
Copy link
Contributor Author

alamb commented Mar 29, 2023

I have created a release candidate here: https://lists.apache.org/thread/qw5067glfmxy4k42wty4vph7pjkgq24p

@alamb
Copy link
Contributor Author

alamb commented Mar 30, 2023

I am now waiting for the 3 day voting period. Once that has elapsed, assuming no -1 votes, I will release this version to crates.io

@scsmithr scsmithr mentioned this issue Mar 31, 2023
Closed
@alamb
Copy link
Contributor Author

alamb commented Apr 2, 2023

The release is approved and available: https://lists.apache.org/thread/tmfzkqnvkmccmy8w2ltpqh0sy4mgy6qq

However, unfortunately I am still working on publishing it to crates.io ((I do not have permissions to https://crates.io/crates/datafusion-execution/21.0.0)

Perhaps @andygrove can help here

@alamb
Copy link
Contributor Author

alamb commented Apr 3, 2023

I have published the release to crates.io (thank you @andygrove )

Since this release only includes a dependency improvement (rather than any features) I am not planning to publish an update on homebrew.

@alamb alamb closed this as completed Apr 3, 2023
@alamb
Copy link
Contributor Author

alamb commented Apr 3, 2023

I have published the release to crates.io (thank you @andygrove )

Since this release only includes a dependency improvement (rather than any features) I am not planning to publish an update on homebrew.

@alamb alamb reopened this Apr 3, 2023
@alamb alamb closed this as completed Apr 3, 2023
@jonmmease
Copy link
Contributor

Thanks @alamb. I'm unforunately still seeing both Arrow 35 and arrow 34 pulled in. I may be missing something, but here's what I'm trying.

Fresh Cargo.toml

[package]
name = "datafusion_arrow_35"
version = "0.1.0"
edition = "2021"

[dependencies]
datafusion="21.1.0"
arrow="35.0.0"

If I run cargo tree, this is what I'm seeing:

datafusion_arrow_35 v0.1.0 (/Users/jonmmease/CLionProjects/datafusion_arrow_35)
├── arrow v35.0.0
│   ├── ahash v0.8.3
│   │   ├── cfg-if v1.0.0
│   │   ├── getrandom v0.2.8
│   │   │   ├── cfg-if v1.0.0
│   │   │   └── libc v0.2.140
│   │   └── once_cell v1.17.1
│   │   [build-dependencies]
│   │   └── version_check v0.9.4
│   ├── arrow-arith v35.0.0
│   │   ├── arrow-array v35.0.0
│   │   │   ├── ahash v0.8.3 (*)
│   │   │   ├── arrow-buffer v35.0.0
│   │   │   │   ├── half v2.2.1
│   │   │   │   │   └── num-traits v0.2.15
│   │   │   │   │       └── libm v0.2.6
│   │   │   │   │       [build-dependencies]
│   │   │   │   │       └── autocfg v1.1.0
│   │   │   │   └── num v0.4.0
│   │   │   │       ├── num-bigint v0.4.3
│   │   │   │       │   ├── num-integer v0.1.45
│   │   │   │       │   │   └── num-traits v0.2.15 (*)
│   │   │   │       │   │   [build-dependencies]
│   │   │   │       │   │   └── autocfg v1.1.0
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       │   [build-dependencies]
│   │   │   │       │   └── autocfg v1.1.0
│   │   │   │       ├── num-complex v0.4.3
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       ├── num-integer v0.1.45 (*)
│   │   │   │       ├── num-iter v0.1.43
│   │   │   │       │   ├── num-integer v0.1.45 (*)
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       │   [build-dependencies]
│   │   │   │       │   └── autocfg v1.1.0
│   │   │   │       ├── num-rational v0.4.1
│   │   │   │       │   ├── num-bigint v0.4.3 (*)
│   │   │   │       │   ├── num-integer v0.1.45 (*)
│   │   │   │       │   └── num-traits v0.2.15 (*)
│   │   │   │       │   [build-dependencies]
│   │   │   │       │   └── autocfg v1.1.0
│   │   │   │       └── num-traits v0.2.15 (*)
│   │   │   ├── arrow-data v35.0.0
│   │   │   │   ├── arrow-buffer v35.0.0 (*)
│   │   │   │   ├── arrow-schema v35.0.0
│   │   │   │   ├── half v2.2.1 (*)
│   │   │   │   └── num v0.4.0 (*)
│   │   │   ├── arrow-schema v35.0.0
│   │   │   ├── chrono v0.4.24
│   │   │   │   ├── iana-time-zone v0.1.56
│   │   │   │   │   └── core-foundation-sys v0.8.4
│   │   │   │   ├── num-integer v0.1.45 (*)
│   │   │   │   └── num-traits v0.2.15 (*)
│   │   │   ├── half v2.2.1 (*)
│   │   │   ├── hashbrown v0.13.2
│   │   │   │   └── ahash v0.8.3 (*)
│   │   │   └── num v0.4.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── chrono v0.4.24 (*)
│   │   ├── half v2.2.1 (*)
│   │   └── num v0.4.0 (*)
│   ├── arrow-array v35.0.0 (*)
│   ├── arrow-buffer v35.0.0 (*)
│   ├── arrow-cast v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── arrow-select v35.0.0
│   │   │   ├── arrow-array v35.0.0 (*)
│   │   │   ├── arrow-buffer v35.0.0 (*)
│   │   │   ├── arrow-data v35.0.0 (*)
│   │   │   ├── arrow-schema v35.0.0
│   │   │   └── num v0.4.0 (*)
│   │   ├── chrono v0.4.24 (*)
│   │   ├── lexical-core v0.8.5
│   │   │   ├── lexical-parse-float v0.8.5
│   │   │   │   ├── lexical-parse-integer v0.8.6
│   │   │   │   │   ├── lexical-util v0.8.5
│   │   │   │   │   │   └── static_assertions v1.1.0
│   │   │   │   │   └── static_assertions v1.1.0
│   │   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   │   └── static_assertions v1.1.0
│   │   │   ├── lexical-parse-integer v0.8.6 (*)
│   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   ├── lexical-write-float v0.8.5
│   │   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   │   ├── lexical-write-integer v0.8.5
│   │   │   │   │   ├── lexical-util v0.8.5 (*)
│   │   │   │   │   └── static_assertions v1.1.0
│   │   │   │   └── static_assertions v1.1.0
│   │   │   └── lexical-write-integer v0.8.5 (*)
│   │   └── num v0.4.0 (*)
│   ├── arrow-csv v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-cast v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── chrono v0.4.24 (*)
│   │   ├── csv v1.2.1
│   │   │   ├── csv-core v0.1.10
│   │   │   │   └── memchr v2.5.0
│   │   │   ├── itoa v1.0.6
│   │   │   ├── ryu v1.0.13
│   │   │   └── serde v1.0.159
│   │   ├── csv-core v0.1.10 (*)
│   │   ├── lazy_static v1.4.0
│   │   ├── lexical-core v0.8.5 (*)
│   │   └── regex v1.7.3
│   │       ├── aho-corasick v0.7.20
│   │       │   └── memchr v2.5.0
│   │       ├── memchr v2.5.0
│   │       └── regex-syntax v0.6.29
│   ├── arrow-data v35.0.0 (*)
│   ├── arrow-ipc v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-cast v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   └── flatbuffers v23.1.21
│   │       └── bitflags v1.3.2
│   │       [build-dependencies]
│   │       └── rustc_version v0.4.0
│   │           └── semver v1.0.17
│   ├── arrow-json v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-cast v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── chrono v0.4.24 (*)
│   │   ├── half v2.2.1 (*)
│   │   ├── indexmap v1.9.3
│   │   │   └── hashbrown v0.12.3
│   │   │   [build-dependencies]
│   │   │   └── autocfg v1.1.0
│   │   ├── lexical-core v0.8.5 (*)
│   │   ├── num v0.4.0 (*)
│   │   └── serde_json v1.0.95
│   │       ├── itoa v1.0.6
│   │       ├── ryu v1.0.13
│   │       └── serde v1.0.159
│   ├── arrow-ord v35.0.0
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── arrow-select v35.0.0 (*)
│   │   └── num v0.4.0 (*)
│   ├── arrow-row v35.0.0
│   │   ├── ahash v0.8.3 (*)
│   │   ├── arrow-array v35.0.0 (*)
│   │   ├── arrow-buffer v35.0.0 (*)
│   │   ├── arrow-data v35.0.0 (*)
│   │   ├── arrow-schema v35.0.0
│   │   ├── half v2.2.1 (*)
│   │   └── hashbrown v0.13.2 (*)
│   ├── arrow-schema v35.0.0
│   ├── arrow-select v35.0.0 (*)
│   └── arrow-string v35.0.0
│       ├── arrow-array v35.0.0 (*)
│       ├── arrow-buffer v35.0.0 (*)
│       ├── arrow-data v35.0.0 (*)
│       ├── arrow-schema v35.0.0
│       ├── arrow-select v35.0.0 (*)
│       ├── regex v1.7.3 (*)
│       └── regex-syntax v0.6.29
└── datafusion v21.1.0
    ├── ahash v0.8.3 (*)
    ├── arrow v34.0.0
    │   ├── ahash v0.8.3 (*)
    │   ├── arrow-arith v34.0.0
    │   │   ├── arrow-array v34.0.0
    │   │   │   ├── ahash v0.8.3 (*)
    │   │   │   ├── arrow-buffer v34.0.0
    │   │   │   │   ├── half v2.2.1 (*)
    │   │   │   │   └── num v0.4.0 (*)
    │   │   │   ├── arrow-data v34.0.0
    │   │   │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   │   │   ├── arrow-schema v34.0.0
    │   │   │   │   ├── half v2.2.1 (*)
    │   │   │   │   └── num v0.4.0 (*)
    │   │   │   ├── arrow-schema v34.0.0
    │   │   │   ├── chrono v0.4.24 (*)
    │   │   │   ├── chrono-tz v0.8.1
    │   │   │   │   ├── chrono v0.4.24 (*)
    │   │   │   │   └── phf v0.11.1
    │   │   │   │       └── phf_shared v0.11.1
    │   │   │   │           └── siphasher v0.3.10
    │   │   │   │   [build-dependencies]
    │   │   │   │   └── chrono-tz-build v0.1.0
    │   │   │   │       ├── parse-zoneinfo v0.3.0
    │   │   │   │       │   └── regex v1.7.3
    │   │   │   │       │       └── regex-syntax v0.6.29
    │   │   │   │       ├── phf v0.11.1 (*)
    │   │   │   │       └── phf_codegen v0.11.1
    │   │   │   │           ├── phf_generator v0.11.1
    │   │   │   │           │   ├── phf_shared v0.11.1 (*)
    │   │   │   │           │   └── rand v0.8.5
    │   │   │   │           │       └── rand_core v0.6.4
    │   │   │   │           └── phf_shared v0.11.1 (*)
    │   │   │   ├── half v2.2.1 (*)
    │   │   │   ├── hashbrown v0.13.2 (*)
    │   │   │   └── num v0.4.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── half v2.2.1 (*)
    │   │   └── num v0.4.0 (*)
    │   ├── arrow-array v34.0.0 (*)
    │   ├── arrow-buffer v34.0.0 (*)
    │   ├── arrow-cast v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0
    │   │   │   ├── arrow-array v34.0.0 (*)
    │   │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   │   ├── arrow-data v34.0.0 (*)
    │   │   │   ├── arrow-schema v34.0.0
    │   │   │   └── num v0.4.0 (*)
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── lexical-core v0.8.5 (*)
    │   │   └── num v0.4.0 (*)
    │   ├── arrow-csv v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── csv v1.2.1 (*)
    │   │   ├── csv-core v0.1.10 (*)
    │   │   ├── lazy_static v1.4.0
    │   │   ├── lexical-core v0.8.5 (*)
    │   │   └── regex v1.7.3 (*)
    │   ├── arrow-data v34.0.0 (*)
    │   ├── arrow-ipc v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   └── flatbuffers v23.1.21 (*)
    │   ├── arrow-json v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── half v2.2.1 (*)
    │   │   ├── indexmap v1.9.3 (*)
    │   │   ├── lexical-core v0.8.5 (*)
    │   │   ├── num v0.4.0 (*)
    │   │   └── serde_json v1.0.95 (*)
    │   ├── arrow-ord v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0 (*)
    │   │   └── num v0.4.0 (*)
    │   ├── arrow-row v34.0.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── half v2.2.1 (*)
    │   │   └── hashbrown v0.13.2 (*)
    │   ├── arrow-schema v34.0.0
    │   ├── arrow-select v34.0.0 (*)
    │   ├── arrow-string v34.0.0
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0 (*)
    │   │   ├── regex v1.7.3 (*)
    │   │   └── regex-syntax v0.6.29
    │   └── comfy-table v6.1.4
    │       ├── strum v0.24.1
    │       ├── strum_macros v0.24.3 (proc-macro)
    │       │   ├── heck v0.4.1
    │       │   ├── proc-macro2 v1.0.56
    │       │   │   └── unicode-ident v1.0.8
    │       │   ├── quote v1.0.26
    │       │   │   └── proc-macro2 v1.0.56 (*)
    │       │   ├── rustversion v1.0.12 (proc-macro)
    │       │   └── syn v1.0.109
    │       │       ├── proc-macro2 v1.0.56 (*)
    │       │       ├── quote v1.0.26 (*)
    │       │       └── unicode-ident v1.0.8
    │       └── unicode-width v0.1.10
    ├── async-compression v0.3.15
    │   ├── bzip2 v0.4.4
    │   │   ├── bzip2-sys v0.1.11+1.0.8
    │   │   │   └── libc v0.2.140
    │   │   │   [build-dependencies]
    │   │   │   ├── cc v1.0.79
    │   │   │   │   └── jobserver v0.1.26
    │   │   │   │       └── libc v0.2.140
    │   │   │   └── pkg-config v0.3.26
    │   │   └── libc v0.2.140
    │   ├── flate2 v1.0.25
    │   │   ├── crc32fast v1.3.2
    │   │   │   └── cfg-if v1.0.0
    │   │   └── miniz_oxide v0.6.2
    │   │       └── adler v1.0.2
    │   ├── futures-core v0.3.28
    │   ├── futures-io v0.3.28
    │   ├── memchr v2.5.0
    │   ├── pin-project-lite v0.2.9
    │   ├── tokio v1.27.0
    │   │   ├── bytes v1.4.0
    │   │   ├── num_cpus v1.15.0
    │   │   │   └── libc v0.2.140
    │   │   ├── parking_lot v0.12.1
    │   │   │   ├── lock_api v0.4.9
    │   │   │   │   └── scopeguard v1.1.0
    │   │   │   │   [build-dependencies]
    │   │   │   │   └── autocfg v1.1.0
    │   │   │   └── parking_lot_core v0.9.7
    │   │   │       ├── cfg-if v1.0.0
    │   │   │       ├── libc v0.2.140
    │   │   │       └── smallvec v1.10.0
    │   │   ├── pin-project-lite v0.2.9
    │   │   └── tokio-macros v2.0.0 (proc-macro)
    │   │       ├── proc-macro2 v1.0.56 (*)
    │   │       ├── quote v1.0.26 (*)
    │   │       └── syn v2.0.13
    │   │           ├── proc-macro2 v1.0.56 (*)
    │   │           ├── quote v1.0.26 (*)
    │   │           └── unicode-ident v1.0.8
    │   │   [build-dependencies]
    │   │   └── autocfg v1.1.0
    │   ├── xz2 v0.1.7
    │   │   └── lzma-sys v0.1.20
    │   │       └── libc v0.2.140
    │   │       [build-dependencies]
    │   │       ├── cc v1.0.79 (*)
    │   │       └── pkg-config v0.3.26
    │   ├── zstd v0.11.2+zstd.1.5.2
    │   │   └── zstd-safe v5.0.2+zstd.1.5.2
    │   │       ├── libc v0.2.140
    │   │       └── zstd-sys v2.0.7+zstd.1.5.4
    │   │           └── libc v0.2.140
    │   │           [build-dependencies]
    │   │           ├── cc v1.0.79 (*)
    │   │           └── pkg-config v0.3.26
    │   └── zstd-safe v5.0.2+zstd.1.5.2 (*)
    ├── async-trait v0.1.68 (proc-macro)
    │   ├── proc-macro2 v1.0.56 (*)
    │   ├── quote v1.0.26 (*)
    │   └── syn v2.0.13 (*)
    ├── bytes v1.4.0
    ├── bzip2 v0.4.4 (*)
    ├── chrono v0.4.24 (*)
    ├── dashmap v5.4.0
    │   ├── cfg-if v1.0.0
    │   ├── hashbrown v0.12.3
    │   ├── lock_api v0.4.9 (*)
    │   ├── once_cell v1.17.1
    │   └── parking_lot_core v0.9.7 (*)
    ├── datafusion-common v21.1.0
    │   ├── arrow v34.0.0 (*)
    │   ├── arrow-array v34.0.0 (*)
    │   ├── chrono v0.4.24 (*)
    │   ├── num_cpus v1.15.0 (*)
    │   ├── object_store v0.5.6
    │   │   ├── async-trait v0.1.68 (proc-macro) (*)
    │   │   ├── bytes v1.4.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── futures v0.3.28
    │   │   │   ├── futures-channel v0.3.28
    │   │   │   │   ├── futures-core v0.3.28
    │   │   │   │   └── futures-sink v0.3.28
    │   │   │   ├── futures-core v0.3.28
    │   │   │   ├── futures-executor v0.3.28
    │   │   │   │   ├── futures-core v0.3.28
    │   │   │   │   ├── futures-task v0.3.28
    │   │   │   │   └── futures-util v0.3.28
    │   │   │   │       ├── futures-channel v0.3.28 (*)
    │   │   │   │       ├── futures-core v0.3.28
    │   │   │   │       ├── futures-io v0.3.28
    │   │   │   │       ├── futures-macro v0.3.28 (proc-macro)
    │   │   │   │       │   ├── proc-macro2 v1.0.56 (*)
    │   │   │   │       │   ├── quote v1.0.26 (*)
    │   │   │   │       │   └── syn v2.0.13 (*)
    │   │   │   │       ├── futures-sink v0.3.28
    │   │   │   │       ├── futures-task v0.3.28
    │   │   │   │       ├── memchr v2.5.0
    │   │   │   │       ├── pin-project-lite v0.2.9
    │   │   │   │       ├── pin-utils v0.1.0
    │   │   │   │       └── slab v0.4.8
    │   │   │   │           [build-dependencies]
    │   │   │   │           └── autocfg v1.1.0
    │   │   │   ├── futures-io v0.3.28
    │   │   │   ├── futures-sink v0.3.28
    │   │   │   ├── futures-task v0.3.28
    │   │   │   └── futures-util v0.3.28 (*)
    │   │   ├── itertools v0.10.5
    │   │   │   └── either v1.8.1
    │   │   ├── parking_lot v0.12.1 (*)
    │   │   ├── percent-encoding v2.2.0
    │   │   ├── snafu v0.7.4
    │   │   │   ├── doc-comment v0.3.3
    │   │   │   └── snafu-derive v0.7.4 (proc-macro)
    │   │   │       ├── heck v0.4.1
    │   │   │       ├── proc-macro2 v1.0.56 (*)
    │   │   │       ├── quote v1.0.26 (*)
    │   │   │       └── syn v1.0.109 (*)
    │   │   ├── tokio v1.27.0 (*)
    │   │   ├── tracing v0.1.37
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   ├── pin-project-lite v0.2.9
    │   │   │   ├── tracing-attributes v0.1.23 (proc-macro)
    │   │   │   │   ├── proc-macro2 v1.0.56 (*)
    │   │   │   │   ├── quote v1.0.26 (*)
    │   │   │   │   └── syn v1.0.109 (*)
    │   │   │   └── tracing-core v0.1.30
    │   │   │       └── once_cell v1.17.1
    │   │   ├── url v2.3.1
    │   │   │   ├── form_urlencoded v1.1.0
    │   │   │   │   └── percent-encoding v2.2.0
    │   │   │   ├── idna v0.3.0
    │   │   │   │   ├── unicode-bidi v0.3.13
    │   │   │   │   └── unicode-normalization v0.1.22
    │   │   │   │       └── tinyvec v1.6.0
    │   │   │   │           └── tinyvec_macros v0.1.1
    │   │   │   └── percent-encoding v2.2.0
    │   │   └── walkdir v2.3.3
    │   │       └── same-file v1.0.6
    │   ├── parquet v34.0.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow-array v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-cast v34.0.0 (*)
    │   │   ├── arrow-data v34.0.0 (*)
    │   │   ├── arrow-ipc v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── arrow-select v34.0.0 (*)
    │   │   ├── base64 v0.21.0
    │   │   ├── brotli v3.3.4
    │   │   │   ├── alloc-no-stdlib v2.0.4
    │   │   │   ├── alloc-stdlib v0.2.2
    │   │   │   │   └── alloc-no-stdlib v2.0.4
    │   │   │   └── brotli-decompressor v2.3.4
    │   │   │       ├── alloc-no-stdlib v2.0.4
    │   │   │       └── alloc-stdlib v0.2.2 (*)
    │   │   ├── bytes v1.4.0
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── flate2 v1.0.25 (*)
    │   │   ├── futures v0.3.28 (*)
    │   │   ├── hashbrown v0.13.2 (*)
    │   │   ├── lz4 v1.24.0
    │   │   │   ├── libc v0.2.140
    │   │   │   └── lz4-sys v1.9.4
    │   │   │       └── libc v0.2.140
    │   │   │       [build-dependencies]
    │   │   │       └── cc v1.0.79 (*)
    │   │   ├── num v0.4.0 (*)
    │   │   ├── num-bigint v0.4.3 (*)
    │   │   ├── paste v1.0.12 (proc-macro)
    │   │   ├── seq-macro v0.3.3 (proc-macro)
    │   │   ├── snap v1.1.0
    │   │   ├── thrift v0.17.0
    │   │   │   ├── byteorder v1.4.3
    │   │   │   ├── integer-encoding v3.0.4
    │   │   │   └── ordered-float v2.10.0
    │   │   │       └── num-traits v0.2.15 (*)
    │   │   ├── tokio v1.27.0 (*)
    │   │   ├── twox-hash v1.6.3
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   └── static_assertions v1.1.0
    │   │   └── zstd v0.12.3+zstd.1.5.2
    │   │       └── zstd-safe v6.0.4+zstd.1.5.4
    │   │           ├── libc v0.2.140
    │   │           └── zstd-sys v2.0.7+zstd.1.5.4 (*)
    │   └── sqlparser v0.32.0
    │       ├── log v0.4.17
    │       │   └── cfg-if v1.0.0
    │       └── sqlparser_derive v0.1.1 (proc-macro)
    │           ├── proc-macro2 v1.0.56 (*)
    │           ├── quote v1.0.26 (*)
    │           └── syn v1.0.109 (*)
    ├── datafusion-execution v21.1.0
    │   ├── dashmap v5.4.0 (*)
    │   ├── datafusion-common v21.1.0 (*)
    │   ├── datafusion-expr v21.1.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow v34.0.0 (*)
    │   │   ├── datafusion-common v21.1.0 (*)
    │   │   └── sqlparser v0.32.0 (*)
    │   ├── hashbrown v0.13.2 (*)
    │   ├── log v0.4.17 (*)
    │   ├── object_store v0.5.6 (*)
    │   ├── parking_lot v0.12.1 (*)
    │   ├── rand v0.8.5
    │   │   ├── libc v0.2.140
    │   │   ├── rand_chacha v0.3.1
    │   │   │   ├── ppv-lite86 v0.2.17
    │   │   │   └── rand_core v0.6.4
    │   │   │       └── getrandom v0.2.8 (*)
    │   │   └── rand_core v0.6.4 (*)
    │   ├── tempfile v3.5.0
    │   │   ├── cfg-if v1.0.0
    │   │   ├── fastrand v1.9.0
    │   │   └── rustix v0.37.6
    │   │       ├── bitflags v1.3.2
    │   │       ├── errno v0.3.0
    │   │       │   └── libc v0.2.140
    │   │       ├── io-lifetimes v1.0.9
    │   │       │   └── libc v0.2.140
    │   │       └── libc v0.2.140
    │   └── url v2.3.1 (*)
    ├── datafusion-expr v21.1.0 (*)
    ├── datafusion-optimizer v21.1.0
    │   ├── arrow v34.0.0 (*)
    │   ├── async-trait v0.1.68 (proc-macro) (*)
    │   ├── chrono v0.4.24 (*)
    │   ├── datafusion-common v21.1.0 (*)
    │   ├── datafusion-expr v21.1.0 (*)
    │   ├── datafusion-physical-expr v21.1.0
    │   │   ├── ahash v0.8.3 (*)
    │   │   ├── arrow v34.0.0 (*)
    │   │   ├── arrow-buffer v34.0.0 (*)
    │   │   ├── arrow-schema v34.0.0
    │   │   ├── blake2 v0.10.6
    │   │   │   └── digest v0.10.6
    │   │   │       ├── block-buffer v0.10.4
    │   │   │       │   └── generic-array v0.14.7
    │   │   │       │       └── typenum v1.16.0
    │   │   │       │       [build-dependencies]
    │   │   │       │       └── version_check v0.9.4
    │   │   │       ├── crypto-common v0.1.6
    │   │   │       │   ├── generic-array v0.14.7 (*)
    │   │   │       │   └── typenum v1.16.0
    │   │   │       └── subtle v2.4.1
    │   │   ├── blake3 v1.3.3
    │   │   │   ├── arrayref v0.3.7
    │   │   │   ├── arrayvec v0.7.2
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   ├── constant_time_eq v0.2.5
    │   │   │   └── digest v0.10.6 (*)
    │   │   │   [build-dependencies]
    │   │   │   └── cc v1.0.79 (*)
    │   │   ├── chrono v0.4.24 (*)
    │   │   ├── datafusion-common v21.1.0 (*)
    │   │   ├── datafusion-expr v21.1.0 (*)
    │   │   ├── datafusion-row v21.1.0
    │   │   │   ├── arrow v34.0.0 (*)
    │   │   │   ├── datafusion-common v21.1.0 (*)
    │   │   │   ├── paste v1.0.12 (proc-macro)
    │   │   │   └── rand v0.8.5 (*)
    │   │   ├── half v2.2.1 (*)
    │   │   ├── hashbrown v0.13.2 (*)
    │   │   ├── indexmap v1.9.3 (*)
    │   │   ├── itertools v0.10.5 (*)
    │   │   ├── lazy_static v1.4.0
    │   │   ├── md-5 v0.10.5
    │   │   │   └── digest v0.10.6 (*)
    │   │   ├── paste v1.0.12 (proc-macro)
    │   │   ├── petgraph v0.6.3
    │   │   │   ├── fixedbitset v0.4.2
    │   │   │   └── indexmap v1.9.3 (*)
    │   │   ├── rand v0.8.5 (*)
    │   │   ├── regex v1.7.3 (*)
    │   │   ├── sha2 v0.10.6
    │   │   │   ├── cfg-if v1.0.0
    │   │   │   ├── cpufeatures v0.2.6
    │   │   │   │   └── libc v0.2.140
    │   │   │   └── digest v0.10.6 (*)
    │   │   ├── unicode-segmentation v1.10.1
    │   │   └── uuid v1.3.0
    │   │       └── getrandom v0.2.8 (*)
    │   ├── hashbrown v0.13.2 (*)
    │   ├── itertools v0.10.5 (*)
    │   ├── log v0.4.17 (*)
    │   └── regex-syntax v0.6.29
    ├── datafusion-physical-expr v21.1.0 (*)
    ├── datafusion-row v21.1.0 (*)
    ├── datafusion-sql v21.1.0
    │   ├── arrow-schema v34.0.0
    │   ├── datafusion-common v21.1.0 (*)
    │   ├── datafusion-expr v21.1.0 (*)
    │   ├── log v0.4.17 (*)
    │   └── sqlparser v0.32.0 (*)
    ├── flate2 v1.0.25 (*)
    ├── futures v0.3.28 (*)
    ├── glob v0.3.1
    ├── hashbrown v0.13.2 (*)
    ├── indexmap v1.9.3 (*)
    ├── itertools v0.10.5 (*)
    ├── lazy_static v1.4.0
    ├── log v0.4.17 (*)
    ├── num_cpus v1.15.0 (*)
    ├── object_store v0.5.6 (*)
    ├── parking_lot v0.12.1 (*)
    ├── parquet v34.0.0 (*)
    ├── percent-encoding v2.2.0
    ├── pin-project-lite v0.2.9
    ├── rand v0.8.5 (*)
    ├── smallvec v1.10.0
    ├── sqlparser v0.32.0 (*)
    ├── tempfile v3.5.0 (*)
    ├── tokio v1.27.0 (*)
    ├── tokio-stream v0.1.12
    │   ├── futures-core v0.3.28
    │   ├── pin-project-lite v0.2.9
    │   └── tokio v1.27.0 (*)
    ├── tokio-util v0.7.7
    │   ├── bytes v1.4.0
    │   ├── futures-core v0.3.28
    │   ├── futures-sink v0.3.28
    │   ├── pin-project-lite v0.2.9
    │   └── tokio v1.27.0 (*)
    ├── url v2.3.1 (*)
    ├── uuid v1.3.0 (*)
    ├── xz2 v0.1.7 (*)
    └── zstd v0.12.3+zstd.1.5.2 (*)

In particular:

└── datafusion v21.1.0
    ├── ahash v0.8.3 (*)
    ├── arrow v34.0.0

Happy to open a new issue if that's easier than discussing here

@alamb
Copy link
Contributor Author

alamb commented Apr 3, 2023

@jonmmease 🤔 I wonder if you can try runnning cargo update -- does that fix things?

@alamb
Copy link
Contributor Author

alamb commented Apr 3, 2023

(note that datafusion-21 still depends on arrow-rs 34) -- only datafusion 22.0.0 upgrades to arrow-rs 36.

So in other words this is expected in my mind:

└── datafusion v21.1.0
    ├── ahash v0.8.3 (*)
    ├── arrow v34.0.0

@jonmmease
Copy link
Contributor

Ah, ok. I was seeing the mixed arrow 34/35 dependencies with datafusion 21.0.0 and assumed that it was intended to depend fully on arrow 35. Thanks for the clarification.

@alamb
Copy link
Contributor Author

alamb commented Apr 3, 2023 •
edited
Loading

Ah, ok. I was seeing the mixed arrow 34/35 dependencies with datafusion 21.0.0 and assumed that it was intended to depend fully on arrow 35. Thanks for the clarification.

No problem -- we decided to skip arrow-35 due to several regressions in parsing timestamps (see #5441 (comment) for more details)

Edit: I also updated the PR description to make the ('only depend on arrow 34.0.0') more explicit

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@alamb alamb

Labels
enhancement New feature or request
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@alamb @andygrove @jonmmease