warc-parquet
๐ฆ
Install
The binary may be installed via cargo:
$ cargo install warc-parquet
To use the crate in your project, add the following to your Cargo.toml file:
[dependencies]
warc-parquet = "0.4"
๐คธ
Usage
The Binary
Once installed, the warc-parquet utility can be used to transform WARC into Parquet:
$ wget --warc-file example 'https://example.com'
$ cat example.warc.gz | warc-parquet --gzipped > example.snappy.parquet
warc-parquet is meant to fit organically into the UNIX ecosystem. As such processing multiple WARCs at once is straightforward:
$ wget --warc-file github 'https://github.com'
$ cat example.warc.gz github.warc.gz | warc-parquet --gzipped > combined.snappy.parquet
It's also simple to preprocess via standard UNIX piping:
$ cat example.warc.gz | gzip -d | warc-parquet > example.snappy.parquet
Various compression options, including the option to forego compression altogether, are also available:
$ cat example.warc.gz | warc-parquet --gzipped --compression brotli > example.brotli.parquet
๐ก warc-parquet --helpdisplays complete options and usage information.
The Crate
Refer to the docs for more details about how to use the Reader within your own programs.
DuckDB
There are any number of ways to consume Parquet once you have it. However a natural fit might be DuckDB:
$ duckdb
v0.3.3 fe9ba8003
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
D select type, id from 'example.snappy.parquet';
โโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ type โ id โ
โโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ warcinfo โ <urn:uuid:A8063499-7675-4D8D-A736-A1D7DAE84C84> โ
โ request โ <urn:uuid:3EB20966-D74F-4949-AACB-23DB3A0733A7> โ
โ response โ <urn:uuid:8B92CADC-F770-45BE-8B72-E13A61CD6D1C> โ
โ metadata โ <urn:uuid:4C0E9E17-E21B-49E0-859A-D1016FBDE636> โ
โ resource โ <urn:uuid:14F502A5-3BDE-4D0B-8A43-95F4BB8398C6> โ
โ resource โ <urn:uuid:6B6D6ADD-52FF-4760-AA00-FB9E739CABBE> โ
โโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
D describe select * from 'example.snappy.parquet';
โโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโฌโโโโโโโฌโโโโโโฌโโโโโโโโโโฌโโโโโโโโ
โ column_name โ column_type โ null โ key โ default โ extra โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโผโโโโโโโผโโโโโโผโโโโโโโโโโผโโโโโโโโค
โ id โ VARCHAR โ YES โ โ โ โ
โ content_length โ UINTEGER โ YES โ โ โ โ
โ date โ TIMESTAMP โ YES โ โ โ โ
โ type โ VARCHAR โ YES โ โ โ โ
โ content_type โ VARCHAR โ YES โ โ โ โ
โ concurrent_to โ VARCHAR โ YES โ โ โ โ
โ block_digest โ VARCHAR โ YES โ โ โ โ
โ payload_digest โ VARCHAR โ YES โ โ โ โ
โ ip_address โ VARCHAR โ YES โ โ โ โ
โ refers_to โ VARCHAR โ YES โ โ โ โ
โ target_uri โ VARCHAR โ YES โ โ โ โ
โ truncated โ VARCHAR โ YES โ โ โ โ
โ warc_info_id โ VARCHAR โ YES โ โ โ โ
โ filename โ VARCHAR โ YES โ โ โ โ
โ profile โ VARCHAR โ YES โ โ โ โ
โ identified_payload_type โ VARCHAR โ YES โ โ โ โ
โ segment_number โ UINTEGER โ YES โ โ โ โ
โ segment_origin_id โ VARCHAR โ YES โ โ โ โ
โ segment_total_length โ UINTEGER โ YES โ โ โ โ
โ body โ BLOB โ YES โ โ โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโดโโโโโโดโโโโโโโโโโดโโโโโโโโ
5 Oct 11, 2022
103 Dec 25, 2022
4 Apr 11, 2023
287 Jul 12, 2023
31 Nov 7, 2022
27 Oct 29, 2022
42 Sep 6, 2022
60 Dec 29, 2022
6 Nov 11, 2022
9 Dec 23, 2022
17 Dec 31, 2022
24 Feb 13, 2023
566 Apr 16, 2023
33 Aug 20, 2022
756 Dec 30, 2022
6 Nov 26, 2021
3 Jul 2, 2021
5 Nov 13, 2022
3 Mar 14, 2022
5 Oct 11, 2022
4 Apr 11, 2023
294 Dec 23, 2022
3 Apr 5, 2023
2 Jan 21, 2022
30 Jan 1, 2023
22 Dec 6, 2022
127 Dec 23, 2022
237 Jan 1, 2023
11 Dec 21, 2022