从与 webpack 5 捆绑在一起的 javascript 应用程序读取 parquet 格式

Question

我正在使用 webpack 5 捆绑器用 javascript 开发一个 Web 应用程序。我正在寻找any解决方案，以便我的应用程序可以使用镶木地板数据（即时下载并解码）。

到目前为止，我尝试了以下 javascript 库：

• ParquetJS - https://github.com/ironSource/parquetjs#usage-reading-files
• ParquetJS-lite - https://github.com/ZJONSSON/parquetjs#reading-data-from-a-url
• Parquet-wasm - https://github.com/kylebarron/parquet-wasm
• DuckDB https://www.npmjs.com/package/duckdb
• DuckDB-wasm：https://www.npmjs.com/package/@duckdb/duckdb-wasm

但是 webpack 捆绑过程对所有这些都失败了（由于各种原因）。我正在使用 webpack 5。

是否有最新的解决方案来解码 webpack-5 捆绑的 javascript 应用程序中的 parquet 数据？

Answer 1

Hyparquet 是一个小型且支持良好的浏览器 Parquet 解析器。它是用纯 javascript 编写的，因此可以与 webpack 很好地配合。我确认这适用于 webpack5 默认配置：

hyparquet-webpack-demo.js

import { asyncBufferFromUrl, parquetRead } from 'hyparquet'

const url = 'https://hyperparam-public.s3.amazonaws.com/bunnies.parquet'
async function main() {
  const file = await asyncBufferFromUrl({ url })
  await parquetRead({
    file,
    onComplete: (data) => console.log(data),
    rowFormat: 'object',
  })
}
main()

webpack.config.js

module.exports = {
  mode: 'development',
  entry: './hyparquet-webpack-demo.js',
}