it-swarm.cn

解压缩通过管道飞入的文件

我可以使解压缩或任何类似程序在标准输出上工作吗?情况是我正在下载一个Zip文件,该文件应该是即时解压缩的。

相关问题: 如何将下载的文件通过管道传送到bash中的标准输出?

43
Alex

尽管Zip文件实际上是一种容器格式,但没有理由说如果该文件足够容易地装入内存,则无法从管道(stdin)中读取该文件。这是一个Python脚本,它将Zip文件作为标准输入,并将内容提取到当前目录或指定的目录(如果已指定)。

import zipfile
import sys
import StringIO
data = StringIO.StringIO(sys.stdin.read())
z = zipfile.ZipFile(data)
dest = sys.argv[1] if len(sys.argv) == 2 else '.'
z.extractall(dest)

该脚本可以缩小为一行,并作为别名创建。

alias unzip-stdin="python -c \"import zipfile,sys,StringIO;zipfile.ZipFile(StringIO.StringIO(sys.stdin.read())).extractall(sys.argv[1] if len(sys.argv) == 2 else '.')\""

现在,轻松解压缩wget的输出。

wget http://your.domain.com/your/file.Zip -O - | unzip-stdin target_dir
22
Jason R. Coombs

这不太可能按您的预期工作。 Zip不仅是压缩格式,而且是容器格式。它将tar和gzip.bzip2的作业汇总到一个。话虽如此,如果您的Zip文件只有一个文件,则可以使用unzip -p将文件提取到stdout。如果您有多个文件,则无法告诉他们文件的开始和停止位置。

至于从stdin读取的内容,解压缩手册页包含以下语句:

从标准输入中读取的档案尚不支持,但funzip除外(然后只能提取档案的第一个成员)。

您可能对funzip感到满意。

18
David Pashley

您想要做的是,使unzip在其标准输入上而不是参数上获取一个ZIPP文件。通常,带有-参数的gziptar类型的工具很容易支持。但是标准unzip不会这样做(尽管它确实支持提取到管道)。但是,一切并没有丢失...

查看 funzip 手册页。

没有文件参数的funzip充当过滤器;也就是说,它假定将Zip存档(或gzip文件)通过管道传输到标准输入中,并且将存档中的第一个成员提取到stdout。当stdin来自tty设备时,funzip假定它不能是(二进制)压缩数据流,而是显示简短的帮助文本。如果有文件参数,则从指定的文件而不是从stdin中读取输入。

考虑到单成员提取的限制,funzip与辅助归档程序(例如tar(1))结合使用最为有用。以下部分包括一个示例,说明在将磁盘备份到磁带的情况下的用法。

这与大多数linux归档文件通常经过TAR处理然后以某种方式压缩(gzip,bzip等)的想法非常吻合。如果您有tar.Zip,这将对您有用。


值得注意的是funzip由Info-Zip的原始作者Mark Adler编写。他在funzip手册页中写道,

this functionality should be incorporated into unzip itself (future release).

但是,没有看到这样的更新。我怀疑Mark认为没有必要,因为其他归档方法可以轻松地与TAR一起使用。

7
nik

我喜欢使用curl,因为它是默认安装的(经常发生的重定向需要-L):

curl -L http://example.com/file.Zip | bsdtar -xvf - -C /path/to/directory/

但是,默认情况下未安装bsdtar,因此我无法使funzip正常工作。

7
Todd Partridge

这是 我的答案 对类似问题的转发:

Zip文件格式在存档末尾包含目录(索引)。该目录表示每个文件在档案中的位置,因此可以快速,随机地访问,而无需读取整个档案。

尝试通过管道读取Zip存档时,这似乎构成问题,因为直到最后才访问索引,因此只有在文件被完全读取并且不再可用后才能正确提取单个成员。 。因此,当通过管道提供归档文件时,大多数Zip解压缩器仅会失败就显得不足为奇了。

存档末尾的目录不是only位置,文件元信息存储在存档中。此外,出于冗余目的,各个条目还将此信息包含在本地文件头中。

尽管当索引不可用时,并不是每个Zip解压缩器都会使用本地文件头,但是tar和cpio前端为libarchive(aka bsdtar和bsdcpio)can和will在通过管道读取时执行此操作,这意味着可以进行以下操作:

wget -qO- http://example.org/file.Zip | bsdtar -xvf-
5
ruario

在zsh中,您可以执行以下操作:

unzip =( curl http://example.com/someZipFile.Zip )
4
Ian Robertson

可以执行此操作的最简单的通用实用程序是jar,如果您不传递文件args,它将假定正在使用STDIN。它还使用类似于tar程序的参数进行操作。

例如列出档案的内容

curl https://my.example.com/file.Zip | jar t

虽然Java并非总是安装,但是在那些机器上,jar绝对是最方便的方法。

4
Adrian

Info-Zip是最常见的OSS实施,这是不可能的。不过,更重要的是,由于Zip存档的构造,因此不建议使用。

如果可以更改格式,则可以考虑使用tar(1)。对流输入/输出感到非常满意,实际上,默认情况下期望它。

另外,您通常可以通过为文件名指定“-”来判断应用程序是否期望流输入/输出。您可以想象,Info-Zip不会将此视为有效参数。

4
Dan Carley

转贴 我的答案

BusyBox的unzip可以使用stdin并提取所有文件。

wget -qO- http://downloads.wordpress.org/plugin/akismet.2.5.3.Zip | busybox unzip -

unzip后面的破折号是使用stdin作为输入。

你甚至可以

cat file.Zip | busybox unzip -

但这只是unzip file.Zip

如果您的发行版默认使用BusyBox(例如Alpine),则只需运行unzip -

3
Saftever

我实际上需要一些更复杂的东西-如果存在特定文件,则将其解压缩。困难在于,输入文件流可能不是Zip文件,在这种情况下,我需要它继续通过管道。这是我的解决方案(主要感谢Jason R. Coombs解决方案)

python -c "import zipfile,sys,StringIO
data=sys.stdin.read()
try:
    z=zipfile.ZipFile(StringIO.StringIO(data))
    z.open(\"$1\")
    sys.stdout.write(z.read(\"$1\"))
except (RuntimeError, zipfile.BadZipfile):
    sys.stdout.write(data)"

我将其保存为机器上“/bin”文件夹中名为“ effpoptp”(不是简单名称)的文件,因此测试如下:

cat defaultModel.mwb|effpoptp "document.mwb.xml"

目的是对MySQL Workbench文件进行版本控制,其中该文件可以是名为工作台文件的xml文件,也可以是完整的工作台文件。

1
SEoF