如何通过http从linux下载文件,linux – 我可以通过http验证大量文件下载吗？

在服务器端,您可以使用dd和md5sum来校验文件的每个块：

#!/bin/bash

FILENAME="$1"

FILESIZE=`stat --printf="%s" $FILENAME`

CHUNKSIZE=536870912 # 512MB

CHUNKNUM=0

while ! grep -q 'cannot skip' hash.log 2> /dev/null ; do

dd if=$FILENAME bs=$CHUNKSIZE skip=$CHUNKNUM count=1 2> hash.log | md5sum >> $FILENAME.md5

CHUNKNUM=$(( CHUNKNUM + 1 ))

done

rm hash.log

您将获得一个带有所有块哈希值的$FILENAME.md5文件.

您现在可以下载该大文件和校验和,在该文件上运行此脚本并比较哈希值.如果任何一个部分获得不匹配的哈希值,您可以使用curl仅下载文件的一部分(如果服务器支持RANGE)并使用dd修补文件.

例如,如果块2出现哈希不匹配：

curl -s -r 536870912-1073741824 | dd of=somelargetarfile.tar seek=536870912 conv=notrunc

这将下载块2,并用它修补大的tar文件.

如何通过http从linux下载文件,linux – 我可以通过http验证大量文件下载吗？相关推荐

jq linux下载文件,Linux中的Json格式化神器jq下载与安装
一款在Linux中使用的Json格式化神器jq,对于JSON格式而言,jq就像sed/awk/grep这些神器一样的方便,而且jq在Linux下安装使用没有太多的依赖,只需要一个binary文件jq就 ...
nginx linux下载文件,linux – 从nginx缓慢下载大型静态文件
我在vmware-esxi虚拟化中使用debian 7 x64. 每个客户端的最大下载量为1mb / s,Nginx一起使用不超过50mbps,我的问题是什么可能导致传输速度变慢? 服务器 **Set ...
jq linux下载文件,linux下的json命令行工具–jq
jq是一个很轻量却很强大的命令行下的json解析器.jq是json中的"sed"命令,它可以用来slice.filter.map.transform json数据.jq是用C编写的 ...
Linux下载文件命令wget的一些用法
1.介绍 wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP.HTTPS.FTP 三个最常见的 TCP/IP协议下载,并可以使用 HTTP 代理. "wget" 这 ...
linux下载文件夹到本地命令行,linux下载文件到本地命令，linux下载文件到本地命令下载工具...
linux下载文件到本地命令,linux下载文件到本地命令下载工具来源:互联网/编辑:佚名/时间:2020-09-08 在手机上看扫一扫进入手机端 linux用户命令在哪个文件夹下用 whic ...
linux下载文件的常用命令wget
wget是Linux最常用的下载命令, 一般的使用方法是: wget + 空格 + 要下载文件的url路径例如: # wget http://www.linuxsense.org/xxxx/xxx. ...
linux jq下载文件,linux 之 jq
1.安装 mac 安装: brew install jq centos 安装: yum install jq ubuntu: 安装: apt-get install jq 2.使用 cat test. ...
SCP 从Linux下载文件到Windows本地
环境:本地是Windows,安装了Git.一般是进入文件夹内,鼠标右键,点击Git Bash here,然后输入命令即可.这样的话,其实自己本地的文件路径也就遵循linux规范了. 下载单个文件 sc ...
linux中如何用ftp命令下载文件,linux中ftp下载文件命令的用法
linxu下的ftp命令是用来下载文件或者上传文件的,下面由学习啦小编为大家整理了linux的ftp下载文件命令的用法的相关知识,希望对大家有帮助! 一.linux中的ftp下载文件命令的用法从远程 ...

如何通过http从linux下载文件,linux – 我可以通过http验证大量文件下载吗？

如何通过http从linux下载文件,linux – 我可以通过http验证大量文件下载吗？相关推荐

最新文章

热门文章