GNU非交互式(可以从脚本,cron作业,没有X-Windows支持的终端等)调用网络下载程序,从Web服务器检索内容。该名称源自万维网并获得。
我想在每个文件夹中获取所有.MD(Markdown)Notes。 我已经尝试了HTTRACK,并且WGET没有成功,只下载了一些文件。
如何使用 wget、curl 等从终端下载网页和“n”个连续页面
访问大多数网站/门户网站时,底部附近几乎总会有一个名为“下一步”、“加载更多”或“1 2 3 4 5”的网络链接。我怎样才能使用 wget 不仅加载ma...
我正在尝试从 OneDrive(我已尝试过curl 和 wget)下载一个 157gb .zip 文件到我通过 ssh 连接的计算机。我通常运行 screen,启动下载,然后分离并
我曾经从原始 Coinbase API 中获取“历史” - 无法使用 v2 API 找到它
我曾经使用一个简单的 wget 来 https://api.coinbase.com/api/v1/prices/historical 从 Coinbase 获取比特币过去和当前购买价格的文件。现在有了新的 v2 API,我无法找到
我可以仅使用wget(不使用curl)从JSON请求下载文件吗?
我正在尝试下载最新的二进制文件,我可以在 bash 中使用以下代码行来完成此操作: wget -q $(curl -s https://api.github.com/repos/casey/just/releases/latest | pytho...
我想自动将一些 Confluence 页面导出为 PDF。 可以通过以下网址下载: http:///confluence/spaces/flyingpdf/pdfpageexport.action?pageId= 我想自动将一些 Confluence 页面导出为 PDF。 可通过网址下载: http://<confluence server>/confluence/spaces/flyingpdf/pdfpageexport.action?pageId=<pageID> 输入此网址时,效果非常好。 但是当我尝试使用 wget 下载时,会下载一个 HTML 页面(要求登录名和密码)。我尝试使用 --user 和 --password wget 选项提供登录名/密码,但它不起作用。 您有想法向 wget 命令提供汇合凭证吗?或者其他下载 PDF 页面的解决方案? 如果您使用 Confluence 5.5 之前的 Confluence 服务器,那么您很幸运! Confluence 有一个 API 可以处理这个问题,请参阅他们的文档。 更新:如果您使用的是 Confluence Server 5.5 或更高版本,默认情况下它们不会为此启用 API。请参阅Confluence 管理 > 进一步配置 以启用 XML-RPC 和 SOAP API。 (感谢@fatpanther指出了这一点) 新的 REST API 不支持此功能,请参阅 REST API 文档。 您可以使用 Confluence 命令行界面 导出为 PDF。 首先请求资源: curl -D- -u user:pwd -X GET -H "Content-Type: application/json" "https://your-url/confluence/spaces/flyingpdf/pdfpageexport.action?pageId=12345678" 从生成的 JSON 中提取“位置”值(例如 grep | cut),然后使用调整后的 URL 和 mime 类型重复查询: curl -D- -u user:pwd -X GET -H "Content-Type: text/html;charset=UTF-8" "https://your-url/$LOCATION_JUST_EXTRACTED" --output file.pdf Narcolessico 的答案对我有用,但我花了一些时间才完全理解该方法。我将添加到上面提供的答案。 注意: 我正在使用 Java (Apache HttpClient) 向 Confluence 服务器执行 HTTP GET 请求。 我使用 Chrome 导航到我想要导出为 PDF 的 Confluence 页面。我展开了工具菜单,右键单击“导出为 PDF”,然后单击“检查”。这将显示此菜单选项的底层 HTML 元素,其中包含用于启动 PDF 导出操作的链接。 检查元素以查找 url 元素检查揭示了 PDF 导出操作的相关链接,如下所示。 html 源 在 Java 中,如果您执行 HTTP GET 到 https://your-confluence-server-hostname/the-relative-link-from-step-2,您将需要禁用重定向处理。这就是 Narcolessico 的回答让我感到困惑的地方,因为我从 cURL 和 Java 中得到了不同的响应。当我意识到 cURL 操作返回 302 响应并且 Apache Http 客户端自动处理它时,我找到了一种禁用自动重定向处理的方法,以便我可以捕获 Location 标头信息。 禁用自动重定向处理的代码如下。 final HttpClient client = HttpClientBuilder .create() .setSSLContext(sslContext) .disableRedirectHandling() // disable the auto handling here .build(); final String urlToGetLocation = "https://<your-confluence-server-hostname><the-relative-link-from-step-2>" final HttpGet request = new HttpGet(urlToGetLocation); // You'll need to provide Basic Auth credentials. This is a base-64 encoded // username:password string, else the Location header returned will be a // redirect to the login page. request.setHeader(HttpHeaders.AUTHORIZATION, authorizationHeaderValue); request.setHeader(HttpHeaders.CONTENT_TYPE, "application/json"); final HttpResponse response = client.execute(request); final HttpEntity payload = response.getEntity(); 注意: 我还重写了 SSL 上下文以不执行任何操作。如果 Confluence 使用 HTTP,这是您可能需要解决的另一个问题。 顺便说一句,如果您要对上述 url 执行 CURL GET,您会得到如下响应。 编辑 cURL 输出 上述 GET 请求和生成的 302 响应将显示您可以下载的 PDF 文档的位置。 302 响应标头将包含以下内容。 final Header[] headers = response.getHeaders(HttpHeaders.LOCATION); final String location = headers[0].getValue(); 这是一个如下形式的url。 /download/temp/pdfexport-20190924-240919-0526-189/a-filename-for-pdf.pdf?contentType=application/pdf 上面的 Location 标题包含导出/生成的 PDF 的 url。然后,您可以对该 URL 进行后续 HTTP GET 操作以下载生成的 PDF 文档。 如果您使用 Apache Http 客户端,则需要对后续 GET 请求使用自动重定向处理。 此答案全部归功于 Narcolessico。我只是想添加我必须整理的细节以使其在 Java 中运行。 如果我运行第一个curl 调用,我将无法获得正确的下载位置。你能帮我得到你使用的确切的卷曲调用吗?
我正在尝试从此站点下载文件结果: https://www.coordinador.cl/operacion/documentos/registro-de-instrucciones-de-operacion-rio-sscc-energia/ 为此,我使用 Selenium 进行选择...
我正在尝试从 zellij 下载 tokyo-night-storm.yaml colorcheme 文件。我以为我能做到 wget https://github.com/zellij-org/zellij/blob/main/example/themes/tokyo-night-storm.y...
如何延迟wget进度条更新/刷新间隔? 默认情况下,它每毫秒更新一次,并且在作业脚本中运行时,每个更新都将作为单行捕获到 STDOUT 文件中...
Docker wget 针对 Github 存储库返回 404 错误
我正在尝试下载以下 GitHub 存储库 https://github.com/ut0mt8/nginx-rtmp-module 当docker执行wget命令时出现404错误。该 repo 是 ng 的定制版本...
如何使用 wget 解析 html 以使用针对 Jenkins 的模式匹配来下载工件
我正在尝试从 Jenkins 下载一个工件,我需要最新版本。如果我卷曲 jenkins.mycompany.com/view/iOS/job/build_ios/lastSuccessfulBuild/artifact/build ,它会将我带到
我正在尝试编写一个bash脚本,借助以下代码通过wget自动安装anydesk: echo -e "[ - ] 正在安装 AnyDesk..." wget --max-redirect 1 --trust-
我正在尝试下载最新的二进制文件,我可以在 bash 中使用以下代码行来完成此操作: wget -q $(curl -s https://api.github.com/repos/casey/just/releases/latest | pytho...