遍历索引目录的服务器 URL 并读取文件

Question

http服务器上有一个目录，其url是http://somehost/maindir/recent/。这个“最近”目录包含 50 个 zip 子目录。我可以读取一个 zip 文件 zfile = "http://somehost/maindir/recent/1.zip" with RemoteZip(zfile) as zip:        for zip_info in zip.infolist():            data = zip.read(zip_info.filename)但是我不知道要遍历“http://somehost/maindir/recent/”并从每个 zip 中读取数据。我尝试了 glob、os.join、os.walk 但在静脉中。我想要这样的东西：for zfile in baseurl: //unable to do this line.    with RemoteZip(zfile) as zip:        for zip_info in zip.infolist():                data = zip.read(zip_info.filename)

Answer 1

您无法直接获取目录列表，因为它是负责返回响应的 HTTP 服务器，在某些情况下，您将获得一个 HTML 页面，显示指向“目录”内所有文件的链接，如您的情况“http：/ /somehost/maindir/recent/" 将以 html 格式列出最近目录中的所有 zip 文件。

一种解决方案可能是使用 Beautifulsoup 解析该 html 页面并从该“最近”目录页面获取所有指向 zip 文件的链接。

from bs4 import BeautifulSoup

import requests

url = 'http://somehost/maindir/recent/'

def get_files(url):

   page = requests.get(url).text

  

   soup = BeautifulSoup(page, 'html.parser')

   return [url + '/' + node.get('href') for node in soup.find_all('a') if 

           node.get('href').endswith('.zip')]

file_links = get_files(url)

for zfile in file_links:

    with RemoteZip(zfile) as zip:

        for zip_info in zip.infolist():

            data = zip.read(zip_info.filename)