PyPI很慢。如何运行自己的服务器？

Question

当新的开发人员加入团队或Jenkins运行完整的构建时，我需要创建一个新的virtualenv。我经常发现，使用Pip和大量（超过10个）需求设置virtualenv需要很长时间才能安装PyPI中的所有内容。通常，它完全失败：

Downloading/unpacking Django==1.4.5 (from -r requirements.pip (line 1))
Exception:
Traceback (most recent call last):
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/basecommand.py", line 107, in main
    status = self.run(options, args)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/commands/install.py", line 256, in run
    requirement_set.prepare_files(finder, force_root_egg_info=self.bundle, bundle=self.bundle)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/req.py", line 1018, in prepare_files
    self.unpack_url(url, location, self.is_download)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/req.py", line 1142, in unpack_url
    retval = unpack_http_url(link, location, self.download_cache, self.download_dir)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/download.py", line 463, in unpack_http_url
    download_hash = _download_url(resp, link, temp_location)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/download.py", line 380, in _download_url
    chunk = resp.read(4096)
  File "/usr/lib64/python2.6/socket.py", line 353, in read
    data = self._sock.recv(left)
  File "/usr/lib64/python2.6/httplib.py", line 538, in read
    s = self.fp.read(amt)
  File "/usr/lib64/python2.6/socket.py", line 353, in read
    data = self._sock.recv(left)
timeout: timed out

我知道Pip的--use-mirrors旗帜，有时我们团队中的人已经通过使用--index-url http://f.pypi.python.org/simple（或其他镜子）来工作，直到他们拥有一个及时响应的镜子。我们在英国，但在德国有一个PyPI镜像，并且从其他站点下载数据没有问题。

因此，我正在寻找内部为我们的团队反映PyPI的方法。

我看过的选项是：

1. 运行我自己的PyPI实例。有官方的PyPI实施：CheeseShop以及几个第三方实施，例如：djangopypi和pypiserver（请参见脚注）

这种方法的问题在于我对文件上传的完整PyPI功能不感兴趣，我只想镜像它提供的内容。

1. 使用pep381client或pypi-mirror运行PyPI镜像。

看起来它可以工作，但是需要我的镜像首先从PyPI下载所有内容。我已经设置了pep381client的测试实例，但是我的下载速度在5 Kb / s和200
Kb / s之间变化（位，而不是字节）。除非某个地方有完整的PyPI档案的副本，否则要花几周才能拥有一个有用的镜像。

1. 使用PyPI轮询代理，例如yopypi。

现在，http :
//pypi.python.org本身由几个地理上不同的服务器组成，这是无关紧要的。

1. 在开发人员之间围绕virtualenv复制，或托管当前项目依赖项的文件夹。

这不能扩展：我们有几个不同的Python项目，它们的依赖关系随时间变化（缓慢）。一旦任何项目的依赖关系发生更改，就必须更新此中央文件夹以添加新的依赖关系。但是，复制virtualenv比复制软件包更糟糕，因为任何带有C模块的Python软件包都需要针对目标系统进行编译。我们的团队同时拥有Linux和OS
X用户。

（这似乎仍然是坏一堆的最佳选择。）

1. 使用智能PyPI缓存代理：collection.eggproxy

这似乎是一个很好的解决方案，但是PyPI的最新版本是2009年，讨论了mod_python。

其他大型Python团队做什么？快速安装同一组python软件包的最佳解决方案是什么？

脚注：

• Python Wiki列出了其他PyPI实现
• 我最近还发现了Crate.io，但我认为使用Pip不会对我有帮助。
• 有一个网站监视PyPI镜像状态
• PyPI上的某些软件包的文件托管在其他位置，因此即使是完美的镜像也无法帮助所有依赖项

Answer 1

您有共享的文件系统吗？

因为我会使用pip的缓存设置。很简单 例如，在/ mnt中创建一个名为pip-cache的文件夹。

mkdir /mnt/pip-cache

然后，每个开发人员都将以下行放入他们的pip配置中（unix = $ HOME / .pip / pip.conf，win =％HOME％\ pip \
pip.ini）

[global]
download-cache = /mnt/pip-cache

它仍然检查PyPi，寻找最新版本。然后检查该版本是否在缓存中。如果是这样，它将从那里安装。如果没有下载。将其存储在缓存中并安装。因此，每个软件包每个新版本只能下载一次。