为什么（Py）ZeroMQ打开这么多Unix套接字文件？

Question

我在执行此代码时尝试用lsof -U | wc -l监视打开的Unix套接字文件的数量：

>>> import zmq
# 1375 Unix socket files
>>> c = zmq.Context()
# 1377 Unix socket files
>>> s = c.socket(zmq.PUSH)
# 1383 Unix socket files
>>> s.close()
# 1381 Unix socket files
>>> c.destroy()
# 1375 Unix socket files

这是为什么？我希望在连接套接字时打开TCP / IPC套接字文件，但是在连接之前这些文件呢？

它们似乎都是“STREAM”类型：

更新

有关重现此问题的有用脚本，请参阅@ gdlmx的答案。

看来如果你使用Conda来安装pyzmq，一切都按预期工作。但是，我仍然有兴趣知道如果你用pyzmq安装pip它不会起作用，我认为这是安装软件包的标准方法。

重现步骤：

有了康达：

conda create -n foo python=3.6
conda activate foo
pip install pyzmq
python test_script.py

使用Python的venv：

python3.6 -m venv venv
source ./venv/bin/activate
pip install pyzmq
python test_script.py

Answer 1

我建议用普通的python或ipython（不带控制台）重新运行测试。还请使用lsof -p <pid>将计数限制为单个进程，以排除机器中其他进程的不必要干扰（测试中的1375个Unix套接字文件）。

这是一个简单的测试脚本：

import os
pid = os.getpid()
count=0

def lsof():
    global count
    count += 1
    print(count,':')
    os.system("lsof -p {0:d} 2>/dev/null | grep -E 'unix|IPv4|IPv6'".format(pid)) # -U doesn't work togeter with -p option
    # Alternatively, you can use "lsof -U 2>/dev/null | grep -E {0:d}"
    # but only unix socket file will be listed.

import zmq
c = zmq.Context();lsof()
tcp = c.socket(zmq.PUSH);lsof()
unix = c.socket(zmq.PUSH);lsof()

print('--- To bind  ---')
tcp.bind('tcp://127.0.0.1:19413');lsof()
unix.bind('ipc://filename');lsof()

print('--- To close ---')
tcp.close();lsof()
unix.close();lsof()

以下是我的环境中的测试结果（python 3.6.6，pyzmq 17.1.2，在CentOS 7中带有Anaconda）。

1 :
2 :
3 :
--- To bind  ---
4 :
ZMQbg/1 284018 gdlmx   13u     IPv4           49443178      0t0      TCP localhost:19413 (LISTEN)
5 :
ZMQbg/1 284018 gdlmx   13u     IPv4           49443178      0t0      TCP localhost:19413 (LISTEN)
ZMQbg/1 284018 gdlmx   14u     unix 0xffff9cd6c5bf4800      0t0 49443204 filename
--- To close ---
6 :
ZMQbg/1 284018 gdlmx   14u     unix 0xffff9cd6c5bf4800      0t0 49443204 filename
7 :

我使用python和ipython来运行脚本并获得相同的结果。

总之，只有在调用socket.bind时，套接字文件或网络端口才会打开。在我的测试期间，python / ipython进程没有打开其他套接字。

更新

响应PO的更新：

异常（意外）行为可能是由PyPI上的pyzmq包中捆绑的预构建二进制文件引起的。 pip install pyzmq将从PyPI下载distribution tar ball，其中包含以下预编译的二进制文件：

zmq/backend/cython:
    _device.so  _proxy_steerable.so  constants.so  error.so    socket.so
    _poll.so    _version.so          context.so    message.so  utils.so

zmq/.libs:
    libzmq-39117701.so.5.2.1         libsodium-72341b7d.so.23.2.0

为了与尽可能多的Linux操作系统兼容，这些二进制文件构建在名为manylinux的docker环境中的一个非常旧的操作系统（CentOS 5）中。

Anaconda使用不同的方法预先构建二进制文件，并包含conda/envs文件夹中的所有依赖项。所以他们的二进制文件是在一个相对最新的环境中构建的。

我用上面的脚本在我的CentOS 7机器上测试了PyPI的二进制文件。我可以确认ZeroMQ打开一些“后台”套接字（创建上下文后为2个套接字，第一个套接字创建后为8个）。虽然我的测试表明它们用于ZeroMQ内部机制的线程间通信，但最好直接询问PyPI package的维护者。

您也可以尝试强制pip / setuptools为您的操作系统构建ZeroMQ：

sudo yum install libzmq3-devel #  RHEL-based
pip install --no-use-wheel pyzmq 
# Use `--no-binary :all:` instead of `--no-use-wheel` in pip >= 10.0.0

这可能会摆脱背景套接字，如果这是你想要的。

背景套接字的目的是什么？

ZeroMQ内部使用多个线程进行IO操作。可以通过IO_THREADS配置线程数。我发现这个数字会影响正在使用的套接字数量。测试它

num_io_threads = int(sys.argv[1])
c = zmq.Context()
c.set(zmq.IO_THREADS,num_io_threads)
s = c.socket(zmq.PUSH)
lsof()

你会发现number_of_sockets = 6 + 2 * num_io_threads。因此，我假设来自PyPI的ZeroMQ二进制文件在内部使用套接字进行主线程和工作线程/ IO线程之间的线程间通信。