我创建了一个具有多个工作线程的 Netty 服务器，以检查线程数量的增加如何改变吞吐量。 这是我使用的代码。它是 Writing and echo server 的稍微修改版本，可以在 Netty 网站中找到。
Echo服务器计算
import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;
public class EchoServerCompute {
private int port;
public EchoServerCompute(int port) {
this.port = port;
}
public void run(int threadCount) throws Exception {
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup(threadCount);
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast(new EchoServerComputeHandler());
}
})
.option(ChannelOption.SO_BACKLOG, 128)
.childOption(ChannelOption.SO_KEEPALIVE, true);
ChannelFuture f = b.bind(port).sync();
f.channel().closeFuture().sync();
} finally {
workerGroup.shutdownGracefully();
bossGroup.shutdownGracefully();
}
}
public static void main(String[] args) throws Exception {
int port = 8080;
new EchoServerCompute(port).run(Integer.parseInt(args[0]));
}
}
EchoServerComputeHandler
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import java.lang.Math;
import java.math.BigInteger;
public class EchoServerComputeHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
BigInteger result = BigInteger.ONE;
for (int i=0; i<2000; i++)
result = result.multiply(BigInteger.valueOf(i));
ctx.write(msg);
ctx.flush();
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
cause.printStackTrace();
ctx.close();
}
}
我使用 5 个工作线程运行此服务器，然后使用 50 个工作线程运行该服务器，并使用 JMeter 和 1000 个用户对其进行测试。但我在这两种情况下收到的吞吐量几乎相同。
我预计使用更多工作线程时吞吐量会有所增加。那么有人可以告诉我我在这里做错了什么吗？
编辑
我运行此程序的测试环境有 2 个指定为服务器和客户端的节点。 Server节点运行netty程序，Client节点运行JMeter。该服务器配备 Intel Xeon 5160 CPU 和 16GB RAM。该客户端拥有 Intel Xeon E5506 CPU 和 8GB RAM。它们之间的链路是 1Gbps。
您在这里面临几个问题：
Java 太聪明了
for (int i=0; i<2000; i++)
result = result.multiply(BigInteger.valueOf(i));
JIT 会将其检测为死代码，然后将其完全删除。这意味着您的代码将在不到一毫秒的时间内完成。要解决此问题，请将
result您的硬件有限
更多的工作线程并不一定意味着更多的吞吐量，因为您的机器实际上需要能够处理工作负载。如果您还在同一台计算机上运行 JMeter，那么您不会看到吞吐量有任何增加
threads >= amount_of_cpus / 2穿线需要时间
管理线程并在线程之间切换实际上需要时间。因此，在系统中的线程达到一定数量后，吞吐量将明显下降。您从 5 到 50 的步长太大，无法检测到这一点，请尝试以 2 个线程的步长前进。
线程混乱
线程的执行顺序是未定义的。因此，如果您运行足够多的线程，它们将开始互相窃取执行时间。有些可能会立即完成，而另一些则需要排队等待几秒钟。当线程数达到 50 时，您会发现完成时间大大增加，因为有如此多的线程一直处于搁置状态。您可以通过比较最小和最大执行时间来看到这一点，随着线程数量的增加，最小和最大执行时间应该开始出现分歧。
Netty 被设计为支持非阻塞 I/O，这意味着线程不会被阻塞。从一个线程切换到另一个线程是有成本的，因此固定数量的线程效率更高。该数字通常为
number_of_core × 2Java 的
Executor想想看，一旦每个核心都满负荷运行，创建更多线程将无济于事。将线程池大小增加到可用物理线程数以上仅有助于在阻塞 I/O 的情况下处理更多并发连接。
如果您的任务不需要太长时间，您可以在与
EventLoopGroupExecutorsEventLoopGroupEventLoopGroup#setIoRatio因为大多数http服务器都有两个工作线程限制。
一个是“端点”的工作线程的最大数量。另一个是服务器的工作线程的最大数量。
基于 ip adderss（或会话）的端点，一个端点的默认最大线程数为 5。因此，虽然您创建了 1000 个用户进行测试，但您的 1000 个用户属于一个端点，因此最大吞吐量始终为 5。
此限制旨在过度关注一个端点请求服务器，这将导致无法处理其他端点，这将是严重且危险的。
我的想法：