JMeter 与 Locust 压测结果比对

呵呵
呵呵
呵呵
订阅者
267
文章
0
评论
测试交流1 314字数 564阅读1分52秒阅读模式

大家好，最近使用 Locust 做了一些压测。看网上的说法，Locust 的统计结果不是很准确，所以我用 JMeter 和 Locust 对同一个 api 做了一下压测。
Api 使用 flask-restful 在本地部署的一个，直接使用的官网例子：

from flask import Flask
from flask_restful import reqparse, abort, Api, Resource
app = Flask(__name__)
api = Api(app)
TODOS = {
'todo1': {'task': 'build an API'},
'todo2': {'task': '?????'},
'todo3': {'task': 'profit!'},
}
def abort_if_todo_doesnt_exist(todo_id):
if todo_id not in TODOS:
abort(404, message="Todo {} doesn't exist".format(todo_id))
parser = reqparse.RequestParser()
parser.add_argument('task')
# Todo
# shows a single todo item and lets you delete a todo item
class Todo(Resource):
def get(self, todo_id):
abort_if_todo_doesnt_exist(todo_id)
return TODOS[todo_id]
def delete(self, todo_id):
abort_if_todo_doesnt_exist(todo_id)
del TODOS[todo_id]
return '', 204
def put(self, todo_id):
args = parser.parse_args()
task = {'task': args['task']}
TODOS[todo_id] = task
return task, 201
# TodoList
# shows a list of all todos, and lets you POST to add new tasks
class TodoList(Resource):
def get(self):
return TODOS
def post(self):
args = parser.parse_args()
todo_id = int(max(TODOS.keys()).lstrip('todo')) + 1
todo_id = 'todo%i' % todo_id
TODOS[todo_id] = {'task': args['task']}
return TODOS[todo_id], 201
##
# Actually setup the Api resource routing here
##
api.add_resource(TodoList, '/todos')
api.add_resource(Todo, '/todos/<todo_id>')
if __name__ == '__main__':
app.run(debug=True)

调试 get 请求http://localhost:5000/todos，成功返回

JMeter 与 Locust 压测结果比对插图
文章源自玩技e族-https://www.playezu.com/186169.html

使用 Locust 的压测结果：（使用 500 个并发用户）文章源自玩技e族-https://www.playezu.com/186169.html

from locust import HttpLocust, TaskSet, task
from datetime import datetime
import random
from re import search
class UserBehavior(TaskSet):
@task
def chushen(self):
with self.client.get("/todos" , catch_response=True) as rp:
rp.encoding = 'utf-8'
if 'build an API' in rp.text:
rp.success()
else:
rp.failure(rp.text)
class WebsiteUser(HttpLocust):
task_set = UserBehavior
host = "http://localhost:5000"

JMeter 与 Locust 压测结果比对插图1
文章源自玩技e族-https://www.playezu.com/186169.html

使用 JMeter 的压测结果：（使用 500 个并发用户）

JMeter 与 Locust 压测结果比对插图2
文章源自玩技e族-https://www.playezu.com/186169.html

以上测试都是在我的本机上进行的，可以看到使用 Locust 压测时，fail 的 request 很少，只是 tps 不是很高，平均只有 150rps，但是使用 JMeter 压测时，错误很多，下面是报错的一些截图：

JMeter 与 Locust 压测结果比对插图3
文章源自玩技e族-https://www.playezu.com/186169.html

JMeter 与 Locust 压测结果比对插图4
文章源自玩技e族-https://www.playezu.com/186169.html

做这样一个比对的原因，是因为我想选择其中一个做为将来的主力测试工具，所以希望所选择的工具在测试结果的准确性，施压能力上都很不错。我个人比较喜欢 Locust，脚本写起来爽，但是对压测结果的准确性上还有点怀疑。大家觉得哪个比较好呢？文章源自玩技e族-https://www.playezu.com/186169.html软件功能测试表文章源自玩技e族-https://www.playezu.com/186169.html文章源自玩技e族-https://www.playezu.com/186169.html

历史上的今天
7 月
22
 
    • 0x88
      0x88 9
      未知地区 1F
      回复

      我还是相信 jmeter还是觉得 JMeter 比较好，并发这些可以到很高
      Locust 优点就是写用例很方便
      如果能把两者的优点结合起来就好了，Python 生成 jmx 脚本，然后 JMeter 去 Run.. 不应该差这么多吧，jvm 配置了吗，并发数多对比几组看看呢，比如 50,100,150,200,300；
      为啥 jmeter 吞吐量>并发数呢，不太懂；这个应该是和 locust 机制不一样吧
      刚试了一下，jmeter 100 个线程数，一直循环，吞吐量 1800 多，有出错的情况 0.02%，如下
      java.net.SocketException: Socket closed
      at java.net.SocketInputStream.socketRead0(Native Method)
      at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
      at java.net.SocketInputStream.read(SocketInputStream.java:171)
      at java.net.SocketInputStream.read(SocketInputStream.java:141)
      at org.apache.http.impl.io.AbstractSessionInputBuffer.fillBuffer(AbstractSessionInputBuffer.java:161)
      at org.apache.http.impl.io.SocketInputBuffer.fillBuffer(SocketInputBuffer.java:82)
      at org.apache.http.impl.io.AbstractSessionInputBuffer.readLine(AbstractSessionInputBuffer.java:278)
      at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:138)
      at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:56)
      at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259)
      at org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader(AbstractHttpClientConnection.java:286)
      at org.apache.http.impl.conn.DefaultClientConnection.receiveResponseHeader(DefaultClientConnection.java:257)
      at org.apache.jmeter.protocol.http.sampler.hc.ManagedClientConnectionImpl.receiveResponseHeader(ManagedClientConnectionImpl.java:199)
      at org.apache.jmeter.protocol.http.sampler.MeasuringConnectionManager$MeasuredConnection.receiveResponseHeader(MeasuringConnectionManager.java:212)
      at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:273)
      at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125)
      at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:684)
      at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:486)
      at org.apache.http.impl.client.AbstractHttpClient.doExecute(AbstractHttpClient.java:835)
      at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)
      at org.apache.jmeter.protocol.http.sampler.HTTPHC4Impl.executeRequest(HTTPHC4Impl.java:697)
      at org.apache.jmeter.protocol.http.sampler.HTTPHC4Impl.sample(HTTPHC4Impl.java:455)
      at org.apache.jmeter.protocol.http.sampler.HTTPSamplerProxy.sample(HTTPSamplerProxy.java:74)
      at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1189)
      at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1178)
      at org.apache.jmeter.threads.JMeterThread.executeSamplePackage(JMeterThread.java:490)
      at org.apache.jmeter.threads.JMeterThread.processSampler(JMeterThread.java:416)
      at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:250)
      at java.lang.Thread.run(Thread.java:748)

      locust 不清楚，jmeter 你贴的这两个错误，第二个是服务端连接数限制的问题，和 jmeter 无关；第一个是接口被占用，也可以优化配置解决谢谢，我那个 api 是直接用 flask-restful 本地起的一个，可能本身就不支持那么高的并发。有没有比较方便本地直接配置的又支持高并发的 api 推荐推荐呀？可以尝试在相同的客户机开起同样的线程数，并且对同一个相同的服务，来做并发测试，此时可以观察客户机的当前性能，注意是客户机，不是被测服务设备。此时你会发现。。。jmeter 的客户机损耗性能比起 locust 好太多了。 python 虽简单，但在高并发测试场景下，客户机的资源利用成本是非常需要考虑的我也不太懂，刚刚把 api 改成了通过 tornado 实现的，抄的网上的例子：
      import os
      import tornado.web
      import tornado.ioloop

      class MainHandler(tornado.web.RequestHandler):
      def get(self):
      self.write(“Hello , SELECTn”)

      def post(self):
      self.write(“hello , ADDn”)

      def put(self):
      self.write(“hello , UPDATEn”)

      def delete(self):
      self.write(“hello , DELETEn”)

      if __name__ == “__main__”:
      settings = {
      ‘debug’ : True,
      ‘static_path’ : os.path.join(os.path.dirname(__file__) , “static”) ,
      ‘template_path’ : os.path.join(os.path.dirname(__file__) , “template”) ,
      }

      application = tornado.web.Application([
      (r”/” , MainHandler),
      ] , **settings)
      application.listen(8888)
      tornado.ioloop.IOLoop.instance().start()

      300 并发用户，Locust 压测结果：

      300 并发用户，JMeter 压测结果：

      这差距也太大了点。。。说的 没毛病 我这就是仗着有非线上业务的机器所以我 暂时 还是继续用着 locust 但是大趋势 还会用 jmeter 实惠些 不过真心 没有 locust 来的爽快会写 go 吗？我这有个开源的分布式测试框架求推荐作者大大，这个问题现在解决了吗，已经放弃 locust 了吗，最近在学习 locust，对比 jmeter 的结果，吓我一跳@jacexh 你的分布式开源框架可以分享下吗？想学习下https://github.com/jacexh/ultron 应该是这个。。。。快一年没有更新了。。。没有中文使用文档，慎入。不知道压测怎么选型工具类啊这儿有一篇 jemeter 和 locust 的对比，个人使用也觉得比较贴近：
      https://www.cnblogs.com/testfan2019/p/12582118.html这个没啥参考意义呢

    匿名

    发表评论

    匿名网友
    确定

    拖动滑块以完成验证