标准简单？基准代码/测试？

问题描述

| 是否存在某种标准的基准测试系统或大纲或其他内容？我正在查看go，llvm，d和其他语言，我想知道它们在执行时间，内存使用等方面如何公平。 我发现https://benchmarksgame-team.pages.debian.net/benchmarksgame/，但是代码不一样。一个示例是C ++源代码<100行，而C源代码> 650。我很难称其为公平。其源代码中的另一个测试有一个愚蠢的错误：将锁置于循环中，而其他语言则将其置于循环之外。 因此，我想知道一些我可能考虑查看/运行的测试，该测试可能不使用非标准甚至复杂的库。就像完全在单个源文件中实现一样。公平的东西。     

解决方法

        基准测试并不完全是公平的，而是要在自己的限制内为自己的工作量选择一些东西。 如果您想使用alioth枪战网站，如果您排除太冗长或太慢的解决方案（确切的平衡取决于您要执行的操作-您编写运行五秒钟的代码，或将占用一台计算机五个月的计算机）。查看一个特定问题的最简洁示例，以了解一般问题的结构-然后查看人们为使代码运行更快而采用了哪些典型优化。 使用THE SAME代码进行基准测试是没有意义的，因为您需要不同的东西来帮助使用不同的语言。 Java具有GC，这意味着它在

trees

测试中表现良好，而对于

spectral-norm

，您需要在C / C ++中进行自定义内存分配才能与之竞争（并且该特定基准测试的结构使标准malloc的确表现不佳）。 ，您需要非盒装双数组... 如果您想提出自己的解决方案，请去欧拉计划-存在很多不依赖于复杂库的问题，但是要优化就存在挑战。否则，尝试提出您认为足以过滤或对战的现有贡献（或外部）的评分标准（例如，针对某些问题有ShedSkin和Cython解决方案，这些解决方案是“非官方的”因为不包括这些语言）。     ,多年来，基准测试游戏网站在“帮助”页面上都采用了这一功能- “不公平”是什么意思？ （寓言） 他们上，下，上，下，上，下，上下颠倒跑动。 猎豹的朋友说“这不公平”-每个人都知道猎豹是最快的生物，但是比赛时间太长，猎豹会累！ 猎鹰的朋友们说“这不公平”-所有人都知道猎鹰是最快的生物，但是猎鹰的走得并不好，他飞翔在天空中！ 马的朋友说“这不公平”-所有人都知道马是最快的生物，但这只是一岁鸽，必须停止比赛直到种马参加！ 曼的朋友说“这不公平”-所有人都知道，在“现实世界”中，曼会使用摩托车，因此必须等到曼加油并为引擎加温为止！ 蜗牛的朋友说“这不公平”-每个人都知道一个生物应该离开黏液，其他所有生物都在作弊！ 达尔马提亚的尾巴撞在地上。达尔马提亚气喘吁吁，屏息间说道：“看着那座美丽的山，让我们竞速登顶！” 当时，“这不公平”的注释大多是特殊的诉求，旨在使编程语言X受益于编程语言Y而不利。 但是您提出的问题有些不同。 首先看一下n体 基准游戏上的程序 网站。即使程序 用不同的语言写 几乎没有区别 程序的编码方式。 到目前为止，还没有人找到有效的方法 利用四核的方法 这个小n体问题-因此 没有特殊的多核程序。 程序不使用非标准 或复杂的库。程序 完全在一个内部实现 单个源文件。 我说很少 n身体方式的差异 程序被编码，但是这样做 真的意味着程序是 相同？项目结束后不久 被复兴了，六七年前我 记得一个Ada程序员 关于比较苹果和 橘子，因为汇编语言 来自Ada计划的不是 与C语言中的汇编语言相同 程序-显然不是 被比较为:-) Ada源代码应该有的 用不同的方式写 比编写C源代码要多， 使Ada编译器产生 与C编译器相同的汇编语言 生产的。 otoh如果汇编语言是由 两个编译器实际上都是逐行的 一样，为什么会有一个 性能差异？ 当方式上的差异很小时 对程序进行编码，然后乍一看 比较似乎是公平的，但强迫 像语言X一样编码的不同语言 可能偏爱X语言。 正如Yannick Versley所指出的那样 使用其他语言的目的是为了 不同的方法 语言提供。换一种说法， 有多种方法可以 一样。 看一下mandelbrot程序 基准游戏网站- 最简单的C程序只有一半 最快的C程序；的 最简单的C程序是顺序的， 使用双打，最快的C程序 通过OMP和GCC使用所有4个内核 本质。 其他语言采用不同的方法来使用所有4个内核-难道这意味着我们应该只比较顺序程序而忽略多核计算的现实吗？ 其他语言实现可能无法提供与GCC内在函数等效的功能-这是否意味着我们应该只比较使用double的程序？但是其他语言实现在表示双打的方式上采用了不同的方法-这是否意味着我们应该忽略所有浮点程序？ 问题在于，编程语言（和编程语言实现）与苹果和橘子相比有很大不同，但是我们仍然会问-如果我用语言X编写程序，程序会更快吗？ -并且仍然希望有比-更简单的答案-这取决于您的书写方式！ 基准游戏网站上的不同任务和不同程序表明，一些性能比较答案令人困惑和复杂-细节很重要。