容器中的Ruby OOM

最近我们遇到了Docker容器中的Ruby问题.尽管负载非常低,但应用程序往往会占用大量内存,并且经过一段时间后,它会加载OOM.

经过一番调查后,我们将问题缩小到了单线

docker run -ti -m 209715200 ruby:2.1 ruby -e 'while true do array = []; 3000000.times do array << "hey" end; puts array.length; end;'

在一些机器上,它在开始后很快就被OOMed(由于超过限制而被oom-killer杀死),但是在一些机器上,它虽然很慢,但没有OOM,但仍有效.似乎(似乎,似乎并非如此)在某些配置中,ruby能够推断出cgroup的限制并调整它的GC.

配置测试：

> CentOS 7,Docker 1.9 – OOM
> CentOS 7,Docker 1.12 – OOM
> Ubuntu 14.10,Docker 1.9 – OOM
> Ubuntu 14.10,Docker 1.12 – OOM
> MacOS X Docker 1.12 – 没有OOM
> Fedora 23 Docker 1.12 – 没有OOM

如果你看一下ruby进程的内存消耗,在所有情况下它都表现得与这张图相似,保持在略低于限制的同一级别,或者撞到极限并被杀死.

Memory consumption plot

我们希望不惜一切代价避免使用OOM,因为它会降低弹性并带来丢失数据的风险.应用程序真正需要的内存低于限制.

你有什么建议,如何处理ruby以避免OOMing,可能会失去性能？

我们无法弄清楚测试安装之间的重大差异.

编辑：无法更改代码或增加内存限制.第一个是因为我们精通社区插件而我们无法控制,第二个因为它不能保证我们将来不会再次面对这个问题.

最佳答案

您可以通过环境变量尝试tweak rubies垃圾收集(取决于您的ruby版本)：

RUBY_GC_MALLOC_LIMIT=4000100
RUBY_GC_MALLOC_LIMIT_MAX=16000100
RUBY_GC_MALLOC_LIMIT_GROWTH_FACTOR=1.1

或者通过GC.start手动调用垃圾收集

举个例子,试试吧

docker run -ti -m 209715200 ruby：2.1 ruby -e’while true do array = [];数组<<<<<<< “嘿”结束; puts array.length; array = nil;结束;' 帮助垃圾收集器. 编辑：我没有与你相比的环境.在我的机器上(14.04.5 LTS,docker 1.12.3,RAM 4GB,Intel(R)Core(TM)i5-3337U CPU @ 1.80GHz)以下看起来非常有前景.

docker run -ti -m 500MB  -e "RUBY_GC_MALLOC_LIMIT_GROWTH_FACTOR=1" \
                         -e "RUBY_GC_MALLOC_LIMIT=5242880" \
                         -e "RUBY_GC_MALLOC_LIMIT_MAX=16000100" \
                         -e "RUBY_GC_HEAP_INIT_SLOTS=500000" \                             
 ruby:2.1 ruby -e 'while true do array = []; 3000000.times do array << "hey" end; puts array.length; puts `ps -o rss -p #{Process::pid}`.chomp.split("\n").last.strip.to_i / 1024.0 / 1024 ; puts GC.stat; end;'

但是每个ruby应用程序都需要一个不同的设置来进行微调,如果你遇到内存泄漏,你就会丢失.

docker

容器中的Ruby OOM

相关文章