问题描述
我正在尝试输出在 mariadb docker 容器中导入 .sql
文件的进度。
│- docker-compose.yml
│- Dockerfile
│- import.sh
└── sql
- test.sql (rather big: ~ 1GB)
我的docker-compose.yml
很简单……
services:
db:
build: ./
environment:
MysqL_ROOT_PASSWORD: root
volumes:
- ./:/docker-entrypoint-initdb.d
...使用以下 Dockerfile 安装 pv
(管道查看器)。 pv
should give me 进度条当前导入的进度...
FROM mariadb
RUN apt-get update && apt-get install -y pv
import.sh
将通过 /docker-entrypoint-initdb.d
as described here 中的映射卷执行。
#!/bin/bash
# create db
MysqL -uroot -proot <<-EOF
CREATE DATABASE test;
EOF
# import sql file and output progress with pv
echo "importing test.sql..."
pv --force "/docker-entrypoint-initdb.d/sql/test.sql" | MysqL -uroot -proot "test"
现在,如果我运行 docker-compose up
,它只在导入结束时输出 100%
pv 输出:
importing test.sql...
953MiB 0:01:24 [11.2MiB/s] [================================>] 100% 0:05:42
如果我在容器内执行相同的命令,它就会工作,并且它会给我一个移动的进度条:
pv --force "/docker-entrypoint-initdb.d/sql/test.sql" | MysqL -uroot -proot "test"
60.4MiB 0:00:14 [5.79MiB/s] [=> ] 6% 0:04:53
如何在 docker-compose up
上获得此进度条,而不是在漫长的等待和 100%
输出上?
解决方法
背景
首先让我们了解 pv
如何能够在终端的纯文本输出上呈现移动进度条:pv
实际上只是在每次进度更新时将纯文本打印到其标准输出:>
"[==> ] 25%\r"
"[======> ] 50%\r"
"[=========> ] 76%\r"
"[============>] 100%\n"
此处的每一行代表一个进度更新,其中 pv
输出在引号内的文本(因此没有引号)。
但这不会多行打印到终端:\r
是一个 carriage return 字符,它会将光标移回行首而不开始新行。因此,下一个进度输出将覆盖之前的文本,从而产生进度条动画。
仅在最后一次更新后 pv
才会打印换行符 \n
,从而在输出后产生最后的换行符。
现在解决 docker-compose
的问题:使用 docker-compose up
启动应用程序将启动所有服务,附加到它们的输出并将其记录到自己的输出 - 以相应的服务名称为前缀:
app_1 | starting App...
db_1 | initializing database
....
为此,docker-compose
将读取每个容器的每个输出行,并在打印之前为其添加服务名称前缀。
但正如我们之前看到的,pv
实际上只打印一行!这就是为什么 docker-compose
会在最终打印之前将输出缓冲到最后!
解决方案
我在这里看到两种可能的解决方案:
- 使用
docker-compose run db
初始化数据库:这将运行容器并将其输出直接附加到控制台,并在没有任何缓冲或后处理的情况下打印输出。
在这种情况下,您甚至可以省略 --force
标志。
- 将
\r
替换为\n
以强制将每个进度更新打印在新行上,例如使用tr
。此外,为了确保禁用任何输出缓冲,您可以将stdbuf
与它一起使用(请参阅 turn off buffering in pipe):
(pv --force -p "/docker-entrypoint-initdb.d/sql/test.sql" | mysql -uroot -proot "test") 2>&1 | stdbuf -o0 tr '\r' '\n'
将登录
db_1 | [==> ] 25%
db_1 | [======> ] 50%
db_1 | [=========> ] 76%
db_1 | [============>] 100%
演示
这是上面的一个小演示:
# Dockerfile
FROM alpine
RUN apk add pv
# docker-compose.yml
services:
app:
build: .
command: sh -c "pv --force -p -Ss 1024 -L 100 /dev/urandom 2>&1 > /dev/null | tr '\r' '\n'"
附录
根据评论,上述演示不适用于基于 ubuntu 的图像。在此类图像中,tr
似乎会缓冲其输出,并且仅在退出后才打印所有内容。
然而,可以使用 stdbuf
禁用输出缓冲区(另见 turn off buffering in pipe):
# Dockerfile
FROM ubuntu
RUN apt-get update && apt-get install -y pv
# docker-compose.yml
services:
app:
build: .
command: sh -c "pv --force -p -Ss 1024 -L 100 /dev/urandom 2>&1 > /dev/null | stdbuf -o0 tr '\r' '\n'"
,
我找到了一个有点不错的解决方案:
将 --numeric
标志添加到我的 pv
命令中。
-n,--numeric
数字输出。 不是给出进度的视觉指示,而是 pv 将给出一个整数百分比,每行一个,在标准错误上, 适用于管道(通过复杂重定向)进入对话框(1)。笔记 如果使用 -n,则不需要 -f。
所以我的 import.sh
中的命令是:
pv --numeric "/docker-entrypoint-initdb.d/sql/test.sql" | mysql -uroot -proot "test"
这给了我以下输出:
importing test.sql...
36
53
80
100
由于这不如 pv
的典型输出那么好,所以这个答案并不完美...
我还尝试了一些更好的输出,没有换行符,例如:
importing test.sql...
36% 53% 80% 100%
附加一个 awk
命令:
(pv --numeric "/docker-entrypoint-initdb.d/sql/test.sql" | mysql -uroot -proot "test") 2>&1 | awk '{printf "%s% ",$0}'
但同样的问题:这仅在容器内内部起作用,而在 docker-compose up
的输出上不起作用。