java-以相同顺序随机播放多个文件

设定:

我有50个文件,每个文件有25000行.

去做:

我需要“按相同顺序”将它们全部洗牌.
例如.:

如果在洗牌之前:

File 1  File 2  File 3
A       A       A
B       B       B
C       C       C

然后洗牌后我应该得到:

File 1  File 2  File 3
B       B       B
C       C       C
A       A       A

也就是说,文件中的相应行应以相同顺序随机排列.

而且,混洗应该是确定性的,即,如果我将文件A作为输入,则它应始终产生相同的混洗输出.

我可以编写一个Java程序来执行此操作,可能要编写一个脚本.如shuffle number在1到25000之间,并将其存储在文件中,例如shuffle_order.然后,一次只处理一个文件,并根据shuffle_order对现有行进行排序.但是,有没有更好/快速方法来做到这一点?

请让我知道是否需要更多信息.

解决方法:

接下来仅使用基本的bash命令.原则是:

>生成随机顺序(数字)
>按此顺序订购所有文件

编码

#!/bin/bash
case "$#" in
    0) echo "Usage: $0 files....." ; exit 1;;
esac

ORDER="./.rand.$$"
trap "rm -f $ORDER;exit" 1 2
count=$(grep -c '^' "$1")

let odcount=$(($count * 4))
paste -d" " <(od -A n -N $odcount -t u4 /dev/urandom | grep -o '[0-9]*') <(seq -w $count) |\
    sort -k1n | cut -d " " -f2 > $ORDER

#if your system has the "shuf" command you can replace the above 3 lines with a simple
#seq -w $count | shuf > $ORDER

for file in "$@"
do
    paste -d' ' $ORDER $file | sort -k1n | cut -d' ' -f2-  > "$file.rand"
done

echo "the order is in the file $ORDER"  # remove this line
#rm -f $ORDER                           # and uncomment this
                                        # if dont need preserve the order

paste -d "  " *.rand   #remove this line - it is only for showing test result

从输入文件中:

A  B  C
--------
a1 a2 a3
b1 b2 b3
c1 c2 c3
d1 d2 d3
e1 e2 e3
f1 f2 f3
g1 g2 g3
h1 h2 h3
i1 i2 i3
j1 j2 j3

将使用下一个示例内容制作A.rand B.rand C.rand

g1 g2 g3
e1 e2 e3
b1 b2 b3
c1 c2 c3
f1 f2 f3
j1 j2 j3
d1 d2 d3
h1 h2 h3
i1 i2 i3
a1 a2 a3

真实测试-用25k行生成50个文件

line="Consequatur qui et qui. Mollitia expedita aut excepturi modi. Enim nihil et laboriosam sit a tenetur."
for n in $(seq -w 50)
do
    seq -f "$line %g" 25000 >file.$n
done

运行脚本

bash sorter.sh file.??

结果在我的笔记本上

real     1m13.404s
user     0m56.127s
sys      0m5.143s

相关文章

用的openwrt路由器,家里宽带申请了动态公网ip,为了方便把2...
#!/bin/bashcommand1&command2&wait从Shell脚本并行...
1.先查出MAMP下面集成的PHP版本cd/Applications/MAMP/bin/ph...
1、先输入locale-a,查看一下现在已安装的语言2、若不存在如...
BashPerlTclsyntaxdiff1.进制数表示Languagebinaryoctalhexa...
正常安装了k8s后,使用kubect工具后接的命令不能直接tab补全...