为了账号安全,请及时绑定邮箱和手机立即绑定

从包含数百万个文件的目录 (bash/python/perl) 中通过精确匹配有效地查找数千个文件

从包含数百万个文件的目录 (bash/python/perl) 中通过精确匹配有效地查找数千个文件

呼唤远方 2022-11-24 15:24:25

我在 Linux 上,我试图从包含数百万个文件的目录 (SOURCE_DIR) 中查找数千个文件。我有一个我需要查找的文件名列表,存储在一个文本文件 (FILE_LIST) 中。该文件的每一行都包含一个名称,对应于 SOURCE_DIR 中的一个文件,文件中有数千行。


## FILE_LIST contain single word file names, each per line

#Name0001

#Name0002

#..

#Name9999

我想将文件复制到另一个目录 (DESTINATION_DIR)。我写了下面的循环,里面有个循环一个一个找。


#!/bin/bash

FILE_LIST='file.list'

## FILE_LIST contain single word file names, each per line

#Name0001

#Name0002

#..

#Name9999


SOURCE_DIR='/path/to/source/files' # Contain millions of files in sub-directories

DESTINATION_DIR='/path/to/destination/files' # Files will be copied to here



while read FILE_NAME

do

    echo $FILE_NAME

    for FILE_NAME_WITH_PATH in `find SOURCE_DIR -maxdepth 3 -name "$FILE_NAME*" -type f -exec readlink -f {} \;`; 

    do 

        echo $FILE

        cp -pv $FILE_NAME_WITH_PATH $DESTINATION_DIR; 

    done

done < $FILE_LIST

这个循环花费了很多时间,我想知道是否有更好的方法来实现我的目标。我进行了搜索,但没有找到解决我的问题的方法。如果已经存在,请直接告诉我解决方案,或者请建议对上述代码进行任何调整。如果有另一种方法甚至是 python/perl 解决方案,我也很好。感谢您的时间和帮助!


查看完整描述

4 回答

?
泛舟湖上清波郎朗

TA贡献1528条经验 获得超3个赞

注意   下面添加的处理不同目录中相同名称的代码


需要找到要复制的文件,因为它们没有给出路径(不知道它们在哪个目录中),但是重新搜索每个文件非常浪费,大大增加了复杂性。


相反,首先为每个文件名构建一个具有完整路径名的散列。


一种方法,使用 Perl,利用快速核心模块File::Find


use warnings;

use strict;

use feature 'say';


use File::Find;

use File::Copy qw(copy);


my $source_dir = shift // '/path/to/source';  # give at invocation or default


my $copy_to_dir = '/path/to/destination';


my $file_list = 'file_list_to_copy.txt';  

open my $fh, '<', $file_list or die "Can't open $file_list: $!";

my @files = <$fh>;

chomp @files;



my %fqn;    

find( sub { $fqn{$_} = $File::Find::name  unless -d }, $source_dir );


# Now copy the ones from the list to the given location        

foreach my $fname (@files) { 

    copy $fqn{$fname}, $copy_to_dir  

        or do { 

            warn "Can't copy $fqn{$fname} to $copy_to_dir: $!";

            next;

        };

}

剩下的问题是关于可能存在于多个目录中的文件名,但是我们需要得到一个规则来决定接下来要做什么。†


我忽略了问题中使用的最大深度,因为它无法解释并且在我看来是与极端运行时相关的修复(?)。此外,文件被复制到一个“平面”结构中(不恢复其原始层次结构),从问题中得到提示。


最后,我只跳过目录,而其他各种文件类型都有自己的问题(复制链接需要小心)。要仅接受普通文件,请更改unless -d 为if -f.


†澄清说,确实,不同目录中可能存在同名文件。那些应该复制到相同的名称,在扩展名之前以序号为后缀。


为此,我们需要检查一个名称是否已经存在,并在构建哈希时跟踪重复的名称,因此这将花费更长的时间。那么如何解释重名有一个小难题呢?我在 arrayrefs 中使用另一个哈希值,其中只保留了被欺骗的名称‡ ;这简化并加快了工作的两个部分。


my (%fqn, %dupe_names);

find( sub {

    return if -d;

    (exists $fqn{$_})

        ? push( @{ $dupe_names{$_} }, $File::Find::name )

        : ( $fqn{$_} = $File::Find::name );

}, $source_dir );

令我惊讶的是,即使现在对每个项目运行测试,它的运行速度也比不考虑重复名称的代码慢一点点,在 25 万个文件上分布在一个庞大的层次结构中。


三元运算符中赋值周围的括号是必需的,因为运算符可能被赋值给(如果最后两个参数是有效的“左值”,就像它们在这里一样),因此需要小心分支内的赋值。


然后在%fqn按照帖子的主要部分复制之后,还复制其他同名文件。我们需要分解文件名以便在之前添加枚举.ext;我使用核心File::Basename


use File::Basename qw(fileparse);


foreach my $fname (@files) { 

    next if not exists $dupe_names{$fname};  # no dupe (and copied already)

    my $cnt = 1;

    foreach my $fqn (@{$dupe_names{$fname}}) { 

        my ($name, $path, $ext) = fileparse($fqn, qr/\.[^.]*/); 

        copy $fqn, "$copy_to_dir/${name}_$cnt$ext";

            or do { 

                warn "Can't copy $fqn to $copy_to_dir: $!";

                next;

            };

        ++$cnt;

    }

}

(已完成基本测试,但仅此而已)


我可能会使用undef而不是$path上面的方法来指示该路径未使用(同时这也避免了分配和填充标量),但为了那些不熟悉模块的子返回的内容的人清楚,我将其保留为这种方式。


笔记。   对于具有重复项的文件,将有副本fname.ext、fname_1.ext等。如果您希望将它们全部编入索引,则首先将fname.ext(在目标位置,它已通过 复制%fqn)重命名为fname_1.ext,并将计数器初始化更改为my $cnt = 2;。


‡请注意,这些文件不一定是相同的文件。


查看完整回答
反对 回复 2022-11-24
?
智慧大石

TA贡献1681条经验 获得超3个赞

我怀疑速度问题(至少部分)来自您的嵌套循环 - 对于每个FILE_NAME,您都在运行 afind并循环其结果。下面的 Perl 解决方案使用动态构建正则表达式的技术(适用于大型列表,我已经在 100k+ 单词的列表上进行了测试),这样你只需要遍历文件一次并让正则表达式引擎处理其余部分;这相当快。


请注意,根据我对您的脚本的阅读,我做了几个假设:您希望模式在文件名的开头区分大小写,并且您希望在目标中重新创建与源相同的目录结构(设置$KEEP_DIR_STRUCT=0如果你不想要这个)。此外,我正在使用不完全是最佳实践的解决方案,find而不是使用 Perl 自己的解决方案,File::Find因为它可以更容易地实现您正在使用的相同选项(例如-maxdepth 3) - 但它应该可以正常工作,除非有名称中带有换行符的任何文件。


该脚本仅使用核心模块,因此您应该已经安装了它们。


#!/usr/bin/env perl

use warnings;

use strict;

use File::Basename qw/fileparse/;

use File::Spec::Functions qw/catfile abs2rel/;

use File::Path qw/make_path/;

use File::Copy qw/copy/;


# user settings

my $FILE_LIST='file.list';

my $SOURCE_DIR='/tmp/source';

my $DESTINATION_DIR='/tmp/dest';

my $KEEP_DIR_STRUCT=1;

my $DEBUG=1;


# read the file list

open my $fh, '<', $FILE_LIST or die "$FILE_LIST: $!";

chomp( my @files = <$fh> );

close $fh;


# build a regular expression from the list of filenames

# explained at: https://www.perlmonks.org/?node_id=1179840

my ($regex) = map { qr/^(?:$_)/ } join '|', map {quotemeta}

    sort { length $b <=> length $a or $a cmp $b } @files;


# prep dest dir

make_path($DESTINATION_DIR, { verbose => $DEBUG } );


# use external "find"

my @cmd = ('find',$SOURCE_DIR,qw{ -maxdepth 3 -type f -exec readlink -f {} ; });

open my $cmd, '-|', @cmd or die $!;

while ( my $srcfile = <$cmd> ) {

    chomp($srcfile);

    my $basename = fileparse($srcfile);

    # only interested in files that match the pattern

    next unless $basename =~ /$regex/;

    my $newname;

    if ($KEEP_DIR_STRUCT) {

        # get filename relative to the source directory

        my $relname = abs2rel $srcfile, $SOURCE_DIR;

        # build new filename in destination directory

        $newname = catfile $DESTINATION_DIR, $relname;

        # create the directories in the destination (if necessary)

        my (undef, $dirs) = fileparse($newname);

        make_path($dirs, { verbose => $DEBUG } );

    }

    else {

        # flatten the directory structure

        $newname = catfile $DESTINATION_DIR, $basename;

        # warn about potential naming conflicts

        warn "overwriting $newname with $srcfile\n" if -e $newname;

    }

    # copy the file

    print STDERR "cp $srcfile $newname\n" if $DEBUG;

    copy($srcfile, $newname) or die "copy('$srcfile', '$newname'): $!";

}

close $cmd or die "external command failed: ".($!||$?);

您可能还想考虑使用硬链接而不是复制文件。


查看完整回答
反对 回复 2022-11-24
?
暮色呼如

TA贡献1552条经验 获得超9个赞

和rsync

我不知道这对于数百万个文件会有多快,但这是一种使用rsync.


按以下格式设置您的格式file.list(例如:如 with $ cat file.list | awk '{print "+ *" $0}')。


+ *Name0001

+ *Name0002

...

+ *Name9999

在命令中file.list使用--include=from选项调用:rsync


$ rsync -v -r --dry-run --filter="+ **/" --include-from=/tmp/file.list --filter="- *" /path/to/source/files /path/to/destination/files

选项说明:


-v                  : Show verbose info.

-r                  : Traverse directories when searching for files to copy.

--dry-run           : Remove this if preview looks okay

--filter="+ *./"    : Pattern to include all directories in search

--include-from=/tmp/file.list  : Include patterns from file.

--filter="- *"      : Exclude everything that didn't match previous patterns.

期权订单很重要。


--dry-run如果详细信息看起来可以接受,请删除。


测试rsync版本 3.1.3。


查看完整回答
反对 回复 2022-11-24
?
HUX布斯

TA贡献0条经验 获得超6个赞

这是带有 的 bashv4+ 解决方案find,但不确定速度。


#!/usr/bin/env bash


files=file.list

sourcedir=/path/to/source/files

destination=/path/to/destination/files

mapfile -t lists < "$files"

total=${#lists[*]}


while IFS= read -rd '' files; do

  counter=0

  while ((counter < total)); do

    if [[ $files == *"${lists[counter]}" ]]; then

      echo cp -v "$files" "$destination" && unset 'lists[counter]' && break

    fi

    ((counter++))

  done

  lists=("${lists[@]}")

  total=${#lists[*]}

  (( ! total )) && break  ##: if the lists is already emtpy/zero, break.

done < <(find "$sourcedir" -type f -print0)

如果在 file.list 和 source_directory 中的文件中找到匹配项,则innerbreak将退出内部循环,因此它不会处理 file.list 直到最后,它会删除"${lists[@]}"(这是一个数组)中的条目,unset所以下一个内部循环将跳过已经匹配的文件。


文件名冲突应该不是问题,unset并且内部break确保了这一点。不利的一面是,如果您在不同的子目录中有多个文件要匹配。


如果速度是您所追求的,那么请使用通用脚本语言,例如python,perl和 friends


循环内(极慢的)模式匹配的替代方法是grep


#!/usr/bin/env bash


files=file.list

source_dir=/path/to/source/files

destination_dir=/path/to/destination/files


while IFS= read -rd '' file; do

  cp -v "$file" "$destination_dir"

done < <(find "$source_dir" -type f -print0 | grep -Fzwf "$files")

-zfromgrep是一个 GNU 扩展。


echo如果您认为输出正确,请删除。


查看完整回答
反对 回复 2022-11-24

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信