请教使用NLTK创建新的语料库

Question

使用NLTK创建新的语料库我估计我的标题的答案通常是去阅读文档，但是我浏览了一下NLTK书但它没有给出答案。我对Python有点陌生。我有一堆.txt文件，我希望能够使用NLTK为该语料库提供的语料库功能。nltk_data.我试过PlaintextCorpusReader但我只能说：>>>import nltk>>>from nltk.corpus import PlaintextCorpusReader>>>corpus_root = './'>>>newcorpus = PlaintextCorpusReader(corpus_root, '.*')>>>newcorpus.words()如何分割newcorpus使用Punkt的句子？我试过使用Punkt函数，但是Punkt函数无法读取PlaintextCorpusReader班级，等级?你还能告诉我如何将分割后的数据写入文本文件吗？

Answer 1

我觉得PlaintextCorpusReader至少如果您的输入语言是英语的话，那么已经用Punkt标记器对输入进行分段。

PlainTextCorposReader构造函数

def __init__(self, root, fileids,
             word_tokenizer=WordPunctTokenizer(),
             sent_tokenizer=nltk.data.LazyLoader(
                 'tokenizers/punkt/english.pickle'),
             para_block_reader=read_blankline_block,
             encoding='utf8'):

您可以向读者传递一个单词和句子标记器，但对于后者，默认的是nltk.data.LazyLoader('tokenizers/punkt/english.pickle').

对于单个字符串，将按以下方式使用令牌程序(解释)这里，见第5节中的Punkt令牌器)。

>>> import nltk.data>>> text = """
... Punkt knows that the periods in Mr. Smith and Johann S. Bach
... do not mark sentence boundaries.  And sometimes sentences
... can start with non-capitalized words.  i is a good variable
... name.
... """>>> tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')>>> tokenizer.tokenize(text.strip())

Answer 2

经过几年的研究之后，下面是更新的教程

如何使用文本文件目录创建NLTK语料库？

主要思想是利用nltk.corpu.Reader包裹。中有一个文本文件目录的情况下英语，英国的，英国人的，最好使用PlaintextCorposReader.

如果您有一个如下所示的目录：

newcorpus/
         file1.txt
         file2.txt         ...

只需使用这些代码行，您就可以得到一个语料库：

import osfrom nltk.corpus.reader.plaintext import PlaintextCorpusReadercorpusdir = 'newcorpus/' # Directory of corpus.newcorpus = PlaintextCorpusReader(corpusdir, '.*')

注：认为PlaintextCorpusReader将使用默认的nltk.tokenize.sent_tokenize()和nltk.tokenize.word_tokenize()要将你的课文分成句子和单词，并且这些功能是为英语而建立的，它可以不为所有语言工作。

下面是创建测试文本文件的完整代码，以及如何使用NLTK创建一个语料库，以及如何在不同级别访问该语料库：

import osfrom nltk.corpus.reader.plaintext import PlaintextCorpusReader# Let's create a corpus with 2 texts in different textfile.txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""txt2 = """Are you a foo bar? Yes I am. Possibly, everyone is.\n"""corpus = [txt1,txt2]# Make new dir for the corpus.corpusdir = 'newcorpus/'if not os.path.isdir(corpusdir):
    os.mkdir(corpusdir)# Output the files into the directory.filename = 0for text in corpus:
    filename+=1
    with open(corpusdir+str(filename)+'.txt','w') as fout:
        print>>fout, text# Check that our corpus do exist and the files are correct.assert os.path.isdir(corpusdir)for infile, text in zip(sorted(os.listdir(corpusdir)),corpus):
    assert open(corpusdir+infile,'r').read().strip() == text.strip()# Create a new corpus by specifying the parameters# (1) directory of the new corpus# (2) the fileids of the corpus# NOTE: in this case the fileids are simply the filenames.newcorpus = PlaintextCorpusReader('newcorpus/', '.*')# Access each file in the corpus.for infile in sorted(newcorpus.fileids()):
    print infile # The fileids of each file.
    with newcorpus.open(infile) as fin: # Opens the file.
        print fin.read().strip() # Prints the content of the fileprint# Access the plaintext; outputs pure string/basestring.print newcorpus.raw().strip()print # Access paragraphs in the corpus. (list of list of list of strings)# NOTE: NLTK automatically calls nltk.tokenize.sent_tokenize and #       nltk.tokenize.word_tokenize.## Each element in the outermost list is a paragraph, and# Each paragraph contains sentence(s), and# Each sentence contains token(s)print newcorpus.paras()print# To access pargraphs of a specific fileid.print newcorpus.paras(newcorpus.fileids()[0])# Access sentences in the corpus. (list of list of strings)# NOTE: That the texts are flattened into sentences that contains tokens.print newcorpus.sents()print# To access sentences of a specific fileid.print newcorpus.sents(newcorpus.fileids()[0])# Access just tokens/words in the corpus. (list of strings)print newcorpus.words()# To access tokens of a specific fileid.print newcorpus.words(newcorpus.fileids()[0])

最后，要以其他语言读取文本目录并创建nltk语料库，您必须首先确保具有python可调用性。字标记化和句子标记化接受字符串/基字符串输入并产生这样的输出的模块：

>>> from nltk.tokenize import sent_tokenize, word_tokenize>>> txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus.""">>> sent_tokenize(txt1)['This is a foo bar sentence.', 'And this is the first txtfile in the corpus.']>>> word_tokenize(sent_tokenize(txt1)[0])['This', 'is', 'a', 'foo', 'bar', 'sentence', '.']

Answer 3

>>> import nltk >>> from nltk.corpus import PlaintextCorpusReader
 >>> corpus_root = './'
 >>> newcorpus = PlaintextCorpusReader(corpus_root, '.*')
 """
 if the ./ dir contains the file my_corpus.txt, then you 
 can view say all the words it by doing this 
 """
 >>> newcorpus.words('my_corpus.txt')