LuceneTokenizer.java
01 /*
02  *  LuceneTokeniser.java
03  *
04  *  Niraj Aswani, 19/March/07
05  *
06  *  $Id: LuceneTokeniser.html,v 1.0 2007/03/19 16:22:01 niraj Exp $
07  */
08 package gate.creole.annic.lucene;
09 
10 import gate.creole.annic.apache.lucene.analysis.*;
11 import java.io.*;
12 import gate.*;
13 import java.util.*;
14 
15 /**
16  * Implementation of token stream.
17  @author niraj
18  *
19  */
20 public class LuceneTokenizer extends TokenStream {
21   Document document;
22   List<Token> tokens;
23   //List featuresToExclude;
24   int pointer = 0;
25 
26   /**
27    * Constructor
28    @param tokenStream
29    */
30   public LuceneTokenizer(List<Token> tokenStream) {
31     this.tokens = tokenStream;
32     pointer = 0;
33   }
34 
35   /**
36    * Returns the next token in the token stream.
37    */
38   @Override
39   public Token next() throws IOException {
40     while (pointer < tokens.size()) {
41       Token token = tokens.get(pointer);
42       pointer++;
43       if (token == null)
44         continue;
45       return token;
46     }
47     return null;
48   }
49 }