Tokenizer.java
01 package gate.creole.annic.apache.lucene.analysis;
02 
03 /**
04  * Copyright 2004 The Apache Software Foundation
05  *
06  * Licensed under the Apache License, Version 2.0 (the "License");
07  * you may not use this file except in compliance with the License.
08  * You may obtain a copy of the License at
09  *
10  *     http://www.apache.org/licenses/LICENSE-2.0
11  *
12  * Unless required by applicable law or agreed to in writing, software
13  * distributed under the License is distributed on an "AS IS" BASIS,
14  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
15  * See the License for the specific language governing permissions and
16  * limitations under the License.
17  */
18 
19 import java.io.Reader;
20 import java.io.IOException;
21 
22 /** A Tokenizer is a TokenStream whose input is a Reader.
23   <p>
24   This is an abstract class.
25  */
26 
27 public abstract class Tokenizer extends TokenStream {
28   /** The text source for this Tokenizer. */
29   protected Reader input;
30 
31   /** Construct a tokenizer with null input. */
32   protected Tokenizer() {}
33 
34   /** Construct a token stream processing the given input. */
35   protected Tokenizer(Reader input) {
36     this.input = input;
37   }
38 
39   /** By default, closes the input Reader. */
40   @Override
41   public void close() throws IOException {
42     input.close();
43   }
44 }