StandardTokenizer.java
001 /* Generated By:JavaCC: Do not edit this line. StandardTokenizer.java */
002 package gate.creole.annic.apache.lucene.analysis.standard;
003 
004 import java.io.*;
005 
006 /** A grammar-based tokenizer constructed with JavaCC.
007  *
008  <p> This should be a good tokenizer for most European-language documents.
009  *
010  <p>Many applications have specific tokenizer needs.  If this tokenizer does
011  * not suit your application, please consider copying this source code
012  * directory to your project and maintaining your own grammar-based tokenizer.
013  */
014 @SuppressWarnings({"unused","rawtypes","unchecked"})
015 public class StandardTokenizer extends gate.creole.annic.apache.lucene.analysis.Tokenizer implements StandardTokenizerConstants {
016 
017   /** Constructs a tokenizer for this Reader. */
018   public StandardTokenizer(Reader reader) {
019     this(new FastCharStream(reader));
020     this.input = reader;
021   }
022 
023 /** Returns the next token in the stream, or null at EOS.
024  <p>The returned token's type is set to an element of {@link
025  * StandardTokenizerConstants#tokenImage}.
026  */
027   @Override
028   final public gate.creole.annic.apache.lucene.analysis.Token next() throws ParseException, IOException {
029   Token token = null;
030     switch ((jj_ntk==-1)?jj_ntk():jj_ntk) {
031     case ALPHANUM:
032       token = jj_consume_token(ALPHANUM);
033       break;
034     case APOSTROPHE:
035       token = jj_consume_token(APOSTROPHE);
036       break;
037     case ACRONYM:
038       token = jj_consume_token(ACRONYM);
039       break;
040     case COMPANY:
041       token = jj_consume_token(COMPANY);
042       break;
043     case EMAIL:
044       token = jj_consume_token(EMAIL);
045       break;
046     case HOST:
047       token = jj_consume_token(HOST);
048       break;
049     case NUM:
050       token = jj_consume_token(NUM);
051       break;
052     case CJK:
053       token = jj_consume_token(CJK);
054       break;
055     case 0:
056       token = jj_consume_token(0);
057       break;
058     default:
059       jj_la1[0= jj_gen;
060       jj_consume_token(-1);
061       throw new ParseException();
062     }
063       if (token.kind == EOF) {
064         {if (truereturn null;}
065       else {
066         {if (truereturn
067           new gate.creole.annic.apache.lucene.analysis.Token(token.image,
068                                         token.beginColumn,token.endColumn,
069                                         tokenImage[token.kind]);}
070       }
071     throw new Error("Missing return statement in function");
072   }
073 
074   public StandardTokenizerTokenManager token_source;
075   public Token token, jj_nt;
076   private int jj_ntk;
077   private int jj_gen;
078   final private int[] jj_la1 = new int[1];
079   static private int[] jj_la1_0;
080   static {
081       jj_la1_0();
082    }
083    private static void jj_la1_0() {
084       jj_la1_0 = new int[] {0x10ff,};
085    }
086 
087   public StandardTokenizer(CharStream stream) {
088     token_source = new StandardTokenizerTokenManager(stream);
089     token = new Token();
090     jj_ntk = -1;
091     jj_gen = 0;
092     for (int i = 0; i < 1; i++jj_la1[i= -1;
093   }
094 
095   public void ReInit(CharStream stream) {
096     token_source.ReInit(stream);
097     token = new Token();
098     jj_ntk = -1;
099     jj_gen = 0;
100     for (int i = 0; i < 1; i++jj_la1[i= -1;
101   }
102 
103   public StandardTokenizer(StandardTokenizerTokenManager tm) {
104     token_source = tm;
105     token = new Token();
106     jj_ntk = -1;
107     jj_gen = 0;
108     for (int i = 0; i < 1; i++jj_la1[i= -1;
109   }
110 
111   public void ReInit(StandardTokenizerTokenManager tm) {
112     token_source = tm;
113     token = new Token();
114     jj_ntk = -1;
115     jj_gen = 0;
116     for (int i = 0; i < 1; i++jj_la1[i= -1;
117   }
118 
119   final private Token jj_consume_token(int kindthrows ParseException {
120     Token oldToken;
121     if ((oldToken = token).next != nulltoken = token.next;
122     else token = token.next = token_source.getNextToken();
123     jj_ntk = -1;
124     if (token.kind == kind) {
125       jj_gen++;
126       return token;
127     }
128     token = oldToken;
129     jj_kind = kind;
130     throw generateParseException();
131   }
132 
133   final public Token getNextToken() {
134     if (token.next != nulltoken = token.next;
135     else token = token.next = token_source.getNextToken();
136     jj_ntk = -1;
137     jj_gen++;
138     return token;
139   }
140 
141   final public Token getToken(int index) {
142     Token t = token;
143     for (int i = 0; i < index; i++) {
144       if (t.next != nullt = t.next;
145       else t = t.next = token_source.getNextToken();
146     }
147     return t;
148   }
149 
150   final private int jj_ntk() {
151     if ((jj_nt=token.next== null)
152       return (jj_ntk = (token.next=token_source.getNextToken()).kind);
153     else
154       return (jj_ntk = jj_nt.kind);
155   }
156 
157   private java.util.Vector jj_expentries = new java.util.Vector();
158   private int[] jj_expentry;
159   private int jj_kind = -1;
160 
161   public ParseException generateParseException() {
162     jj_expentries.removeAllElements();
163     boolean[] la1tokens = new boolean[15];
164     for (int i = 0; i < 15; i++) {
165       la1tokens[ifalse;
166     }
167     if (jj_kind >= 0) {
168       la1tokens[jj_kindtrue;
169       jj_kind = -1;
170     }
171     for (int i = 0; i < 1; i++) {
172       if (jj_la1[i== jj_gen) {
173         for (int j = 0; j < 32; j++) {
174           if ((jj_la1_0[i(1<<j)) != 0) {
175             la1tokens[jtrue;
176           }
177         }
178       }
179     }
180     for (int i = 0; i < 15; i++) {
181       if (la1tokens[i]) {
182         jj_expentry = new int[1];
183         jj_expentry[0= i;
184         jj_expentries.addElement(jj_expentry);
185       }
186     }
187     int[][] exptokseq = new int[jj_expentries.size()][];
188     for (int i = 0; i < jj_expentries.size(); i++) {
189       exptokseq[i(int[])jj_expentries.elementAt(i);
190     }
191     return new ParseException(token, exptokseq, tokenImage);
192   }
193 
194   final public void enable_tracing() {
195   }
196 
197   final public void disable_tracing() {
198   }
199 
200 }