2 * wc -- count things in utf-encoded text files
4 * The only white space characters recognized are ' ', '\t' and '\n', even though
5 * ISO 10646 has many more blanks scattered through it.
6 * Should count characters that cannot occur in any rune (hex f0-ff) separately.
7 * Should count non-canonical runes (e.g. hex c1,80 instead of hex 40).
12 uvlong nline, tnline, pline;
13 uvlong nword, tnword, pword;
14 uvlong nrune, tnrune, prune;
15 uvlong nbadr, tnbadr, pbadr;
16 uvlong nchar, tnchar, pchar;
17 void count(int, char *);
18 void report(uvlong, uvlong, uvlong, uvlong, uvlong, char *);
20 main(int argc, char *argv[])
25 case 'l': pline++; break;
26 case 'w': pword++; break;
27 case 'r': prune++; break;
28 case 'b': pbadr++; break;
29 case 'c': pchar++; break;
31 fprint(2, "Usage: %s [-lwrbc] [file ...]\n", argv0);
34 if(pline+pword+prune+pbadr+pchar == 0) {
43 f=open(argv[i], OREAD);
59 report(tnline, tnword, tnrune, tnbadr, tnchar, "total");
64 report(uvlong nline, uvlong nword, uvlong nrune, uvlong nbadr, uvlong nchar, char *fname)
66 char line[1024], word[128];
69 sprint(word, " %7llud", nline);
73 sprint(word, " %7llud", nword);
77 sprint(word, " %7llud", nrune);
81 sprint(word, " %7llud", nbadr);
85 sprint(word, " %7llud", nchar);
89 sprint(word, " %s", fname);
92 print("%s\n", line+1);
95 * How it works. Start in statesp. Each time we read a character,
96 * increment various counts, and do state transitions according to the
97 * following table. If we're not in statesp or statewd when done, the
98 * file ends with a partial rune.
100 * state |09,20| 0a |00-7f|80-bf|c0-df|e0-ef|f0-ff
101 * -------+-----+-----+-----+-----+-----+-----+-----
102 * statesp|ASP |ASPN |AWDW |AWDWX|AC2W |AC3W |AWDWX
103 * statewd|ASP |ASPN |AWD |AWDX |AC2 |AC3 |AWDX
104 * statec2|ASPX |ASPNX|AWDX |AWDR |AC2X |AC3X |AWDX
105 * statec3|ASPX |ASPNX|AWDX |AC2R |AC2X |AC3X |AWDX
108 AC2, /* enter statec2 */
109 AC2R, /* enter statec2, don't count a rune */
110 AC2W, /* enter statec2, count a word */
111 AC2X, /* enter statec2, count a bad rune */
112 AC3, /* enter statec3 */
113 AC3W, /* enter statec3, count a word */
114 AC3X, /* enter statec3, count a bad rune */
115 ASP, /* enter statesp */
116 ASPN, /* enter statesp, count a newline */
117 ASPNX, /* enter statesp, count a newline, count a bad rune */
118 ASPX, /* enter statesp, count a bad rune */
119 AWD, /* enter statewd */
120 AWDR, /* enter statewd, don't count a rune */
121 AWDW, /* enter statewd, count a word */
122 AWDWX, /* enter statewd, count a word, count a bad rune */
123 AWDX /* enter statewd, count a bad rune */
125 uchar statesp[256]={ /* looking for the start of a word */
126 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 00-07 */
127 AWDW, ASP, ASPN, AWDW, AWDW, AWDW, AWDW, AWDW, /* 08-0f */
128 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 10-17 */
129 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 18-1f */
130 ASP, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 20-27 */
131 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 28-2f */
132 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 30-37 */
133 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 38-3f */
134 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 40-47 */
135 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 48-4f */
136 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 50-57 */
137 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 58-5f */
138 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 60-67 */
139 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 68-6f */
140 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 70-77 */
141 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 78-7f */
142 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 80-87 */
143 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 88-8f */
144 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 90-97 */
145 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 98-9f */
146 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* a0-a7 */
147 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* a8-af */
148 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* b0-b7 */
149 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* b8-bf */
150 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* c0-c7 */
151 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* c8-cf */
152 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* d0-d7 */
153 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* d8-df */
154 AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, /* e0-e7 */
155 AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, /* e8-ef */
156 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* f0-f7 */
157 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX/* f8-ff */
159 uchar statewd[256]={ /* looking for the next character in a word */
160 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 00-07 */
161 AWD, ASP, ASPN, AWD, AWD, AWD, AWD, AWD, /* 08-0f */
162 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 10-17 */
163 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 18-1f */
164 ASP, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 20-27 */
165 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 28-2f */
166 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 30-37 */
167 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 38-3f */
168 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 40-47 */
169 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 48-4f */
170 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 50-57 */
171 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 58-5f */
172 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 60-67 */
173 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 68-6f */
174 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 70-77 */
175 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 78-7f */
176 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 80-87 */
177 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 88-8f */
178 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 90-97 */
179 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 98-9f */
180 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* a0-a7 */
181 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* a8-af */
182 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* b0-b7 */
183 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* b8-bf */
184 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* c0-c7 */
185 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* c8-cf */
186 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* d0-d7 */
187 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* d8-df */
188 AC3, AC3, AC3, AC3, AC3, AC3, AC3, AC3, /* e0-e7 */
189 AC3, AC3, AC3, AC3, AC3, AC3, AC3, AC3, /* e8-ef */
190 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
191 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX /* f8-ff */
193 uchar statec2[256]={ /* looking for 10xxxxxx to complete a rune */
194 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 00-07 */
195 AWDX, ASPX, ASPNX,AWDX, AWDX, AWDX, AWDX, AWDX, /* 08-0f */
196 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 10-17 */
197 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 18-1f */
198 ASPX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 20-27 */
199 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 28-2f */
200 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 30-37 */
201 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 38-3f */
202 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 40-47 */
203 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 48-4f */
204 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 50-57 */
205 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 58-5f */
206 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 60-67 */
207 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 68-6f */
208 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 70-77 */
209 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 78-7f */
210 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 80-87 */
211 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 88-8f */
212 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 90-97 */
213 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 98-9f */
214 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* a0-a7 */
215 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* a8-af */
216 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* b0-b7 */
217 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* b8-bf */
218 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c0-c7 */
219 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c8-cf */
220 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d0-d7 */
221 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d8-df */
222 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e0-e7 */
223 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e8-ef */
224 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
225 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX /* f8-ff */
227 uchar statec3[256]={ /* looking for 10xxxxxx,10xxxxxx to complete a rune */
228 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 00-07 */
229 AWDX, ASPX, ASPNX,AWDX, AWDX, AWDX, AWDX, AWDX, /* 08-0f */
230 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 10-17 */
231 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 18-1f */
232 ASPX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 20-27 */
233 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 28-2f */
234 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 30-37 */
235 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 38-3f */
236 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 40-47 */
237 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 48-4f */
238 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 50-57 */
239 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 58-5f */
240 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 60-67 */
241 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 68-6f */
242 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 70-77 */
243 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 78-7f */
244 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 80-87 */
245 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 88-8f */
246 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 90-97 */
247 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 98-9f */
248 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* a0-a7 */
249 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* a8-af */
250 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* b0-b7 */
251 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* b8-bf */
252 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c0-c7 */
253 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c8-cf */
254 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d0-d7 */
255 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d8-df */
256 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e0-e7 */
257 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e8-ef */
258 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
259 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX /* f8-ff */
262 count(int f, char *name)
267 uchar *state=statesp;
276 n=read(f, buf, NBUF);
280 nrune+=n; /* might be too large, gets decreased later */
284 switch(state[*bufp]){
285 case AC2: state=statec2; break;
286 case AC2R: state=statec2; --nrune; break;
287 case AC2W: state=statec2; nword++; break;
288 case AC2X: state=statec2; nbadr++; break;
289 case AC3: state=statec3; break;
290 case AC3W: state=statec3; nword++; break;
291 case AC3X: state=statec3; nbadr++; break;
292 case ASP: state=statesp; break;
293 case ASPN: state=statesp; nline++; break;
294 case ASPNX: state=statesp; nline++; nbadr++; break;
295 case ASPX: state=statesp; nbadr++; break;
296 case AWD: state=statewd; break;
297 case AWDR: state=statewd; --nrune; break;
298 case AWDW: state=statewd; nword++; break;
299 case AWDWX: state=statewd; nword++; nbadr++; break;
300 case AWDX: state=statewd; nbadr++; break;
302 }while(++bufp!=ebuf);
304 if(state!=statesp && state!=statewd)
308 report(nline, nword, nrune, nbadr, nchar, name);