1 5e11c00c 2021-03-02 op /* Copyright (c) 2008-2009 Bjoern Hoehrmann <bjoern@hoehrmann.de>
  2 5e11c00c 2021-03-02 op  *
  3 5e11c00c 2021-03-02 op  * Permission is hereby granted, free of charge, to any person
  4 5e11c00c 2021-03-02 op  * obtaining a copy of this software and associated documentation
  5 5e11c00c 2021-03-02 op  * files (the "Software"), to deal in the Software without
  6 5e11c00c 2021-03-02 op  * restriction, including without limitation the rights to use, copy,
  7 5e11c00c 2021-03-02 op  * modify, merge, publish, distribute, sublicense, and/or sell copies
  8 5e11c00c 2021-03-02 op  * of the Software, and to permit persons to whom the Software is
  9 5e11c00c 2021-03-02 op  * furnished to do so, subject to the following conditions:
 10 5e11c00c 2021-03-02 op  *
 11 5e11c00c 2021-03-02 op  * The above copyright notice and this permission notice shall be
 12 5e11c00c 2021-03-02 op  * included in all copies or substantial portions of the Software.
 13 5e11c00c 2021-03-02 op  *
 14 5e11c00c 2021-03-02 op  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
 15 5e11c00c 2021-03-02 op  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
 16 5e11c00c 2021-03-02 op  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
 17 5e11c00c 2021-03-02 op  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
 18 5e11c00c 2021-03-02 op  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
 19 5e11c00c 2021-03-02 op  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
 20 5e11c00c 2021-03-02 op  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
 21 5e11c00c 2021-03-02 op  * SOFTWARE.
 22 5e11c00c 2021-03-02 op  */
 23 5e11c00c 2021-03-02 op 
 24 174b3cdf 2021-03-21 op #include "telescope.h"
 25 5e11c00c 2021-03-02 op 
 26 174b3cdf 2021-03-21 op #include <assert.h>
 27 5e11c00c 2021-03-02 op #include <stddef.h>
 28 5e11c00c 2021-03-02 op #include <stdint.h>
 29 174b3cdf 2021-03-21 op #include <wchar.h>
 30 5e11c00c 2021-03-02 op 
 31 5e11c00c 2021-03-02 op #define UTF8_ACCEPT 0
 32 5e11c00c 2021-03-02 op #define UTF8_REJECT 1
 33 5e11c00c 2021-03-02 op 
 34 5e11c00c 2021-03-02 op static const uint8_t utf8d[] = {
 35 5e11c00c 2021-03-02 op 	0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, // 00..1f
 36 5e11c00c 2021-03-02 op 	0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, // 20..3f
 37 5e11c00c 2021-03-02 op 	0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, // 40..5f
 38 5e11c00c 2021-03-02 op 	0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, // 60..7f
 39 5e11c00c 2021-03-02 op 	1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,9,9,9,9,9,9,9,9,9,9,9,9,9,9,9,9, // 80..9f
 40 5e11c00c 2021-03-02 op 	7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, // a0..bf
 41 5e11c00c 2021-03-02 op 	8,8,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2, // c0..df
 42 5e11c00c 2021-03-02 op 	0xa,0x3,0x3,0x3,0x3,0x3,0x3,0x3,0x3,0x3,0x3,0x3,0x3,0x4,0x3,0x3, // e0..ef
 43 5e11c00c 2021-03-02 op 	0xb,0x6,0x6,0x6,0x5,0x8,0x8,0x8,0x8,0x8,0x8,0x8,0x8,0x8,0x8,0x8, // f0..ff
 44 5e11c00c 2021-03-02 op 	0x0,0x1,0x2,0x3,0x5,0x8,0x7,0x1,0x1,0x1,0x4,0x6,0x1,0x1,0x1,0x1, // s0..s0
 45 5e11c00c 2021-03-02 op 	1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,1,1,1,1,0,1,0,1,1,1,1,1,1, // s1..s2
 46 5e11c00c 2021-03-02 op 	1,2,1,1,1,1,1,2,1,2,1,1,1,1,1,1,1,1,1,1,1,1,1,2,1,1,1,1,1,1,1,1, // s3..s4
 47 5e11c00c 2021-03-02 op 	1,2,1,1,1,1,1,1,1,2,1,1,1,1,1,1,1,1,1,1,1,1,1,3,1,3,1,1,1,1,1,1, // s5..s6
 48 5e11c00c 2021-03-02 op 	1,3,1,1,1,1,1,3,1,3,1,1,1,1,1,1,1,3,1,1,1,1,1,1,1,1,1,1,1,1,1,1, // s7..s8
 49 5e11c00c 2021-03-02 op };
 50 5e11c00c 2021-03-02 op 
 51 8947c1f2 2021-03-21 op uint32_t
 52 174b3cdf 2021-03-21 op utf8_decode(uint32_t* restrict state, uint32_t* restrict codep, uint8_t byte) {
 53 5e11c00c 2021-03-02 op 	uint32_t type = utf8d[byte];
 54 5e11c00c 2021-03-02 op 
 55 5e11c00c 2021-03-02 op 	*codep = (*state != UTF8_ACCEPT) ?
 56 5e11c00c 2021-03-02 op 		(byte & 0x3fu) | (*codep << 6) :
 57 5e11c00c 2021-03-02 op 		(0xff >> type) & (byte);
 58 5e11c00c 2021-03-02 op 
 59 5e11c00c 2021-03-02 op 	*state = utf8d[256 + *state*16 + type];
 60 5e11c00c 2021-03-02 op 	return *state;
 61 5e11c00c 2021-03-02 op }
 62 5e11c00c 2021-03-02 op 
 63 174b3cdf 2021-03-21 op 
 64 174b3cdf 2021-03-21 op /* end of the converter, utility functions ahead */
 65 5e11c00c 2021-03-02 op 
 66 8947c1f2 2021-03-21 op /* encode cp in s.  s must be at least 4 bytes wide */
 67 17e5106b 2021-03-21 op size_t
 68 8947c1f2 2021-03-21 op utf8_encode(uint32_t cp, char *s)
 69 8947c1f2 2021-03-21 op {
 70 8947c1f2 2021-03-21 op 	if (cp <= 0x7F) {
 71 8947c1f2 2021-03-21 op                 *s = (uint8_t)cp;
 72 17e5106b 2021-03-21 op 		return 1;
 73 8947c1f2 2021-03-21 op 	} else if (cp <= 0x7FF) {
 74 8947c1f2 2021-03-21 op                 s[1] = (uint8_t)(( cp        & 0x3F ) + 0x80);
 75 8947c1f2 2021-03-21 op 		s[0] = (uint8_t)(((cp >>  6) & 0x1F) + 0xC0);
 76 17e5106b 2021-03-21 op 		return 2;
 77 8947c1f2 2021-03-21 op 	} else if (cp <= 0xFFFF) {
 78 8947c1f2 2021-03-21 op                 s[2] = (uint8_t)(( cp        & 0x3F) + 0x80);
 79 8947c1f2 2021-03-21 op 		s[1] = (uint8_t)(((cp >>  6) & 0x3F) + 0x80);
 80 8947c1f2 2021-03-21 op 		s[0] = (uint8_t)(((cp >> 12) & 0x0F) + 0xE0);
 81 17e5106b 2021-03-21 op 		return 3;
 82 8947c1f2 2021-03-21 op 	} else if (cp <= 0x10FFFF) {
 83 8947c1f2 2021-03-21 op                 s[3] = (uint8_t)(( cp        & 0x3F) + 0x80);
 84 8947c1f2 2021-03-21 op 		s[2] = (uint8_t)(((cp >>  6) & 0x3F) + 0x80);
 85 8947c1f2 2021-03-21 op 		s[1] = (uint8_t)(((cp >> 12) & 0x3F) + 0x80);
 86 8947c1f2 2021-03-21 op 		s[0] = (uint8_t)(((cp >> 18) & 0x07) + 0xF0);
 87 17e5106b 2021-03-21 op 		return 4;
 88 17e5106b 2021-03-21 op 	} else {
 89 17e5106b 2021-03-21 op 		s[0] = '\0';
 90 17e5106b 2021-03-21 op 		return 0;
 91 17e5106b 2021-03-21 op 	}
 92 8947c1f2 2021-03-21 op }
 93 8947c1f2 2021-03-21 op 
 94 5e11c00c 2021-03-02 op char *
 95 5e11c00c 2021-03-02 op utf8_nth(char *s, size_t n)
 96 5e11c00c 2021-03-02 op {
 97 5e11c00c 2021-03-02 op 	size_t i;
 98 5e11c00c 2021-03-02 op 	uint32_t cp = 0, state = 0;
 99 5e11c00c 2021-03-02 op 
100 5e11c00c 2021-03-02 op 	for (i = 0; *s && i < n; ++s)
101 5e11c00c 2021-03-02 op 		if (!utf8_decode(&state, &cp, *s))
102 5e11c00c 2021-03-02 op 			++i;
103 5e11c00c 2021-03-02 op 
104 5e11c00c 2021-03-02 op 	if (state != UTF8_ACCEPT)
105 5e11c00c 2021-03-02 op 		return NULL;
106 5e11c00c 2021-03-02 op 	if (i == n)
107 5e11c00c 2021-03-02 op 		return s;
108 5e11c00c 2021-03-02 op 	return NULL;
109 5e11c00c 2021-03-02 op }
110 174b3cdf 2021-03-21 op 
111 174b3cdf 2021-03-21 op size_t
112 174b3cdf 2021-03-21 op utf8_cplen(char *s)
113 174b3cdf 2021-03-21 op {
114 174b3cdf 2021-03-21 op 	uint32_t cp = 0, state = 0;
115 174b3cdf 2021-03-21 op 	size_t len;
116 174b3cdf 2021-03-21 op 
117 174b3cdf 2021-03-21 op 	len = 0;
118 174b3cdf 2021-03-21 op 	for (; *s; ++s)
119 174b3cdf 2021-03-21 op 		if (!utf8_decode(&state, &cp, *s))
120 174b3cdf 2021-03-21 op 			len++;
121 174b3cdf 2021-03-21 op 	return len;
122 174b3cdf 2021-03-21 op }
123 174b3cdf 2021-03-21 op 
124 421bca4a 2021-06-12 op /* returns only 0, 1, 2 or 8.  assumes sizeof(wchar_t) is 4 */
125 174b3cdf 2021-03-21 op size_t
126 174b3cdf 2021-03-21 op utf8_chwidth(uint32_t cp)
127 174b3cdf 2021-03-21 op {
128 174b3cdf 2021-03-21 op 	/* XXX: if we're running on a platform where sizeof(wchar_t)
129 174b3cdf 2021-03-21 op 	 * == 2 what to do?  The manpage for wcwidth and wcs isn't
130 174b3cdf 2021-03-21 op 	 * clear about the encoding, but if it's 16 bit wide I assume
131 174b3cdf 2021-03-21 op 	 * it must use UTF-16... right? */
132 174b3cdf 2021-03-21 op 	assert(sizeof(wchar_t) == 4);
133 174b3cdf 2021-03-21 op 
134 421bca4a 2021-06-12 op 	/*
135 421bca4a 2021-06-12 op 	 * quick and dirty fix for the tabs.  In the future we may
136 421bca4a 2021-06-12 op 	 * want to expand tabs into N spaces, but for the time being
137 421bca4a 2021-06-12 op 	 * this seems to be good enough (tm).
138 421bca4a 2021-06-12 op 	 */
139 421bca4a 2021-06-12 op 	if (cp == '\t')
140 421bca4a 2021-06-12 op 		return 8;
141 421bca4a 2021-06-12 op 
142 174b3cdf 2021-03-21 op 	return wcwidth((wchar_t)cp);
143 174b3cdf 2021-03-21 op }
144 174b3cdf 2021-03-21 op 
145 174b3cdf 2021-03-21 op /* NOTE: n is the number of codepoints, NOT the byte length.  In
146 174b3cdf 2021-03-21 op  * other words, s MUST be NUL-terminated. */
147 174b3cdf 2021-03-21 op size_t
148 174b3cdf 2021-03-21 op utf8_snwidth(const char *s, size_t n)
149 174b3cdf 2021-03-21 op {
150 174b3cdf 2021-03-21 op 	size_t i, tot;
151 174b3cdf 2021-03-21 op 	uint32_t cp = 0, state = 0;
152 174b3cdf 2021-03-21 op 
153 174b3cdf 2021-03-21 op 	tot = 0;
154 174b3cdf 2021-03-21 op 	for (i = 0; *s && i < n; ++s)
155 174b3cdf 2021-03-21 op 		if (!utf8_decode(&state, &cp, *s)) {
156 174b3cdf 2021-03-21 op 			i++;
157 174b3cdf 2021-03-21 op 			tot += utf8_chwidth(cp);
158 174b3cdf 2021-03-21 op 		}
159 174b3cdf 2021-03-21 op 
160 174b3cdf 2021-03-21 op 	return tot;
161 174b3cdf 2021-03-21 op }
162 174b3cdf 2021-03-21 op 
163 174b3cdf 2021-03-21 op size_t
164 174b3cdf 2021-03-21 op utf8_swidth(const char *s)
165 174b3cdf 2021-03-21 op {
166 174b3cdf 2021-03-21 op 	size_t tot;
167 174b3cdf 2021-03-21 op 	uint32_t cp = 0, state = 0;
168 174b3cdf 2021-03-21 op 
169 174b3cdf 2021-03-21 op 	tot = 0;
170 174b3cdf 2021-03-21 op 	for (; *s; ++s)
171 174b3cdf 2021-03-21 op 		if (!utf8_decode(&state, &cp, *s))
172 174b3cdf 2021-03-21 op 			tot += utf8_chwidth(cp);
173 174b3cdf 2021-03-21 op 
174 174b3cdf 2021-03-21 op 	return tot;
175 174b3cdf 2021-03-21 op }
176 17e5106b 2021-03-21 op 
177 17e5106b 2021-03-21 op size_t
178 17e5106b 2021-03-21 op utf8_swidth_between(const char *str, const char *end)
179 17e5106b 2021-03-21 op {
180 17e5106b 2021-03-21 op 	size_t tot;
181 17e5106b 2021-03-21 op 	uint32_t cp = 0, state = 0;
182 17e5106b 2021-03-21 op 
183 17e5106b 2021-03-21 op 	tot = 0;
184 17e5106b 2021-03-21 op 	for (; *str && str < end; ++str)
185 17e5106b 2021-03-21 op 		if (!utf8_decode(&state, &cp, *str))
186 17e5106b 2021-03-21 op 			tot += utf8_chwidth(cp);
187 17e5106b 2021-03-21 op 	return tot;
188 17e5106b 2021-03-21 op }
189 17e5106b 2021-03-21 op 
190 17e5106b 2021-03-21 op char *
191 2ba66cea 2021-03-22 op utf8_next_cp(const char *s)
192 17e5106b 2021-03-21 op {
193 17e5106b 2021-03-21 op 	uint32_t cp = 0, state = 0;
194 17e5106b 2021-03-21 op 
195 17e5106b 2021-03-21 op 	for (; *s; ++s)
196 17e5106b 2021-03-21 op 		if (!utf8_decode(&state, &cp, *s))
197 17e5106b 2021-03-21 op 			break;
198 2ba66cea 2021-03-22 op 	return (char*)s+1;
199 17e5106b 2021-03-21 op }
200 17e5106b 2021-03-21 op 
201 17e5106b 2021-03-21 op char *
202 2ba66cea 2021-03-22 op utf8_prev_cp(const char *start, const char *base)
203 17e5106b 2021-03-21 op {
204 17e5106b 2021-03-21 op 	uint8_t c;
205 17e5106b 2021-03-21 op 
206 17e5106b 2021-03-21 op 	for (; start > base; start--) {
207 17e5106b 2021-03-21 op 		c = *start;
208 17e5106b 2021-03-21 op                 if ((c & 0xC0) != 0x80)
209 2ba66cea 2021-03-22 op 			return (char*)start;
210 17e5106b 2021-03-21 op 	}
211 17e5106b 2021-03-21 op 
212 2ba66cea 2021-03-22 op 	return (char*)base;
213 17e5106b 2021-03-21 op }