1 c48c4a9c 2018-03-11 stsp /*
  2 c48c4a9c 2018-03-11 stsp  * Copyright (c) 2018 Stefan Sperling <stsp@openbsd.org>
  3 c48c4a9c 2018-03-11 stsp  *
  4 c48c4a9c 2018-03-11 stsp  * Permission to use, copy, modify, and distribute this software for any
  5 c48c4a9c 2018-03-11 stsp  * purpose with or without fee is hereby granted, provided that the above
  6 c48c4a9c 2018-03-11 stsp  * copyright notice and this permission notice appear in all copies.
  7 c48c4a9c 2018-03-11 stsp  *
  8 c48c4a9c 2018-03-11 stsp  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
  9 c48c4a9c 2018-03-11 stsp  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
 10 c48c4a9c 2018-03-11 stsp  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
 11 c48c4a9c 2018-03-11 stsp  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
 12 c48c4a9c 2018-03-11 stsp  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
 13 c48c4a9c 2018-03-11 stsp  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
 14 c48c4a9c 2018-03-11 stsp  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
 15 c48c4a9c 2018-03-11 stsp  */
 16 c48c4a9c 2018-03-11 stsp 
 17 c48c4a9c 2018-03-11 stsp #include <sys/queue.h>
 18 c48c4a9c 2018-03-11 stsp #include <sys/stat.h>
 19 c48c4a9c 2018-03-11 stsp 
 20 c48c4a9c 2018-03-11 stsp #include <stdio.h>
 21 c48c4a9c 2018-03-11 stsp #include <stdlib.h>
 22 c48c4a9c 2018-03-11 stsp #include <string.h>
 23 c48c4a9c 2018-03-11 stsp #include <sha1.h>
 24 c34b20a2 2018-03-12 stsp #include <endian.h>
 25 c48c4a9c 2018-03-11 stsp 
 26 c48c4a9c 2018-03-11 stsp #include "got_error.h"
 27 c48c4a9c 2018-03-11 stsp 
 28 718b3ab0 2018-03-17 stsp #include "got_lib_fileindex.h"
 29 c48c4a9c 2018-03-11 stsp 
 30 c48c4a9c 2018-03-11 stsp const struct got_error *
 31 c34b20a2 2018-03-12 stsp got_fileindex_entry_open(struct got_fileindex_entry **entry,
 32 c34b20a2 2018-03-12 stsp     const char *ondisk_path, const char *relpath, uint8_t *blob_sha1)
 33 c48c4a9c 2018-03-11 stsp {
 34 c48c4a9c 2018-03-11 stsp 	struct stat sb;
 35 c48c4a9c 2018-03-11 stsp 	size_t len;
 36 c48c4a9c 2018-03-11 stsp 
 37 c34b20a2 2018-03-12 stsp 	if (lstat(ondisk_path, &sb) != 0)
 38 c48c4a9c 2018-03-11 stsp 		return got_error_from_errno();
 39 c48c4a9c 2018-03-11 stsp 
 40 c48c4a9c 2018-03-11 stsp 	*entry = calloc(1, sizeof(**entry));
 41 c48c4a9c 2018-03-11 stsp 	if (*entry == NULL)
 42 0a585a0d 2018-03-17 stsp 		return got_error_from_errno();
 43 c48c4a9c 2018-03-11 stsp 
 44 c34b20a2 2018-03-12 stsp 	(*entry)->path = strdup(relpath);
 45 c48c4a9c 2018-03-11 stsp 	if ((*entry)->path == NULL) {
 46 0a585a0d 2018-03-17 stsp 		const struct got_error *err = got_error_from_errno();
 47 c48c4a9c 2018-03-11 stsp 		free(*entry);
 48 c48c4a9c 2018-03-11 stsp 		*entry = NULL;
 49 0a585a0d 2018-03-17 stsp 		return err;
 50 c48c4a9c 2018-03-11 stsp 	}
 51 c48c4a9c 2018-03-11 stsp 	
 52 c48c4a9c 2018-03-11 stsp 	(*entry)->ctime_sec = sb.st_ctime;
 53 c48c4a9c 2018-03-11 stsp 	(*entry)->ctime_nsec = sb.st_ctimensec;
 54 c48c4a9c 2018-03-11 stsp 	(*entry)->mtime_sec = sb.st_mtime;
 55 c48c4a9c 2018-03-11 stsp 	(*entry)->mtime_nsec = sb.st_mtimensec;
 56 c48c4a9c 2018-03-11 stsp 	(*entry)->uid = sb.st_uid;
 57 c48c4a9c 2018-03-11 stsp 	(*entry)->gid = sb.st_gid;
 58 c48c4a9c 2018-03-11 stsp 	(*entry)->size = (sb.st_size & 0xffffffff);
 59 c48c4a9c 2018-03-11 stsp 	if (sb.st_mode & S_IFLNK)
 60 c48c4a9c 2018-03-11 stsp 		(*entry)->mode = GOT_INDEX_ENTRY_MODE_SYMLINK;
 61 c48c4a9c 2018-03-11 stsp 	else
 62 c48c4a9c 2018-03-11 stsp 		(*entry)->mode = GOT_INDEX_ENTRY_MODE_REGULAR_FILE;
 63 c48c4a9c 2018-03-11 stsp 	(*entry)->mode |= ((sb.st_mode & (S_IRWXU | S_IRWXG | S_IRWXO)) <<
 64 c48c4a9c 2018-03-11 stsp 	    GOT_INDEX_ENTRY_MODE_PERMS_SHIFT);
 65 c48c4a9c 2018-03-11 stsp 	memcpy((*entry)->blob_sha1, blob_sha1, SHA1_DIGEST_LENGTH);
 66 c34b20a2 2018-03-12 stsp 	len = strlen(relpath);
 67 c48c4a9c 2018-03-11 stsp 	if (len > GOT_INDEX_ENTRY_F_PATH_LEN)
 68 c48c4a9c 2018-03-11 stsp 		len = GOT_INDEX_ENTRY_F_PATH_LEN;
 69 c48c4a9c 2018-03-11 stsp 	(*entry)->flags |= len;
 70 c48c4a9c 2018-03-11 stsp 
 71 c48c4a9c 2018-03-11 stsp 	return NULL;
 72 c48c4a9c 2018-03-11 stsp }
 73 c48c4a9c 2018-03-11 stsp 
 74 c48c4a9c 2018-03-11 stsp void
 75 c48c4a9c 2018-03-11 stsp got_fileindex_entry_close(struct got_fileindex_entry *entry)
 76 c48c4a9c 2018-03-11 stsp {
 77 c48c4a9c 2018-03-11 stsp 	free(entry->path);
 78 c48c4a9c 2018-03-11 stsp 	free(entry);
 79 c48c4a9c 2018-03-11 stsp }
 80 9d31a1d8 2018-03-11 stsp 
 81 9d31a1d8 2018-03-11 stsp const struct got_error *
 82 9d31a1d8 2018-03-11 stsp got_fileindex_entry_add(struct got_fileindex *fileindex,
 83 9d31a1d8 2018-03-11 stsp     struct got_fileindex_entry *entry)
 84 9d31a1d8 2018-03-11 stsp {
 85 9d31a1d8 2018-03-11 stsp 	/* TODO keep entries sorted by name */
 86 9d31a1d8 2018-03-11 stsp 	TAILQ_INSERT_TAIL(&fileindex->entries, entry, entry);
 87 9d31a1d8 2018-03-11 stsp 	fileindex->nentries++;
 88 9d31a1d8 2018-03-11 stsp 	return NULL;
 89 9d31a1d8 2018-03-11 stsp }
 90 9d31a1d8 2018-03-11 stsp 
 91 9d31a1d8 2018-03-11 stsp struct got_fileindex *
 92 9d31a1d8 2018-03-11 stsp got_fileindex_open(void)
 93 9d31a1d8 2018-03-11 stsp {
 94 9d31a1d8 2018-03-11 stsp 	struct got_fileindex *fileindex;
 95 9d31a1d8 2018-03-11 stsp 
 96 9d31a1d8 2018-03-11 stsp 	fileindex = calloc(1, sizeof(*fileindex));
 97 9d31a1d8 2018-03-11 stsp 	if (fileindex)
 98 9d31a1d8 2018-03-11 stsp 		TAILQ_INIT(&fileindex->entries);
 99 9d31a1d8 2018-03-11 stsp 	return fileindex;
100 9d31a1d8 2018-03-11 stsp }
101 9d31a1d8 2018-03-11 stsp 
102 9d31a1d8 2018-03-11 stsp void
103 9d31a1d8 2018-03-11 stsp got_fileindex_close(struct got_fileindex *fileindex)
104 9d31a1d8 2018-03-11 stsp {
105 9d31a1d8 2018-03-11 stsp 	struct got_fileindex_entry *entry;
106 9d31a1d8 2018-03-11 stsp 
107 9d31a1d8 2018-03-11 stsp 	while (!TAILQ_EMPTY(&fileindex->entries)) {
108 9d31a1d8 2018-03-11 stsp 		entry = TAILQ_FIRST(&fileindex->entries);
109 9d31a1d8 2018-03-11 stsp 		TAILQ_REMOVE(&fileindex->entries, entry, entry);
110 9d31a1d8 2018-03-11 stsp 		got_fileindex_entry_close(entry);
111 9d31a1d8 2018-03-11 stsp 		fileindex->nentries--;
112 9d31a1d8 2018-03-11 stsp 	}
113 9d31a1d8 2018-03-11 stsp 	free(fileindex);
114 9d31a1d8 2018-03-11 stsp }
115 9d31a1d8 2018-03-11 stsp 
116 c34b20a2 2018-03-12 stsp static const struct got_error *
117 c34b20a2 2018-03-12 stsp write_fileindex_val64(SHA1_CTX *ctx, uint64_t val, FILE *outfile)
118 c34b20a2 2018-03-12 stsp {
119 c34b20a2 2018-03-12 stsp 	uint8_t buf[sizeof(uint64_t)];
120 c34b20a2 2018-03-12 stsp 	size_t n;
121 c34b20a2 2018-03-12 stsp 
122 c34b20a2 2018-03-12 stsp 	val = htobe64(val);
123 c34b20a2 2018-03-12 stsp 	memcpy(buf, &val, sizeof(val));
124 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, buf, sizeof(val));
125 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, sizeof(val), outfile);
126 c34b20a2 2018-03-12 stsp 	if (n != sizeof(val))
127 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
128 c34b20a2 2018-03-12 stsp 	return NULL;
129 c34b20a2 2018-03-12 stsp }
130 c34b20a2 2018-03-12 stsp 
131 c34b20a2 2018-03-12 stsp static const struct got_error *
132 c34b20a2 2018-03-12 stsp write_fileindex_val32(SHA1_CTX *ctx, uint32_t val, FILE *outfile)
133 c34b20a2 2018-03-12 stsp {
134 c34b20a2 2018-03-12 stsp 	uint8_t buf[sizeof(uint32_t)];
135 c34b20a2 2018-03-12 stsp 	size_t n;
136 c34b20a2 2018-03-12 stsp 
137 c34b20a2 2018-03-12 stsp 	val = htobe32(val);
138 c34b20a2 2018-03-12 stsp 	memcpy(buf, &val, sizeof(val));
139 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, buf, sizeof(val));
140 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, sizeof(val), outfile);
141 c34b20a2 2018-03-12 stsp 	if (n != sizeof(val))
142 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
143 c34b20a2 2018-03-12 stsp 	return NULL;
144 c34b20a2 2018-03-12 stsp }
145 c34b20a2 2018-03-12 stsp 
146 c34b20a2 2018-03-12 stsp static const struct got_error *
147 c34b20a2 2018-03-12 stsp write_fileindex_val16(SHA1_CTX *ctx, uint16_t val, FILE *outfile)
148 c34b20a2 2018-03-12 stsp {
149 c34b20a2 2018-03-12 stsp 	uint8_t buf[sizeof(uint16_t)];
150 c34b20a2 2018-03-12 stsp 	size_t n;
151 c34b20a2 2018-03-12 stsp 
152 c34b20a2 2018-03-12 stsp 	val = htobe16(val);
153 c34b20a2 2018-03-12 stsp 	memcpy(buf, &val, sizeof(val));
154 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, buf, sizeof(val));
155 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, sizeof(val), outfile);
156 c34b20a2 2018-03-12 stsp 	if (n != sizeof(val))
157 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
158 c34b20a2 2018-03-12 stsp 	return NULL;
159 c34b20a2 2018-03-12 stsp }
160 c34b20a2 2018-03-12 stsp 
161 c34b20a2 2018-03-12 stsp static const struct got_error *
162 c34b20a2 2018-03-12 stsp write_fileindex_path(SHA1_CTX *ctx, const char *path, FILE *outfile)
163 c34b20a2 2018-03-12 stsp {
164 c34b20a2 2018-03-12 stsp 	size_t n, len, pad;
165 c34b20a2 2018-03-12 stsp 	static const uint8_t zero[8] = { 0 };
166 c34b20a2 2018-03-12 stsp 
167 c34b20a2 2018-03-12 stsp 	len = strlen(path);
168 c34b20a2 2018-03-12 stsp 	pad = (len % 8);
169 c34b20a2 2018-03-12 stsp 
170 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, path, len);
171 c34b20a2 2018-03-12 stsp 	n = fwrite(path, 1, len, outfile);
172 c34b20a2 2018-03-12 stsp 	if (n != len)
173 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
174 c34b20a2 2018-03-12 stsp 	if (pad == 0)
175 c34b20a2 2018-03-12 stsp 		return NULL;
176 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, zero, pad);
177 c34b20a2 2018-03-12 stsp 	n = fwrite(zero, 1, pad, outfile);
178 c34b20a2 2018-03-12 stsp 	if (n != pad)
179 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
180 c34b20a2 2018-03-12 stsp 	return NULL;
181 c34b20a2 2018-03-12 stsp }
182 c34b20a2 2018-03-12 stsp 
183 c34b20a2 2018-03-12 stsp static const struct got_error *
184 c34b20a2 2018-03-12 stsp write_fileindex_entry(SHA1_CTX *ctx, struct got_fileindex_entry *entry,
185 c34b20a2 2018-03-12 stsp     FILE *outfile)
186 c34b20a2 2018-03-12 stsp {
187 c34b20a2 2018-03-12 stsp 	const struct got_error *err;
188 23b19d00 2018-03-12 stsp 	size_t n;
189 c34b20a2 2018-03-12 stsp 
190 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->ctime_sec, outfile);
191 c34b20a2 2018-03-12 stsp 	if (err)
192 c34b20a2 2018-03-12 stsp 		return err;
193 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->ctime_nsec, outfile);
194 c34b20a2 2018-03-12 stsp 	if (err)
195 c34b20a2 2018-03-12 stsp 		return err;
196 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->mtime_sec, outfile);
197 c34b20a2 2018-03-12 stsp 	if (err)
198 c34b20a2 2018-03-12 stsp 		return err;
199 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->mtime_nsec, outfile);
200 c34b20a2 2018-03-12 stsp 	if (err)
201 c34b20a2 2018-03-12 stsp 		return err;
202 c34b20a2 2018-03-12 stsp 
203 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->uid, outfile);
204 c34b20a2 2018-03-12 stsp 	if (err)
205 c34b20a2 2018-03-12 stsp 		return err;
206 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->gid, outfile);
207 c34b20a2 2018-03-12 stsp 	if (err)
208 c34b20a2 2018-03-12 stsp 		return err;
209 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->size, outfile);
210 c34b20a2 2018-03-12 stsp 	if (err)
211 c34b20a2 2018-03-12 stsp 		return err;
212 c34b20a2 2018-03-12 stsp 
213 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val16(ctx, entry->mode, outfile);
214 c34b20a2 2018-03-12 stsp 	if (err)
215 c34b20a2 2018-03-12 stsp 		return err;
216 c34b20a2 2018-03-12 stsp 
217 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, entry->blob_sha1, SHA1_DIGEST_LENGTH);
218 c34b20a2 2018-03-12 stsp 	n = fwrite(entry->blob_sha1, 1, SHA1_DIGEST_LENGTH, outfile);
219 c34b20a2 2018-03-12 stsp 	if (n != SHA1_DIGEST_LENGTH)
220 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
221 c34b20a2 2018-03-12 stsp 
222 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->flags, outfile);
223 c34b20a2 2018-03-12 stsp 	if (err)
224 c34b20a2 2018-03-12 stsp 		return err;
225 c34b20a2 2018-03-12 stsp 
226 c34b20a2 2018-03-12 stsp 	err = write_fileindex_path(ctx, entry->path, outfile);
227 c34b20a2 2018-03-12 stsp 	return err;
228 c34b20a2 2018-03-12 stsp }
229 c34b20a2 2018-03-12 stsp 
230 9d31a1d8 2018-03-11 stsp const struct got_error *
231 9d31a1d8 2018-03-11 stsp got_fileindex_write(struct got_fileindex *fileindex, FILE *outfile)
232 9d31a1d8 2018-03-11 stsp {
233 c34b20a2 2018-03-12 stsp 	struct got_fileindex_hdr hdr;
234 c34b20a2 2018-03-12 stsp 	struct got_fileindex_entry *entry;
235 c34b20a2 2018-03-12 stsp 	SHA1_CTX ctx;
236 c34b20a2 2018-03-12 stsp 	uint8_t sha1[SHA1_DIGEST_LENGTH];
237 c34b20a2 2018-03-12 stsp 	size_t n;
238 c34b20a2 2018-03-12 stsp 	const size_t len = sizeof(hdr.signature) + sizeof(hdr.version) +
239 c34b20a2 2018-03-12 stsp 	    sizeof(hdr.nentries);
240 c34b20a2 2018-03-12 stsp 	uint8_t buf[len];
241 c34b20a2 2018-03-12 stsp 
242 c34b20a2 2018-03-12 stsp 	SHA1Init(&ctx);
243 c34b20a2 2018-03-12 stsp 
244 c34b20a2 2018-03-12 stsp 	hdr.signature = htobe32(GOT_FILE_INDEX_SIGNATURE);
245 c34b20a2 2018-03-12 stsp 	hdr.version = htobe32(GOT_FILE_INDEX_VERSION);
246 c34b20a2 2018-03-12 stsp 	hdr.nentries = htobe32(fileindex->nentries);
247 c34b20a2 2018-03-12 stsp 
248 c34b20a2 2018-03-12 stsp 	memcpy(buf, &hdr, len);
249 c34b20a2 2018-03-12 stsp 	SHA1Update(&ctx, buf, len);
250 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, len, outfile);
251 c34b20a2 2018-03-12 stsp 	if (n != len)
252 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
253 c34b20a2 2018-03-12 stsp 
254 c34b20a2 2018-03-12 stsp 	TAILQ_FOREACH(entry, &fileindex->entries, entry) {
255 c34b20a2 2018-03-12 stsp 		const struct got_error *err;
256 c34b20a2 2018-03-12 stsp 		err = write_fileindex_entry(&ctx, entry, outfile);
257 c34b20a2 2018-03-12 stsp 		if (err)
258 c34b20a2 2018-03-12 stsp 			return err;
259 c34b20a2 2018-03-12 stsp 	}
260 c34b20a2 2018-03-12 stsp 
261 c34b20a2 2018-03-12 stsp 	SHA1Final(sha1, &ctx);
262 c34b20a2 2018-03-12 stsp 	n = fwrite(sha1, 1, sizeof(sha1), outfile);
263 c34b20a2 2018-03-12 stsp 	if (n != sizeof(sha1))
264 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
265 c34b20a2 2018-03-12 stsp 
266 9d31a1d8 2018-03-11 stsp 	return NULL;
267 9d31a1d8 2018-03-11 stsp }