op public repos

Blame

Date:: Thu May 19 06:40:09 2022 UTC
Message:: parse tree entries into an array instead of a pathlist Avoids some extra malloc/free in a performance-critical path. ok op@
Actions:: History | Blob | Raw File
  1 ad242220 2018-09-08 stsp /*
  2 5aa81393 2020-01-06 stsp  * Copyright (c) 2018, 2019, 2020 Stefan Sperling <stsp@openbsd.org>
  3 ad242220 2018-09-08 stsp  *
  4 ad242220 2018-09-08 stsp  * Permission to use, copy, modify, and distribute this software for any
  5 ad242220 2018-09-08 stsp  * purpose with or without fee is hereby granted, provided that the above
  6 ad242220 2018-09-08 stsp  * copyright notice and this permission notice appear in all copies.
  7 ad242220 2018-09-08 stsp  *
  8 ad242220 2018-09-08 stsp  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
  9 ad242220 2018-09-08 stsp  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
 10 ad242220 2018-09-08 stsp  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
 11 ad242220 2018-09-08 stsp  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
 12 ad242220 2018-09-08 stsp  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
 13 ad242220 2018-09-08 stsp  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
 14 ad242220 2018-09-08 stsp  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
 15 ad242220 2018-09-08 stsp  */
 16 ad242220 2018-09-08 stsp 
 17 ad242220 2018-09-08 stsp #include <sys/types.h>
 18 ad242220 2018-09-08 stsp #include <sys/queue.h>
 19 ad242220 2018-09-08 stsp #include <sys/uio.h>
 20 ad242220 2018-09-08 stsp #include <sys/time.h>
 21 ad242220 2018-09-08 stsp 
 22 ad242220 2018-09-08 stsp #include <stdint.h>
 23 ad242220 2018-09-08 stsp #include <imsg.h>
 24 12ce7a6c 2019-08-12 stsp #include <limits.h>
 25 99437157 2018-11-11 stsp #include <signal.h>
 26 ad242220 2018-09-08 stsp #include <stdio.h>
 27 ad242220 2018-09-08 stsp #include <stdlib.h>
 28 ad242220 2018-09-08 stsp #include <string.h>
 29 ad242220 2018-09-08 stsp #include <sha1.h>
 30 81a12da5 2020-09-09 naddy #include <unistd.h>
 31 ad242220 2018-09-08 stsp #include <zlib.h>
 32 ad242220 2018-09-08 stsp 
 33 ad242220 2018-09-08 stsp #include "got_error.h"
 34 ad242220 2018-09-08 stsp #include "got_object.h"
 35 3022d272 2019-11-14 stsp #include "got_path.h"
 36 ad242220 2018-09-08 stsp 
 37 ad242220 2018-09-08 stsp #include "got_lib_delta.h"
 38 ad242220 2018-09-08 stsp #include "got_lib_inflate.h"
 39 ad242220 2018-09-08 stsp #include "got_lib_object.h"
 40 ad242220 2018-09-08 stsp #include "got_lib_object_parse.h"
 41 ad242220 2018-09-08 stsp #include "got_lib_privsep.h"
 42 d5c81d44 2021-07-08 stsp #include "got_lib_sha1.h"
 43 ad242220 2018-09-08 stsp 
 44 99437157 2018-11-11 stsp static volatile sig_atomic_t sigint_received;
 45 99437157 2018-11-11 stsp 
 46 99437157 2018-11-11 stsp static void
 47 99437157 2018-11-11 stsp catch_sigint(int signo)
 48 99437157 2018-11-11 stsp {
 49 99437157 2018-11-11 stsp 	sigint_received = 1;
 50 99437157 2018-11-11 stsp }
 51 3022d272 2019-11-14 stsp 
 52 ad242220 2018-09-08 stsp static const struct got_error *
 53 9985f404 2022-05-19 stsp read_tree_object(struct got_parsed_tree_entry **entries, int *nentries,
 54 d5c81d44 2021-07-08 stsp     uint8_t **p, FILE *f, struct got_object_id *expected_id)
 55 ad242220 2018-09-08 stsp {
 56 ad242220 2018-09-08 stsp 	const struct got_error *err = NULL;
 57 d5c81d44 2021-07-08 stsp 	struct got_object *obj = NULL;
 58 ad242220 2018-09-08 stsp 	size_t len;
 59 d5c81d44 2021-07-08 stsp 	struct got_inflate_checksum csum;
 60 d5c81d44 2021-07-08 stsp 	SHA1_CTX sha1_ctx;
 61 d5c81d44 2021-07-08 stsp 	struct got_object_id id;
 62 ad242220 2018-09-08 stsp 
 63 d5c81d44 2021-07-08 stsp 	SHA1Init(&sha1_ctx);
 64 d5c81d44 2021-07-08 stsp 	memset(&csum, 0, sizeof(csum));
 65 d5c81d44 2021-07-08 stsp 	csum.output_sha1 = &sha1_ctx;
 66 d5c81d44 2021-07-08 stsp 
 67 d5c81d44 2021-07-08 stsp 	err = got_inflate_to_mem(p, &len, NULL, &csum, f);
 68 ad242220 2018-09-08 stsp 	if (err)
 69 ad242220 2018-09-08 stsp 		return err;
 70 ad242220 2018-09-08 stsp 
 71 d5c81d44 2021-07-08 stsp 	SHA1Final(id.sha1, &sha1_ctx);
 72 d5c81d44 2021-07-08 stsp 	if (memcmp(expected_id->sha1, id.sha1, SHA1_DIGEST_LENGTH) != 0) {
 73 d5c81d44 2021-07-08 stsp 		char buf[SHA1_DIGEST_STRING_LENGTH];
 74 d5c81d44 2021-07-08 stsp 		err = got_error_fmt(GOT_ERR_OBJ_CSUM,
 75 d5c81d44 2021-07-08 stsp 		    "checksum failure for object %s",
 76 d5c81d44 2021-07-08 stsp 		    got_sha1_digest_to_str(expected_id->sha1, buf,
 77 d5c81d44 2021-07-08 stsp 		    sizeof(buf)));
 78 d5c81d44 2021-07-08 stsp 		goto done;
 79 d5c81d44 2021-07-08 stsp 	}
 80 d5c81d44 2021-07-08 stsp 
 81 3022d272 2019-11-14 stsp 	err = got_object_parse_header(&obj, *p, len);
 82 13c729f7 2018-12-24 stsp 	if (err)
 83 d5c81d44 2021-07-08 stsp 		goto done;
 84 13c729f7 2018-12-24 stsp 
 85 ad242220 2018-09-08 stsp 	if (len < obj->hdrlen + obj->size) {
 86 ad242220 2018-09-08 stsp 		err = got_error(GOT_ERR_BAD_OBJ_DATA);
 87 ad242220 2018-09-08 stsp 		goto done;
 88 ad242220 2018-09-08 stsp 	}
 89 ad242220 2018-09-08 stsp 
 90 ad242220 2018-09-08 stsp 	/* Skip object header. */
 91 ad242220 2018-09-08 stsp 	len -= obj->hdrlen;
 92 3022d272 2019-11-14 stsp 	err = got_object_parse_tree(entries, nentries, *p + obj->hdrlen, len);
 93 ad242220 2018-09-08 stsp done:
 94 d5c81d44 2021-07-08 stsp 	if (obj)
 95 d5c81d44 2021-07-08 stsp 		got_object_close(obj);
 96 ad242220 2018-09-08 stsp 	return err;
 97 ad242220 2018-09-08 stsp }
 98 ad242220 2018-09-08 stsp 
 99 ad242220 2018-09-08 stsp int
100 ad242220 2018-09-08 stsp main(int argc, char *argv[])
101 ad242220 2018-09-08 stsp {
102 ad242220 2018-09-08 stsp 	const struct got_error *err = NULL;
103 ad242220 2018-09-08 stsp 	struct imsgbuf ibuf;
104 d5c81d44 2021-07-08 stsp 	size_t datalen;
105 ad242220 2018-09-08 stsp 
106 99437157 2018-11-11 stsp 	signal(SIGINT, catch_sigint);
107 99437157 2018-11-11 stsp 
108 ad242220 2018-09-08 stsp 	imsg_init(&ibuf, GOT_IMSG_FD_CHILD);
109 ad242220 2018-09-08 stsp 
110 2ff12563 2018-09-15 stsp #ifndef PROFILE
111 ad242220 2018-09-08 stsp 	/* revoke access to most system calls */
112 ad242220 2018-09-08 stsp 	if (pledge("stdio recvfd", NULL) == -1) {
113 638f9024 2019-05-13 stsp 		err = got_error_from_errno("pledge");
114 ad242220 2018-09-08 stsp 		got_privsep_send_error(&ibuf, err);
115 ad242220 2018-09-08 stsp 		return 1;
116 ad242220 2018-09-08 stsp 	}
117 2ff12563 2018-09-15 stsp #endif
118 ad242220 2018-09-08 stsp 
119 656b1f76 2019-05-11 jcs 	for (;;) {
120 ad242220 2018-09-08 stsp 		struct imsg imsg;
121 ad242220 2018-09-08 stsp 		FILE *f = NULL;
122 9985f404 2022-05-19 stsp 		struct got_parsed_tree_entry *entries = NULL;
123 3022d272 2019-11-14 stsp 		int nentries = 0;
124 3022d272 2019-11-14 stsp 		uint8_t *buf = NULL;
125 d5c81d44 2021-07-08 stsp 		struct got_object_id expected_id;
126 99437157 2018-11-11 stsp 
127 99437157 2018-11-11 stsp 		if (sigint_received) {
128 99437157 2018-11-11 stsp 			err = got_error(GOT_ERR_CANCELLED);
129 99437157 2018-11-11 stsp 			break;
130 99437157 2018-11-11 stsp 		}
131 230a42bd 2019-05-11 jcs 
132 ad242220 2018-09-08 stsp 		err = got_privsep_recv_imsg(&imsg, &ibuf, 0);
133 ad242220 2018-09-08 stsp 		if (err) {
134 876c234b 2018-09-10 stsp 			if (err->code == GOT_ERR_PRIVSEP_PIPE)
135 ad242220 2018-09-08 stsp 				err = NULL;
136 ad242220 2018-09-08 stsp 			break;
137 ad242220 2018-09-08 stsp 		}
138 ad242220 2018-09-08 stsp 
139 ad242220 2018-09-08 stsp 		if (imsg.hdr.type == GOT_IMSG_STOP)
140 ad242220 2018-09-08 stsp 			break;
141 ad242220 2018-09-08 stsp 
142 ad242220 2018-09-08 stsp 		if (imsg.hdr.type != GOT_IMSG_TREE_REQUEST) {
143 ad242220 2018-09-08 stsp 			err = got_error(GOT_ERR_PRIVSEP_MSG);
144 ad242220 2018-09-08 stsp 			goto done;
145 ad242220 2018-09-08 stsp 		}
146 ad242220 2018-09-08 stsp 
147 d5c81d44 2021-07-08 stsp 		datalen = imsg.hdr.len - IMSG_HEADER_SIZE;
148 d5c81d44 2021-07-08 stsp 		if (datalen != sizeof(expected_id)) {
149 d5c81d44 2021-07-08 stsp 			err = got_error(GOT_ERR_PRIVSEP_LEN);
150 d5c81d44 2021-07-08 stsp 			goto done;
151 d5c81d44 2021-07-08 stsp 		}
152 d5c81d44 2021-07-08 stsp 		memcpy(&expected_id, imsg.data, sizeof(expected_id));
153 d5c81d44 2021-07-08 stsp 
154 ad242220 2018-09-08 stsp 		if (imsg.fd == -1) {
155 ad242220 2018-09-08 stsp 			err = got_error(GOT_ERR_PRIVSEP_NO_FD);
156 ad242220 2018-09-08 stsp 			goto done;
157 ad242220 2018-09-08 stsp 		}
158 ad242220 2018-09-08 stsp 
159 ad242220 2018-09-08 stsp 		/* Always assume file offset zero. */
160 ad242220 2018-09-08 stsp 		f = fdopen(imsg.fd, "rb");
161 ad242220 2018-09-08 stsp 		if (f == NULL) {
162 638f9024 2019-05-13 stsp 			err = got_error_from_errno("fdopen");
163 ad242220 2018-09-08 stsp 			goto done;
164 ad242220 2018-09-08 stsp 		}
165 ad242220 2018-09-08 stsp 
166 d5c81d44 2021-07-08 stsp 		err = read_tree_object(&entries, &nentries, &buf, f,
167 d5c81d44 2021-07-08 stsp 		    &expected_id);
168 ad242220 2018-09-08 stsp 		if (err)
169 ad242220 2018-09-08 stsp 			goto done;
170 ad242220 2018-09-08 stsp 
171 9985f404 2022-05-19 stsp 		err = got_privsep_send_tree(&ibuf, entries, nentries);
172 ad242220 2018-09-08 stsp done:
173 9985f404 2022-05-19 stsp 		free(entries);
174 3022d272 2019-11-14 stsp 		free(buf);
175 fb43ecf1 2019-02-11 stsp 		if (f) {
176 56b63ca4 2021-01-22 stsp 			if (fclose(f) == EOF && err == NULL)
177 638f9024 2019-05-13 stsp 				err = got_error_from_errno("fclose");
178 3a6ce05a 2019-02-11 stsp 		} else if (imsg.fd != -1) {
179 08578a35 2021-01-22 stsp 			if (close(imsg.fd) == -1 && err == NULL)
180 638f9024 2019-05-13 stsp 				err = got_error_from_errno("close");
181 3a6ce05a 2019-02-11 stsp 		}
182 ad242220 2018-09-08 stsp 		imsg_free(&imsg);
183 99437157 2018-11-11 stsp 		if (err)
184 ad242220 2018-09-08 stsp 			break;
185 ad242220 2018-09-08 stsp 	}
186 ad242220 2018-09-08 stsp 
187 ad242220 2018-09-08 stsp 	imsg_clear(&ibuf);
188 99437157 2018-11-11 stsp 	if (err) {
189 80d5f134 2018-11-11 stsp 		if (!sigint_received && err->code != GOT_ERR_PRIVSEP_PIPE) {
190 80d5f134 2018-11-11 stsp 			fprintf(stderr, "%s: %s\n", getprogname(), err->msg);
191 99437157 2018-11-11 stsp 			got_privsep_send_error(&ibuf, err);
192 80d5f134 2018-11-11 stsp 		}
193 99437157 2018-11-11 stsp 	}
194 08578a35 2021-01-22 stsp 	if (close(GOT_IMSG_FD_CHILD) == -1 && err == NULL)
195 638f9024 2019-05-13 stsp 		err = got_error_from_errno("close");
196 ad242220 2018-09-08 stsp 	return err ? 1 : 0;
197 ad242220 2018-09-08 stsp }