1 7d6d378a 2022-08-24 op #!/usr/bin/env perl
  2 1bcb9899 2022-08-29 op #
  3 1bcb9899 2022-08-29 op # mexp was written by Omar Polo <op@openbsd.org> and is placed in the
  4 1bcb9899 2022-08-29 op # public domain.  The author hereby disclaims copyright to this source
  5 1bcb9899 2022-08-29 op # code.
  6 7d6d378a 2022-08-24 op 
  7 7d6d378a 2022-08-24 op use open ":std", ":encoding(UTF-8)";
  8 7d6d378a 2022-08-24 op use utf8;
  9 7d6d378a 2022-08-24 op use strict;
 10 7d6d378a 2022-08-24 op use warnings;
 11 7d6d378a 2022-08-24 op use v5.32;
 12 7d6d378a 2022-08-24 op 
 13 1edd511a 2023-04-01 op use List::Util qw(max min);
 14 1edd511a 2023-04-01 op 
 15 054f3fd4 2022-08-25 op use OpenBSD::Pledge;
 16 054f3fd4 2022-08-25 op use OpenBSD::Unveil;
 17 054f3fd4 2022-08-25 op 
 18 04eab9af 2022-08-25 op use lib ".";
 19 bd3babdf 2023-04-02 op use GotMArc qw(parse san urlencode initpage endpage thread_header threntry);
 20 04eab9af 2022-08-25 op 
 21 7d6d378a 2022-08-24 op my $outdir = $ENV{'OUTDIR'};
 22 7d6d378a 2022-08-24 op die 'Set $OUTDIR' unless defined $outdir;
 23 7d6d378a 2022-08-24 op 
 24 054f3fd4 2022-08-25 op unveil("/usr/local/bin/mshow", "rx") or die "unveil mshow: $!";
 25 054f3fd4 2022-08-25 op unveil($outdir, "rwc") or die "unveil $outdir: $!";
 26 d3d07147 2022-08-30 op 
 27 53bed501 2023-03-29 op pledge("stdio rpath wpath cpath proc exec") or die "pledge: $!";
 28 66e1cf97 2022-08-27 op 
 29 f3481d06 2022-09-13 op sub export_part {
 30 f3481d06 2022-09-13 op 	my ($fh, $n, $fname) = @_;
 31 f3481d06 2022-09-13 op 
 32 f3481d06 2022-09-13 op 	my $pid = fork;
 33 f3481d06 2022-09-13 op 	die "fork: $!" unless defined $pid;
 34 f3481d06 2022-09-13 op 	if ($pid == 0) {
 35 f3481d06 2022-09-13 op 		open \*STDOUT, '>&', $fh
 36 f3481d06 2022-09-13 op 		    or die "can't redirect stdout: $!";
 37 f3481d06 2022-09-13 op 		exec 'mshow', '-F', '-O', $fname, $n
 38 f3481d06 2022-09-13 op 		    or die "can't exec mshow: $!";
 39 f3481d06 2022-09-13 op 	}
 40 f3481d06 2022-09-13 op 
 41 f3481d06 2022-09-13 op 	waitpid $pid, 0;
 42 f3481d06 2022-09-13 op 	die "mshow exited with $? ($n, $fname)" if $?;
 43 f3481d06 2022-09-13 op }
 44 f3481d06 2022-09-13 op 
 45 6240f9b8 2022-09-13 op # like libutil' fmt_scaled
 46 6240f9b8 2022-09-13 op sub humanize {
 47 6240f9b8 2022-09-13 op 	my $number = shift;
 48 6240f9b8 2022-09-13 op 	my @units = qw(             G          M     K  B);
 49 6240f9b8 2022-09-13 op 	my @scale =   (1024*1024*1024, 1024*1024, 1024, 1);
 50 6240f9b8 2022-09-13 op 
 51 6240f9b8 2022-09-13 op 	for (my $i = 0; $i < @scale; $i++) {
 52 6240f9b8 2022-09-13 op 		if ($scale[$i] < $number) {
 53 6240f9b8 2022-09-13 op 			my $r = $number / $scale[$i];
 54 6240f9b8 2022-09-13 op 			return sprintf "%.0f%s", $r, $units[$i];
 55 6240f9b8 2022-09-13 op 		}
 56 6240f9b8 2022-09-13 op 	}
 57 6240f9b8 2022-09-13 op }
 58 6240f9b8 2022-09-13 op 
 59 1edd511a 2023-04-01 op sub thrnav {
 60 1edd511a 2023-04-01 op 	my ($fh, $p, $n, $mid, $tid) = @_;
 61 1edd511a 2023-04-01 op 	my @prev = @{$p};
 62 1edd511a 2023-04-01 op 	my @next = @{$n};
 63 7d6d378a 2022-08-24 op 
 64 1edd511a 2023-04-01 op 	return if !@prev && !@next;
 65 1edd511a 2023-04-01 op 	print $fh "<nav>";
 66 7d6d378a 2022-08-24 op 
 67 1edd511a 2023-04-01 op 	if (@prev) {
 68 1edd511a 2023-04-01 op 		my $mail = $prev[-1];
 69 1edd511a 2023-04-01 op 		my $encmid = $mail->{mid};
 70 1edd511a 2023-04-01 op 		say $fh "<a href='/mail/$encmid.html'>Previous</a>";
 71 1edd511a 2023-04-01 op 	} else {
 72 1edd511a 2023-04-01 op 		say $fh "<span>Previous</span>";
 73 1edd511a 2023-04-01 op 	}
 74 1edd511a 2023-04-01 op 
 75 1edd511a 2023-04-01 op 	if (defined($mid) && defined($tid)) {
 76 1edd511a 2023-04-01 op 		my $encmid = urlencode $mid;
 77 1edd511a 2023-04-01 op 		my $enctid = urlencode $tid;
 78 1edd511a 2023-04-01 op 		say $fh "<a href='/text/$encmid.txt'>Raw body</a>";
 79 1edd511a 2023-04-01 op 		say $fh "<a href='/thread/$enctid.html#$encmid'>Thread</a>";
 80 1edd511a 2023-04-01 op 	}
 81 1edd511a 2023-04-01 op 
 82 1edd511a 2023-04-01 op 	if (@next) {
 83 1edd511a 2023-04-01 op 		my $mail = $next[0];
 84 1edd511a 2023-04-01 op 		my $encmid = $mail->{mid};
 85 1edd511a 2023-04-01 op 		say $fh "<a href='/mail/$encmid.html'>Next</a>";
 86 1edd511a 2023-04-01 op 	} else {
 87 1edd511a 2023-04-01 op 		say $fh "<span>Next</span>";
 88 1edd511a 2023-04-01 op 	}
 89 1edd511a 2023-04-01 op 
 90 1edd511a 2023-04-01 op 	print $fh "</nav>";
 91 1edd511a 2023-04-01 op }
 92 1edd511a 2023-04-01 op 
 93 85fd8f63 2023-04-01 op sub min_level {
 94 85fd8f63 2023-04-01 op 	my $l = 999;
 95 85fd8f63 2023-04-01 op 	return 0 unless @_;
 96 85fd8f63 2023-04-01 op 	for (@_) {
 97 85fd8f63 2023-04-01 op 		$l = $_->{level} if $_->{level} < $l;
 98 85fd8f63 2023-04-01 op 	}
 99 85fd8f63 2023-04-01 op 	return $l;
100 85fd8f63 2023-04-01 op }
101 85fd8f63 2023-04-01 op 
102 85fd8f63 2023-04-01 op sub thrslice {
103 85fd8f63 2023-04-01 op 	my ($fh, $mail, $p, $n) = @_;
104 85fd8f63 2023-04-01 op 	my @prev = @{$p};
105 85fd8f63 2023-04-01 op 	my @next = @{$n};
106 85fd8f63 2023-04-01 op 	my @thread = (@prev, $mail, @next);
107 85fd8f63 2023-04-01 op 	return unless @thread;
108 85fd8f63 2023-04-01 op 	my $base = min_level @thread;
109 85fd8f63 2023-04-01 op 	my $level = 0;
110 85fd8f63 2023-04-01 op 	print $fh "<div class='thread'>";
111 85fd8f63 2023-04-01 op 	print $fh "<ul class='mails'>";
112 bd3babdf 2023-04-02 op 	$level = threntry $fh, "mail", $base, $level, $_, $mail for @thread;
113 85fd8f63 2023-04-01 op 	print $fh "</ul></li>" x $level;
114 85fd8f63 2023-04-01 op 	print $fh "</ul></div>";
115 85fd8f63 2023-04-01 op }
116 85fd8f63 2023-04-01 op 
117 1edd511a 2023-04-01 op sub export_one {
118 1edd511a 2023-04-01 op 	my ($mail, $prev, $next) = @_;
119 bbdbef1a 2023-04-01 op 	my $dest = "$outdir/mail/$mail->{mid}.html";
120 c971fcee 2022-08-25 op 
121 7d6d378a 2022-08-24 op 	open(my $fh, '>', "$dest") or die "can't open $dest: $!";
122 7d6d378a 2022-08-24 op 
123 bbdbef1a 2023-04-01 op 	initpage $fh, $mail->{subj};
124 7d6d378a 2022-08-24 op 
125 bbdbef1a 2023-04-01 op 	open(my $mshow, "-|", "mshow", "-nNA", "text/plain", $mail->{fname})
126 7d6d378a 2022-08-24 op 	    or die "can't exec mshow: $!";
127 7d6d378a 2022-08-24 op 
128 bbdbef1a 2023-04-01 op 	open(my $text, '>', "$outdir/text/$mail->{mid}.txt")
129 bbdbef1a 2023-04-01 op 	    or die "can't open $outdir/text/$mail->{mid}.txt: $!";
130 84989e10 2022-08-24 op 
131 9d8482ab 2022-08-27 op 	my @hdrs;
132 7d6d378a 2022-08-24 op 	while (<$mshow>) {
133 7d6d378a 2022-08-24 op 		last if /^$/;
134 7d6d378a 2022-08-24 op 
135 7d6d378a 2022-08-24 op 		# drop the (1 day ago) string
136 6e04f5f4 2022-08-27 op 		s/ \(.*\)// if /^Date:/;
137 6797be46 2022-08-27 op 		print $text $_;
138 9d8482ab 2022-08-27 op 		push @hdrs, san($_);
139 7d6d378a 2022-08-24 op 	}
140 6797be46 2022-08-27 op 	say $text "";
141 7d6d378a 2022-08-24 op 
142 1edd511a 2023-04-01 op 	thread_header $fh, $mail->{tid}, $mail->{mid}, \@hdrs;
143 9d8482ab 2022-08-27 op 
144 7d6d378a 2022-08-24 op 	print $fh "<pre>";
145 5b01d758 2022-08-25 op 	while (<$mshow>) {
146 5b01d758 2022-08-25 op 		print $text $_;
147 5b01d758 2022-08-25 op 		print $fh san($_);
148 5b01d758 2022-08-25 op 	}
149 7d6d378a 2022-08-24 op 	print $fh "</pre>";
150 7d6d378a 2022-08-24 op 
151 f1ceade9 2022-08-24 op 	# generate the listing for the exported parts
152 bbdbef1a 2023-04-01 op 	open(my $parts, '-|', 'mshow', '-t', $mail->{fname})
153 f3481d06 2022-09-13 op 	    or die "can't exec mshow: $!";
154 f3481d06 2022-09-13 op 
155 53bed501 2023-03-29 op 	my $partno = 0;
156 f3481d06 2022-09-13 op 	while (<$parts>) {
157 f3481d06 2022-09-13 op 		my ($n, $mime, $size, $name) =
158 f3481d06 2022-09-13 op 		    m/(\d+): ([^ ]+) size=(\d+) name="(.*)"/ or next;
159 f3481d06 2022-09-13 op 
160 f3481d06 2022-09-13 op 		next if $mime =~ m(application/application/pgp-signature);
161 f3481d06 2022-09-13 op 		next if $mime =~ m(audio/*);
162 f3481d06 2022-09-13 op 		next if $mime =~ m(video/*);
163 f3481d06 2022-09-13 op 
164 f3481d06 2022-09-13 op 		my $ext = "bin";
165 f3481d06 2022-09-13 op 		if ($mime =~ m(image/*)) {
166 f3481d06 2022-09-13 op 			if ($mime eq "image/gif") {
167 f3481d06 2022-09-13 op 				$ext = "gif";
168 f3481d06 2022-09-13 op 			} elsif ($mime eq "image/jpeg") {
169 f3481d06 2022-09-13 op 				$ext = "jpg";
170 f3481d06 2022-09-13 op 			} elsif ($mime eq "image/png") {
171 f3481d06 2022-09-13 op 				$ext = "png";
172 f3481d06 2022-09-13 op 			} else {
173 f3481d06 2022-09-13 op 				# skip other image types for now.
174 f3481d06 2022-09-13 op 				next;
175 f3481d06 2022-09-13 op 			}
176 f3481d06 2022-09-13 op 		}
177 f3481d06 2022-09-13 op 
178 f3481d06 2022-09-13 op 		# text/* is bundled in the body by mshow(1).
179 f3481d06 2022-09-13 op 
180 53bed501 2023-03-29 op 		say $fh "<ul class='parts'>" if $partno == 0;
181 53bed501 2023-03-29 op 		$partno++;
182 f3481d06 2022-09-13 op 
183 bbdbef1a 2023-04-01 op 		my $path = "$outdir/parts/$mail->{mid}.$partno.$ext";
184 53bed501 2023-03-29 op 		open my $p, '>', $path
185 bbdbef1a 2023-04-01 op 		    or die "can't open $mail->{fname}: $!";
186 bbdbef1a 2023-04-01 op 		export_part($p, $n, $mail->{fname});
187 f3481d06 2022-09-13 op 		close($p);
188 f3481d06 2022-09-13 op 
189 f3481d06 2022-09-13 op 		$path =~ s,^.*/parts/,/parts/,;
190 f3481d06 2022-09-13 op 
191 53bed501 2023-03-29 op 		my $url = san($path);
192 6240f9b8 2022-09-13 op 		my $hs = humanize $size;
193 6240f9b8 2022-09-13 op 		say $fh "<li><a href='$url'>$name ($hs)</a></li>";
194 f1ceade9 2022-08-24 op 	}
195 53bed501 2023-03-29 op 	say $fh "</ul>" if $partno > 0;
196 f1ceade9 2022-08-24 op 
197 1edd511a 2023-04-01 op 	thrnav $fh, $prev, $next, $mail->{mid}, $mail->{tid};
198 85fd8f63 2023-04-01 op 	thrslice $fh, $mail, $prev, $next;
199 f0fb0f08 2022-08-30 op 
200 04eab9af 2022-08-25 op 	endpage $fh;
201 7d6d378a 2022-08-24 op 
202 84989e10 2022-08-24 op 	close($text);
203 7d6d378a 2022-08-24 op 	close($mshow);
204 f3481d06 2022-09-13 op 	close($parts);
205 7d6d378a 2022-08-24 op 	close($fh);
206 f1ceade9 2022-08-24 op 
207 66e1cf97 2022-08-27 op 	unlink $parts;
208 66e1cf97 2022-08-27 op }
209 1edd511a 2023-04-01 op 
210 1edd511a 2023-04-01 op sub export {
211 1edd511a 2023-04-01 op 	my @thread = @_;
212 1edd511a 2023-04-01 op 
213 1edd511a 2023-04-01 op 	for (my $i = 0; $i < @thread; $i++) {
214 1edd511a 2023-04-01 op 		my (@prev, @next);
215 85fd8f63 2023-04-01 op 		@prev = @thread[max($i-2, 0)..$i-1] if $i > 0;
216 85fd8f63 2023-04-01 op 		@next = @thread[$i+1..min($i+2, @thread - 1)]
217 1edd511a 2023-04-01 op 		    if $i + 1 < @thread;
218 1edd511a 2023-04-01 op 		export_one $thread[$i], \@prev, \@next;
219 1edd511a 2023-04-01 op 	}
220 1edd511a 2023-04-01 op }
221 1edd511a 2023-04-01 op 
222 1edd511a 2023-04-01 op my $tid;
223 1edd511a 2023-04-01 op my @thread;
224 1edd511a 2023-04-01 op while (<>) {
225 1edd511a 2023-04-01 op 	my $mail = parse $_;
226 1edd511a 2023-04-01 op 
227 1edd511a 2023-04-01 op 	if ($mail->{level} == 0 && @thread) {
228 1edd511a 2023-04-01 op 		export @thread;
229 1edd511a 2023-04-01 op 		@thread = ();
230 1edd511a 2023-04-01 op 	}
231 1edd511a 2023-04-01 op 
232 1edd511a 2023-04-01 op 	$tid = $mail->{mid} if $mail->{level} == 0;
233 1edd511a 2023-04-01 op 	die "unknown tid" unless defined $tid;
234 1edd511a 2023-04-01 op 	$mail->{tid} = $tid;
235 1edd511a 2023-04-01 op 
236 1edd511a 2023-04-01 op 	# export_one $mail, $tid
237 1edd511a 2023-04-01 op 	push @thread, $mail;
238 1edd511a 2023-04-01 op }
239 1edd511a 2023-04-01 op 
240 1edd511a 2023-04-01 op export @thread if @thread;