1 7d6d378a 2022-08-24 op #!/usr/bin/env perl
  2 1bcb9899 2022-08-29 op #
  3 1bcb9899 2022-08-29 op # mexp was written by Omar Polo <op@openbsd.org> and is placed in the
  4 1bcb9899 2022-08-29 op # public domain.  The author hereby disclaims copyright to this source
  5 1bcb9899 2022-08-29 op # code.
  6 7d6d378a 2022-08-24 op 
  7 7d6d378a 2022-08-24 op use open ":std", ":encoding(UTF-8)";
  8 7d6d378a 2022-08-24 op use utf8;
  9 7d6d378a 2022-08-24 op use strict;
 10 7d6d378a 2022-08-24 op use warnings;
 11 7d6d378a 2022-08-24 op use v5.32;
 12 7d6d378a 2022-08-24 op 
 13 1edd511a 2023-04-01 op use List::Util qw(max min);
 14 1edd511a 2023-04-01 op 
 15 054f3fd4 2022-08-25 op use OpenBSD::Pledge;
 16 054f3fd4 2022-08-25 op use OpenBSD::Unveil;
 17 054f3fd4 2022-08-25 op 
 18 04eab9af 2022-08-25 op use lib ".";
 19 8f7a9a46 2023-04-04 op use GotMArc qw(parse san urlencode initpage endpage thread_header
 20 8f7a9a46 2023-04-04 op     threntry thrslice);
 21 04eab9af 2022-08-25 op 
 22 7d6d378a 2022-08-24 op my $outdir = $ENV{'OUTDIR'};
 23 7d6d378a 2022-08-24 op die 'Set $OUTDIR' unless defined $outdir;
 24 7d6d378a 2022-08-24 op 
 25 054f3fd4 2022-08-25 op unveil("/usr/local/bin/mshow", "rx") or die "unveil mshow: $!";
 26 054f3fd4 2022-08-25 op unveil($outdir, "rwc") or die "unveil $outdir: $!";
 27 d3d07147 2022-08-30 op 
 28 53bed501 2023-03-29 op pledge("stdio rpath wpath cpath proc exec") or die "pledge: $!";
 29 66e1cf97 2022-08-27 op 
 30 f3481d06 2022-09-13 op sub export_part {
 31 f3481d06 2022-09-13 op 	my ($fh, $n, $fname) = @_;
 32 f3481d06 2022-09-13 op 
 33 f3481d06 2022-09-13 op 	my $pid = fork;
 34 f3481d06 2022-09-13 op 	die "fork: $!" unless defined $pid;
 35 f3481d06 2022-09-13 op 	if ($pid == 0) {
 36 f3481d06 2022-09-13 op 		open \*STDOUT, '>&', $fh
 37 f3481d06 2022-09-13 op 		    or die "can't redirect stdout: $!";
 38 f3481d06 2022-09-13 op 		exec 'mshow', '-F', '-O', $fname, $n
 39 f3481d06 2022-09-13 op 		    or die "can't exec mshow: $!";
 40 f3481d06 2022-09-13 op 	}
 41 f3481d06 2022-09-13 op 
 42 f3481d06 2022-09-13 op 	waitpid $pid, 0;
 43 f3481d06 2022-09-13 op 	die "mshow exited with $? ($n, $fname)" if $?;
 44 f3481d06 2022-09-13 op }
 45 f3481d06 2022-09-13 op 
 46 6240f9b8 2022-09-13 op # like libutil' fmt_scaled
 47 6240f9b8 2022-09-13 op sub humanize {
 48 6240f9b8 2022-09-13 op 	my $number = shift;
 49 6240f9b8 2022-09-13 op 	my @units = qw(             G          M     K  B);
 50 6240f9b8 2022-09-13 op 	my @scale =   (1024*1024*1024, 1024*1024, 1024, 1);
 51 6240f9b8 2022-09-13 op 
 52 6240f9b8 2022-09-13 op 	for (my $i = 0; $i < @scale; $i++) {
 53 6240f9b8 2022-09-13 op 		if ($scale[$i] < $number) {
 54 6240f9b8 2022-09-13 op 			my $r = $number / $scale[$i];
 55 6240f9b8 2022-09-13 op 			return sprintf "%.0f%s", $r, $units[$i];
 56 6240f9b8 2022-09-13 op 		}
 57 6240f9b8 2022-09-13 op 	}
 58 6240f9b8 2022-09-13 op }
 59 6240f9b8 2022-09-13 op 
 60 1edd511a 2023-04-01 op sub thrnav {
 61 1edd511a 2023-04-01 op 	my ($fh, $p, $n, $mid, $tid) = @_;
 62 1edd511a 2023-04-01 op 	my @prev = @{$p};
 63 1edd511a 2023-04-01 op 	my @next = @{$n};
 64 7d6d378a 2022-08-24 op 
 65 1edd511a 2023-04-01 op 	return if !@prev && !@next;
 66 1edd511a 2023-04-01 op 	print $fh "<nav>";
 67 7d6d378a 2022-08-24 op 
 68 1edd511a 2023-04-01 op 	if (@prev) {
 69 1edd511a 2023-04-01 op 		my $mail = $prev[-1];
 70 1edd511a 2023-04-01 op 		my $encmid = $mail->{mid};
 71 1edd511a 2023-04-01 op 		say $fh "<a href='/mail/$encmid.html'>Previous</a>";
 72 1edd511a 2023-04-01 op 	} else {
 73 1edd511a 2023-04-01 op 		say $fh "<span>Previous</span>";
 74 1edd511a 2023-04-01 op 	}
 75 1edd511a 2023-04-01 op 
 76 1edd511a 2023-04-01 op 	if (defined($mid) && defined($tid)) {
 77 1edd511a 2023-04-01 op 		my $encmid = urlencode $mid;
 78 1edd511a 2023-04-01 op 		my $enctid = urlencode $tid;
 79 1edd511a 2023-04-01 op 		say $fh "<a href='/text/$encmid.txt'>Raw body</a>";
 80 1edd511a 2023-04-01 op 		say $fh "<a href='/thread/$enctid.html#$encmid'>Thread</a>";
 81 1edd511a 2023-04-01 op 	}
 82 1edd511a 2023-04-01 op 
 83 1edd511a 2023-04-01 op 	if (@next) {
 84 1edd511a 2023-04-01 op 		my $mail = $next[0];
 85 1edd511a 2023-04-01 op 		my $encmid = $mail->{mid};
 86 1edd511a 2023-04-01 op 		say $fh "<a href='/mail/$encmid.html'>Next</a>";
 87 1edd511a 2023-04-01 op 	} else {
 88 1edd511a 2023-04-01 op 		say $fh "<span>Next</span>";
 89 1edd511a 2023-04-01 op 	}
 90 1edd511a 2023-04-01 op 
 91 1edd511a 2023-04-01 op 	print $fh "</nav>";
 92 1edd511a 2023-04-01 op }
 93 1edd511a 2023-04-01 op 
 94 1edd511a 2023-04-01 op sub export_one {
 95 1edd511a 2023-04-01 op 	my ($mail, $prev, $next) = @_;
 96 bbdbef1a 2023-04-01 op 	my $dest = "$outdir/mail/$mail->{mid}.html";
 97 c971fcee 2022-08-25 op 
 98 7d6d378a 2022-08-24 op 	open(my $fh, '>', "$dest") or die "can't open $dest: $!";
 99 7d6d378a 2022-08-24 op 
100 bbdbef1a 2023-04-01 op 	initpage $fh, $mail->{subj};
101 7d6d378a 2022-08-24 op 
102 bbdbef1a 2023-04-01 op 	open(my $mshow, "-|", "mshow", "-nNA", "text/plain", $mail->{fname})
103 7d6d378a 2022-08-24 op 	    or die "can't exec mshow: $!";
104 7d6d378a 2022-08-24 op 
105 bbdbef1a 2023-04-01 op 	open(my $text, '>', "$outdir/text/$mail->{mid}.txt")
106 bbdbef1a 2023-04-01 op 	    or die "can't open $outdir/text/$mail->{mid}.txt: $!";
107 84989e10 2022-08-24 op 
108 9d8482ab 2022-08-27 op 	my @hdrs;
109 7d6d378a 2022-08-24 op 	while (<$mshow>) {
110 7d6d378a 2022-08-24 op 		last if /^$/;
111 7d6d378a 2022-08-24 op 
112 7d6d378a 2022-08-24 op 		# drop the (1 day ago) string
113 6e04f5f4 2022-08-27 op 		s/ \(.*\)// if /^Date:/;
114 6797be46 2022-08-27 op 		print $text $_;
115 9d8482ab 2022-08-27 op 		push @hdrs, san($_);
116 7d6d378a 2022-08-24 op 	}
117 6797be46 2022-08-27 op 	say $text "";
118 7d6d378a 2022-08-24 op 
119 8f7a9a46 2023-04-04 op 	thread_header $fh, \@hdrs, $mail, $prev, $next, 1;
120 9d8482ab 2022-08-27 op 
121 7d6d378a 2022-08-24 op 	print $fh "<pre>";
122 5b01d758 2022-08-25 op 	while (<$mshow>) {
123 5b01d758 2022-08-25 op 		print $text $_;
124 5b01d758 2022-08-25 op 		print $fh san($_);
125 5b01d758 2022-08-25 op 	}
126 7d6d378a 2022-08-24 op 	print $fh "</pre>";
127 7d6d378a 2022-08-24 op 
128 f1ceade9 2022-08-24 op 	# generate the listing for the exported parts
129 bbdbef1a 2023-04-01 op 	open(my $parts, '-|', 'mshow', '-t', $mail->{fname})
130 f3481d06 2022-09-13 op 	    or die "can't exec mshow: $!";
131 f3481d06 2022-09-13 op 
132 53bed501 2023-03-29 op 	my $partno = 0;
133 f3481d06 2022-09-13 op 	while (<$parts>) {
134 f3481d06 2022-09-13 op 		my ($n, $mime, $size, $name) =
135 f3481d06 2022-09-13 op 		    m/(\d+): ([^ ]+) size=(\d+) name="(.*)"/ or next;
136 f3481d06 2022-09-13 op 
137 4ad9fe9b 2023-04-03 op 		next if $mime =~ m(application/pgp-signature);
138 f3481d06 2022-09-13 op 		next if $mime =~ m(audio/*);
139 f3481d06 2022-09-13 op 		next if $mime =~ m(video/*);
140 f3481d06 2022-09-13 op 
141 f3481d06 2022-09-13 op 		my $ext = "bin";
142 f3481d06 2022-09-13 op 		if ($mime =~ m(image/*)) {
143 f3481d06 2022-09-13 op 			if ($mime eq "image/gif") {
144 f3481d06 2022-09-13 op 				$ext = "gif";
145 f3481d06 2022-09-13 op 			} elsif ($mime eq "image/jpeg") {
146 f3481d06 2022-09-13 op 				$ext = "jpg";
147 f3481d06 2022-09-13 op 			} elsif ($mime eq "image/png") {
148 f3481d06 2022-09-13 op 				$ext = "png";
149 f3481d06 2022-09-13 op 			} else {
150 f3481d06 2022-09-13 op 				# skip other image types for now.
151 f3481d06 2022-09-13 op 				next;
152 f3481d06 2022-09-13 op 			}
153 f3481d06 2022-09-13 op 		}
154 f3481d06 2022-09-13 op 
155 f3481d06 2022-09-13 op 		# text/* is bundled in the body by mshow(1).
156 f3481d06 2022-09-13 op 
157 53bed501 2023-03-29 op 		say $fh "<ul class='parts'>" if $partno == 0;
158 53bed501 2023-03-29 op 		$partno++;
159 f3481d06 2022-09-13 op 
160 bbdbef1a 2023-04-01 op 		my $path = "$outdir/parts/$mail->{mid}.$partno.$ext";
161 53bed501 2023-03-29 op 		open my $p, '>', $path
162 bbdbef1a 2023-04-01 op 		    or die "can't open $mail->{fname}: $!";
163 bbdbef1a 2023-04-01 op 		export_part($p, $n, $mail->{fname});
164 f3481d06 2022-09-13 op 		close($p);
165 f3481d06 2022-09-13 op 
166 f3481d06 2022-09-13 op 		$path =~ s,^.*/parts/,/parts/,;
167 f3481d06 2022-09-13 op 
168 53bed501 2023-03-29 op 		my $url = san($path);
169 6240f9b8 2022-09-13 op 		my $hs = humanize $size;
170 6240f9b8 2022-09-13 op 		say $fh "<li><a href='$url'>$name ($hs)</a></li>";
171 f1ceade9 2022-08-24 op 	}
172 53bed501 2023-03-29 op 	say $fh "</ul>" if $partno > 0;
173 f1ceade9 2022-08-24 op 
174 1edd511a 2023-04-01 op 	thrnav $fh, $prev, $next, $mail->{mid}, $mail->{tid};
175 85fd8f63 2023-04-01 op 	thrslice $fh, $mail, $prev, $next;
176 f0fb0f08 2022-08-30 op 
177 04eab9af 2022-08-25 op 	endpage $fh;
178 7d6d378a 2022-08-24 op 
179 84989e10 2022-08-24 op 	close($text);
180 7d6d378a 2022-08-24 op 	close($mshow);
181 f3481d06 2022-09-13 op 	close($parts);
182 7d6d378a 2022-08-24 op 	close($fh);
183 f1ceade9 2022-08-24 op 
184 66e1cf97 2022-08-27 op 	unlink $parts;
185 66e1cf97 2022-08-27 op }
186 1edd511a 2023-04-01 op 
187 1edd511a 2023-04-01 op sub export {
188 1edd511a 2023-04-01 op 	my @thread = @_;
189 1edd511a 2023-04-01 op 
190 1edd511a 2023-04-01 op 	for (my $i = 0; $i < @thread; $i++) {
191 1edd511a 2023-04-01 op 		my (@prev, @next);
192 85fd8f63 2023-04-01 op 		@prev = @thread[max($i-2, 0)..$i-1] if $i > 0;
193 85fd8f63 2023-04-01 op 		@next = @thread[$i+1..min($i+2, @thread - 1)]
194 1edd511a 2023-04-01 op 		    if $i + 1 < @thread;
195 1edd511a 2023-04-01 op 		export_one $thread[$i], \@prev, \@next;
196 1edd511a 2023-04-01 op 	}
197 1edd511a 2023-04-01 op }
198 1edd511a 2023-04-01 op 
199 1edd511a 2023-04-01 op my $tid;
200 1edd511a 2023-04-01 op my @thread;
201 1edd511a 2023-04-01 op while (<>) {
202 1edd511a 2023-04-01 op 	my $mail = parse $_;
203 1edd511a 2023-04-01 op 
204 1edd511a 2023-04-01 op 	if ($mail->{level} == 0 && @thread) {
205 1edd511a 2023-04-01 op 		export @thread;
206 1edd511a 2023-04-01 op 		@thread = ();
207 1edd511a 2023-04-01 op 	}
208 1edd511a 2023-04-01 op 
209 1edd511a 2023-04-01 op 	$tid = $mail->{mid} if $mail->{level} == 0;
210 1edd511a 2023-04-01 op 	die "unknown tid" unless defined $tid;
211 1edd511a 2023-04-01 op 	$mail->{tid} = $tid;
212 1edd511a 2023-04-01 op 
213 1edd511a 2023-04-01 op 	# export_one $mail, $tid
214 1edd511a 2023-04-01 op 	push @thread, $mail;
215 1edd511a 2023-04-01 op }
216 1edd511a 2023-04-01 op 
217 1edd511a 2023-04-01 op export @thread if @thread;