1 7d6d378a 2022-08-24 op #!/usr/bin/env perl
  2 1bcb9899 2022-08-29 op #
  3 1bcb9899 2022-08-29 op # mkindex was written by Omar Polo <op@openbsd.org> and is placed in
  4 1bcb9899 2022-08-29 op # the public domain.  The author hereby disclaims copyright to this
  5 1bcb9899 2022-08-29 op # source code.
  6 7d6d378a 2022-08-24 op 
  7 7d6d378a 2022-08-24 op use open ":std", ":encoding(UTF-8)";
  8 7d6d378a 2022-08-24 op use utf8;
  9 7d6d378a 2022-08-24 op use strict;
 10 7d6d378a 2022-08-24 op use warnings;
 11 7d6d378a 2022-08-24 op use v5.32;
 12 270695a3 2022-08-30 op use File::Temp qw(tempfile);
 13 7d6d378a 2022-08-24 op 
 14 054f3fd4 2022-08-25 op use OpenBSD::Pledge;
 15 054f3fd4 2022-08-25 op use OpenBSD::Unveil;
 16 054f3fd4 2022-08-25 op 
 17 04eab9af 2022-08-25 op use lib ".";
 18 bd3babdf 2023-04-02 op use GotMArc qw(parse san urlencode initpage endpage index_header
 19 bd3babdf 2023-04-02 op     thread_header threntry);
 20 04eab9af 2022-08-25 op 
 21 7d6d378a 2022-08-24 op my $outdir = $ENV{'OUTDIR'};
 22 7d6d378a 2022-08-24 op die 'Set $OUTDIR' unless defined $outdir;
 23 7d6d378a 2022-08-24 op 
 24 28ebc168 2022-08-24 op my $tfh; # thread file handle
 25 28ebc168 2022-08-24 op my $pfh; # page file handle
 26 1913b2fb 2022-08-26 op my $page = 0;
 27 d40f4fe2 2022-08-26 op my @pages;
 28 270695a3 2022-08-30 op my @files;
 29 d40f4fe2 2022-08-26 op my $from_day;
 30 d40f4fe2 2022-08-26 op my $to_day;
 31 584d65d8 2022-08-24 op my $threads_seen = 0;
 32 debcbab2 2022-09-13 op 
 33 584d65d8 2022-08-24 op my $last_level = 0;
 34 debcbab2 2022-09-13 op my $last_tid;
 35 debcbab2 2022-09-13 op my $last_date;
 36 debcbab2 2022-09-13 op my $last_from;
 37 debcbab2 2022-09-13 op my $last_subj;
 38 debcbab2 2022-09-13 op 
 39 c5dff871 2022-08-29 op my $threads = 0;
 40 c5dff871 2022-08-29 op my $threads_per_page = 100;
 41 7d6d378a 2022-08-24 op 
 42 d40f4fe2 2022-08-26 op sub maxs {
 43 d40f4fe2 2022-08-26 op 	my ($a, $b) = @_;
 44 d40f4fe2 2022-08-26 op 	return $a unless defined $b;
 45 d40f4fe2 2022-08-26 op 	return $a gt $b ? $a : $b;
 46 d40f4fe2 2022-08-26 op }
 47 d40f4fe2 2022-08-26 op 
 48 d40f4fe2 2022-08-26 op sub mins {
 49 d40f4fe2 2022-08-26 op 	my ($a, $b) = @_;
 50 d40f4fe2 2022-08-26 op 	return $a unless defined $b;
 51 d40f4fe2 2022-08-26 op 	return $a lt $b ? $a : $b;
 52 d40f4fe2 2022-08-26 op }
 53 d40f4fe2 2022-08-26 op 
 54 28ebc168 2022-08-24 op sub pagename {
 55 28ebc168 2022-08-24 op 	my $i = shift;
 56 1913b2fb 2022-08-26 op 	return $i == 1 && "index.html" || "$i.html";
 57 28ebc168 2022-08-24 op }
 58 28ebc168 2022-08-24 op 
 59 ebad21b1 2022-08-26 op sub endfile {
 60 ebad21b1 2022-08-26 op 	say $pfh '</ul></div>';
 61 ebad21b1 2022-08-26 op 	close($pfh);
 62 d40f4fe2 2022-08-26 op 	push @pages, "$from_day - $to_day";
 63 ebad21b1 2022-08-26 op }
 64 ebad21b1 2022-08-26 op 
 65 28ebc168 2022-08-24 op sub nextfile {
 66 ebad21b1 2022-08-26 op 	endfile if defined $pfh;
 67 28ebc168 2022-08-24 op 	$page += 1;
 68 66e1cf97 2022-08-27 op 
 69 270695a3 2022-08-30 op 	my $path;
 70 270695a3 2022-08-30 op 	($pfh, $path) = tempfile "/tmp/gotmarc.index.XXXXXXXXXX";
 71 b031debf 2023-03-29 op 	binmode($pfh, ':utf8');
 72 270695a3 2022-08-30 op 	push @files, $path;
 73 ebad21b1 2022-08-26 op 	say $pfh "<div class='thread'><ul>";
 74 6fde8229 2022-08-26 op }
 75 28ebc168 2022-08-24 op 
 76 6fde8229 2022-08-26 op sub nav {
 77 43c49583 2022-08-27 op 	my ($pfh, $n) = @_;
 78 43c49583 2022-08-27 op 	my ($first, $last) = (pagename(1), pagename($page));
 79 6fde8229 2022-08-26 op 	my ($next, $prev) = (pagename($n+1), pagename($n-1));
 80 28ebc168 2022-08-24 op 
 81 2eb655f1 2022-08-27 op 	say $pfh "<nav>";
 82 1913b2fb 2022-08-26 op 	say $pfh "<a href='$first'>First</a>" if $n > 2;
 83 1913b2fb 2022-08-26 op 	say $pfh "<a href='$prev'>Prev</a>" if $n > 1;
 84 6fde8229 2022-08-26 op 	say $pfh "<a href='$next'>Next</a>" if $n < $page;
 85 6fde8229 2022-08-26 op 	say $pfh "<a href='$last'>Last</a>" if $n < $page - 1;
 86 6fde8229 2022-08-26 op 	say $pfh "</nav>";
 87 6fde8229 2022-08-26 op }
 88 4d7b2baa 2022-08-26 op 
 89 dc9d5313 2023-04-04 op sub search {
 90 dc9d5313 2023-04-04 op 	my $pfh = shift;
 91 dc9d5313 2023-04-04 op 
 92 dc9d5313 2023-04-04 op 	say $pfh <<'EOF' ;
 93 dc9d5313 2023-04-04 op <form method="get" action="/search">
 94 dc9d5313 2023-04-04 op   <label>Search: <input type="search" name="q" /></label>
 95 dc9d5313 2023-04-04 op   <button type="submit">search</button>
 96 dc9d5313 2023-04-04 op </form>
 97 dc9d5313 2023-04-04 op EOF
 98 dc9d5313 2023-04-04 op }
 99 dc9d5313 2023-04-04 op 
100 6fde8229 2022-08-26 op sub copyfrom {
101 6fde8229 2022-08-26 op 	my ($path, $fh) = @_;
102 6fde8229 2022-08-26 op 
103 6fde8229 2022-08-26 op 	# there are probably faster ways to do this like File::Copy,
104 6fde8229 2022-08-26 op 	# but it bypasses the bufio cache...
105 6fde8229 2022-08-26 op 	open(my $pfh, '<', $path) or die "can't open $path: $!";
106 890362cd 2022-08-30 op 	print $fh $_ while <$pfh>;
107 28ebc168 2022-08-24 op }
108 28ebc168 2022-08-24 op 
109 add05cb0 2022-08-27 op sub renderpages {
110 28ebc168 2022-08-24 op 	close($pfh);
111 28ebc168 2022-08-24 op 
112 1913b2fb 2022-08-26 op 	for (my $i = 1; $i <= $page; $i++) {
113 66e1cf97 2022-08-27 op 		my $name = pagename($i);
114 270695a3 2022-08-30 op 		my $path = shift @files;
115 66e1cf97 2022-08-27 op 		my $dest = "$outdir/$name";
116 28ebc168 2022-08-24 op 
117 6fde8229 2022-08-26 op 		open(my $pfh, '>', $dest)
118 6fde8229 2022-08-26 op 		    or die "can't open $dest for writing: $!";
119 28ebc168 2022-08-24 op 
120 d40f4fe2 2022-08-26 op 		my $title = "Game of Trees Mail Archive | page $i";
121 d40f4fe2 2022-08-26 op 		my $subtitle = $pages[$i-1];
122 28ebc168 2022-08-24 op 
123 9ec6c848 2022-08-27 op 		initpage($pfh, $title);
124 9ec6c848 2022-08-27 op 		index_header $pfh, $i, $subtitle;
125 9ec6c848 2022-08-27 op 		say $pfh "<main>";
126 6fde8229 2022-08-26 op 
127 43c49583 2022-08-27 op 		nav $pfh, $i if $page > 1;
128 dc9d5313 2023-04-04 op 		search $pfh;
129 6fde8229 2022-08-26 op 		copyfrom($path, $pfh);
130 43c49583 2022-08-27 op 		nav $pfh, $i if $page > 1;
131 6fde8229 2022-08-26 op 
132 e773a9f0 2022-08-24 op 		say $pfh "</main>";
133 e773a9f0 2022-08-24 op 		endpage($pfh);
134 8d17053d 2022-08-26 op 
135 9ec6c848 2022-08-27 op 		close($pfh);
136 8d17053d 2022-08-26 op 		unlink $path;
137 28ebc168 2022-08-24 op 	}
138 28ebc168 2022-08-24 op }
139 28ebc168 2022-08-24 op 
140 eefeacb7 2022-08-27 op sub endthread {
141 eefeacb7 2022-08-27 op 	say $tfh "</ul></li>" x $last_level;
142 c13d576c 2022-08-27 op 	say $tfh "</ul>\n</div>\n";
143 eefeacb7 2022-08-27 op 	endpage($tfh);
144 eefeacb7 2022-08-27 op 	close($tfh);
145 eefeacb7 2022-08-27 op 
146 eefeacb7 2022-08-27 op 	$last_level = 0;
147 eefeacb7 2022-08-27 op }
148 eefeacb7 2022-08-27 op 
149 7d6d378a 2022-08-24 op sub nextthread {
150 eefeacb7 2022-08-27 op 	endthread if defined $tfh;
151 7d6d378a 2022-08-24 op 	my ($mid, $subj) = @_;
152 7d6d378a 2022-08-24 op 	my $dest = "$outdir/thread/$mid.html";
153 7d6d378a 2022-08-24 op 	open($tfh, '>', $dest) or die "can't open $dest: $!";
154 7d6d378a 2022-08-24 op 	initpage($tfh, $subj);
155 8f7a9a46 2023-04-04 op 	thread_header $tfh, ["Thread: $subj"];
156 c13d576c 2022-08-27 op 	print $tfh "<div class='thread'><ul class='mails'>\n";
157 7d6d378a 2022-08-24 op }
158 7d6d378a 2022-08-24 op 
159 debcbab2 2022-09-13 op sub index_entry {
160 debcbab2 2022-09-13 op 	my ($fh, $mid, $date, $from, $subj) = @_;
161 debcbab2 2022-09-13 op 
162 bd3babdf 2023-04-02 op 	# synthetic mail hash
163 bd3babdf 2023-04-02 op 	my $mail = {
164 bd3babdf 2023-04-02 op 		mid => $mid,
165 bd3babdf 2023-04-02 op 		level => 0,
166 bd3babdf 2023-04-02 op 		date => $date,
167 bd3babdf 2023-04-02 op 		from => $from,
168 bd3babdf 2023-04-02 op 		subj => $subj,
169 bd3babdf 2023-04-02 op 	};
170 debcbab2 2022-09-13 op 
171 bd3babdf 2023-04-02 op 	threntry $fh, "thread", 0, 0, $mail;
172 7d6d378a 2022-08-24 op }
173 7d6d378a 2022-08-24 op 
174 054f3fd4 2022-08-25 op unveil($outdir, "rwc") or die "unveil $outdir: $!";
175 270695a3 2022-08-30 op 
176 270695a3 2022-08-30 op # can't use tmppath because File::Temp checks wether /tmp exists.
177 66e1cf97 2022-08-27 op unveil("/tmp", "rwc") or die "unveil /tmp: $!";
178 054f3fd4 2022-08-25 op 
179 270695a3 2022-08-30 op # fattr for File::Temp
180 270695a3 2022-08-30 op pledge("stdio rpath wpath cpath fattr") or die "pledge: $!";
181 53bec6d4 2022-08-25 op 
182 ebad21b1 2022-08-26 op nextfile;
183 7d6d378a 2022-08-24 op 
184 7d6d378a 2022-08-24 op while (<>) {
185 6b36ff28 2023-04-01 op 	my $mail = parse $_;
186 7d6d378a 2022-08-24 op 
187 bbdbef1a 2023-04-01 op 	if ($mail->{level} == 0) {
188 bbdbef1a 2023-04-01 op 		nextthread $mail->{mid}, $mail->{subj};
189 ebad21b1 2022-08-26 op 
190 c5dff871 2022-08-29 op 		$threads++;
191 c5dff871 2022-08-29 op 		if ($threads > $threads_per_page) {
192 ebad21b1 2022-08-26 op 			nextfile;
193 c5dff871 2022-08-29 op 			$threads = 0;
194 d40f4fe2 2022-08-26 op 			$to_day = undef;
195 d40f4fe2 2022-08-26 op 			$from_day = undef;
196 ebad21b1 2022-08-26 op 		}
197 a0b4d4b3 2022-08-27 op 
198 bbdbef1a 2023-04-01 op 		my $day = $mail->{date} =~ s/ .*//r;
199 a0b4d4b3 2022-08-27 op 		$to_day = mins $day, $to_day;
200 a0b4d4b3 2022-08-27 op 		$from_day = maxs $day, $from_day;
201 ebad21b1 2022-08-26 op 	}
202 ebad21b1 2022-08-26 op 
203 bd3babdf 2023-04-02 op 	$last_level = threntry $tfh, "mail", 0, $last_level, $mail;
204 584d65d8 2022-08-24 op 	$threads_seen = 1;
205 debcbab2 2022-09-13 op 
206 debcbab2 2022-09-13 op 	index_entry $pfh, $last_tid, $last_date, $last_from, $last_subj
207 bbdbef1a 2023-04-01 op 	    if defined $last_tid && $mail->{level} == 0;
208 debcbab2 2022-09-13 op 
209 257d7c99 2022-10-04 op 	# `gt' on dates works because the format used allow for
210 257d7c99 2022-10-04 op 	# lexicographic comparisons.
211 bbdbef1a 2023-04-01 op 	if ($mail->{level} == 0 || $mail->{date} gt $last_date) {
212 bbdbef1a 2023-04-01 op 		$last_date = $mail->{date};
213 bbdbef1a 2023-04-01 op 		$last_from = $mail->{from};
214 257d7c99 2022-10-04 op 	}
215 257d7c99 2022-10-04 op 
216 bbdbef1a 2023-04-01 op 	if ($mail->{level} == 0) {
217 bbdbef1a 2023-04-01 op 		$last_tid = $mail->{mid};
218 bbdbef1a 2023-04-01 op 		$last_subj = $mail->{subj};
219 257d7c99 2022-10-04 op 	}
220 7d6d378a 2022-08-24 op }
221 7d6d378a 2022-08-24 op 
222 debcbab2 2022-09-13 op index_entry $pfh, $last_tid, $last_date, $last_from, $last_subj
223 debcbab2 2022-09-13 op     if defined $last_tid;
224 debcbab2 2022-09-13 op 
225 ebad21b1 2022-08-26 op endfile;
226 ebad21b1 2022-08-26 op endthread if $threads_seen;
227 add05cb0 2022-08-27 op renderpages;