★阿修羅♪ > お知らせ・管理21 > 545.html
 ★阿修羅♪
▲コメTop ▼コメBtm 次へ 前へ
安全で安定な阿修羅掲示板の活用のために、HTMLで入力された記事やコメントの書式をチェックするプログラムを公開します
http://www.asyura2.com/13/kanri21/msg/545.html
投稿者 新共産主義クラブ 日時 2019 年 1 月 16 日 18:33:33: w0NMVeciJ/Y.. kFaLpI5ZjuWLYINOg4mDdQ
 

 
 安全で安定した阿修羅掲示板の活用のために、HTMLの書式で入力された阿修羅掲示板の記事やコメントの投稿文のHTMLの構文やタグの使われ方などが適切であるかをサーバ側でチェックするPerlのスクリプト chkmsg version alpha 0.10 を公開します。この記事のコメント欄にスクリプトを表示します。

  chkmsg は、阿修羅掲示板のサーバで動作し、開始タグと終了タグの対応や要素が異なるタグの間の入れ子関係のチェック、 読み込みを指定されているファイルが予め認められているURIの外部スクリプトファイル等であるか、記事やコメントの投稿文にユーザや第三者が作成した JavaScript のコードが埋め込まえていないか、などをチェックして、サーバ上の掲示板システムの呼び出し元のプログラムに結果を伝えます。
 
 本ソフトウェアは、MIT license および CC0 1.0 の下で配布します。
 
 バグの御指摘や、忌憚のない御意見をお寄せ下さい。
 


  *   *   *   *   *   *   *   *
 
 
 
「新自由主義」から「新共産主義」へと、政治と経済のパラダイムシフト(潮流変化)を導き、
人と社会の未来を築(つ)くる、『新共産主義クラブ』.
 
© 2019 新共産主義クラブ.
 
 
The New Communist Club builds the future for human and society,
leading the paradigm shift, the change of the tide,
in politics and economy from neoliberalism to new communisim.
 
Copyright © 2019 New Communist Club.
 
 

  拍手はせず、拍手一覧を見る

コメント
1. 新共産主義クラブ[-9717] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月16日 18:42:18 : meSrPQwR5s : Oi41K8C1SAA[4] 報告




td.linenos { background-color: #f0f0f0; padding-right: 10px; }
span.lineno { background-color: #f0f0f0; padding: 0 5px 0 5px; }
pre { line-height: 125%; }
body .hll { background-color: #ffffcc }
body { background: #f8f8f8; }
body .c { color: #408080; font-style: italic } /* Comment */
body .err { border: 1px solid #FF0000 } /* Error */
body .k { color: #008000; font-weight: bold } /* Keyword */
body .o { color: #666666 } /* Operator */
body .ch { color: #408080; font-style: italic } /* Comment.Hashbang */
body .cm { color: #408080; font-style: italic } /* Comment.Multiline */
body .cp { color: #BC7A00 } /* Comment.Preproc */
body .cpf { color: #408080; font-style: italic } /* Comment.PreprocFile */
body .c1 { color: #408080; font-style: italic } /* Comment.Single */
body .cs { color: #408080; font-style: italic } /* Comment.Special */
body .gd { color: #A00000 } /* Generic.Deleted */
body .ge { font-style: italic } /* Generic.Emph */
body .gr { color: #FF0000 } /* Generic.Error */
body .gh { color: #000080; font-weight: bold } /* Generic.Heading */
body .gi { color: #00A000 } /* Generic.Inserted */
body .go { color: #888888 } /* Generic.Output */
body .gp { color: #000080; font-weight: bold } /* Generic.Prompt */
body .gs { font-weight: bold } /* Generic.Strong */
body .gu { color: #800080; font-weight: bold } /* Generic.Subheading */
body .gt { color: #0044DD } /* Generic.Traceback */
body .kc { color: #008000; font-weight: bold } /* Keyword.Constant */
body .kd { color: #008000; font-weight: bold } /* Keyword.Declaration */
body .kn { color: #008000; font-weight: bold } /* Keyword.Namespace */
body .kp { color: #008000 } /* Keyword.Pseudo */
body .kr { color: #008000; font-weight: bold } /* Keyword.Reserved */
body .kt { color: #B00040 } /* Keyword.Type */
body .m { color: #666666 } /* Literal.Number */
body .s { color: #BA2121 } /* Literal.String */
body .na { color: #7D9029 } /* Name.Attribute */
body .nb { color: #008000 } /* Name.Builtin */
body .nc { color: #0000FF; font-weight: bold } /* Name.Class */
body .no { color: #880000 } /* Name.Constant */
body .nd { color: #AA22FF } /* Name.Decorator */
body .ni { color: #999999; font-weight: bold } /* Name.Entity */
body .ne { color: #D2413A; font-weight: bold } /* Name.Exception */
body .nf { color: #0000FF } /* Name.Function */
body .nl { color: #A0A000 } /* Name.Label */
body .nn { color: #0000FF; font-weight: bold } /* Name.Namespace */
body .nt { color: #008000; font-weight: bold } /* Name.Tag */
body .nv { color: #19177C } /* Name.Variable */
body .ow { color: #AA22FF; font-weight: bold } /* Operator.Word */
body .w { color: #bbbbbb } /* Text.Whitespace */
body .mb { color: #666666 } /* Literal.Number.Bin */
body .mf { color: #666666 } /* Literal.Number.Float */
body .mh { color: #666666 } /* Literal.Number.Hex */
body .mi { color: #666666 } /* Literal.Number.Integer */
body .mo { color: #666666 } /* Literal.Number.Oct */
body .sa { color: #BA2121 } /* Literal.String.Affix */
body .sb { color: #BA2121 } /* Literal.String.Backtick */
body .sc { color: #BA2121 } /* Literal.String.Char */
body .dl { color: #BA2121 } /* Literal.String.Delimiter */
body .sd { color: #BA2121; font-style: italic } /* Literal.String.Doc */
body .s2 { color: #BA2121 } /* Literal.String.Double */
body .se { color: #BB6622; font-weight: bold } /* Literal.String.Escape */
body .sh { color: #BA2121 } /* Literal.String.Heredoc */
body .si { color: #BB6688; font-weight: bold } /* Literal.String.Interpol */
body .sx { color: #008000 } /* Literal.String.Other */
body .sr { color: #BB6688 } /* Literal.String.Regex */
body .s1 { color: #BA2121 } /* Literal.String.Single */
body .ss { color: #19177C } /* Literal.String.Symbol */
body .bp { color: #008000 } /* Name.Builtin.Pseudo */
body .fm { color: #0000FF } /* Name.Function.Magic */
body .vc { color: #19177C } /* Name.Variable.Class */
body .vg { color: #19177C } /* Name.Variable.Global */
body .vi { color: #19177C } /* Name.Variable.Instance */
body .vm { color: #19177C } /* Name.Variable.Magic */
body .il { color: #666666 } /* Literal.Number.Integer.Long */


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626#!/usr/bin/perl
##!c:/Perl/bin/perl.exe
# lang=ja charset=utf-8
#
# chkmsg: 掲示板システムの安全性と安定性の確保のため、ユーザが入力したHTMLのデータの形式をチェックする。
#
# Jan. 16, 2019.
# 本ソフトウェアは、MIT license および CC0 1.0 の両方の下で配布されています。
#
# Copyright (c) 2019 New Communist Club 新共産主義クラブ
# Released under the MIT license
# https://opensource.org/licenses/mit-license.php
#
# CC0 1.0 全世界
# https://creativecommons.org/publicdomain/zero/1.0/legalcode.ja
#
#

use strict;
use warnings;
use CGI;

# global variables
our @valid_script_tag=(
#'<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>', # As is.
'<script async src="https:\\/\\/platform\\.twitter\\.com\\/widgets\\.js" charset="utf-8"><\\/script>', # RegExp
);

our @valid_iframe_src_uri=(
"^https:\\/\\/www\\.youtube\\.com\\/embed\\/[\\w]{11}\$" # same as "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[_a-zA-Z0-9]{11}\$"
);

our %valid_single_tag_elements=(
br=>1,
img=>1
);

our %valid_paired_tags_elements=(
iframe=>2,
div=>2,
span=>2,
h1=>2,
h2=>2,
h3=>2,
h4=>2,
h5=>2,
h6=>2,
p=>2,
pre=>2,
blockquote=>2,
q=>2,
cite=>2,
dfn=>2,
em=>2,
strong=>2,
sup=>2,
sub=>2,
code=>2,
kbd=>2,
samp=>2,
var=>2,
abbr=>2,
acronym=>2,
ins=>2,
del=>2,
bdo=>2,
font=>2,
big=>2,
small=>2,
b=>2,
i=>2,
tt=>2,
strike=>2,
s=>2,
u=>2,
ul=>2,
ol=>2,
li=>2,
a=>2,
);

our $true = (1==1);
our $false = ! $true;
our $cgi0=CGI->new;
# end of global variables


# main program (sample)
#
# Usage:
# perl chkmsg.pl 'message_file.html'
#
my $argc=@ARGV;
my $input_file;
if($argc > 0){
$input_file = $ARGV[0];
}else{
print "chkmsg.pl\nUsage:\n\tperl chkmsg.pl 'message_file.html'\n";
exit;
}
open my $fh, '<', $input_file or die $!;
my $msg = do { local $/ = undef; <$fh>; };
my ($ack, $reply) = chkmsg($msg);

if($ack){
print "$reply\n";
print "<!-- Message Accepted -->\n";
}else{
print "$reply\n";
print "<!-- Message Rejected -->\n";
}
# end of main program


# sub chkmsg
# args: string $usrmsg
# returns: (boolean $ack, string $reply)
# if $usrmsg is well-formatted HTML message, sub chkmsg returns array ($true, $reply= corrected user's HTML message).
# if $usrmsg is non-well-formatted HTML message, sub chkmsg returns array ($false, $reply = error message).
sub chkmsg {

my ($usrmsg) = @_;

my $usrmsg_r1=$usrmsg;

$usrmsg_r1 =~ s/<(\s*)!(\s*)-(\s*)-/"<!--" . margin($1.$2.$3)/eg;
$usrmsg_r1 =~ s/-(\s*)-(\s*)>/margin($1.$2) . "-->"/eg;

my $usrmsg_r1_len=length($usrmsg_r1);

my @cmt_lt_ary;
my @cmt_gt_ary;
my $p=0;
while($p<$usrmsg_r1_len){
$p=index $usrmsg_r1, "<!--", $p;
if($p<0){
last;
}
push @cmt_lt_ary, $p;
$p+=4;
}

$p=0;
while($p<$usrmsg_r1_len){
$p=index $usrmsg_r1, "-->", $p;
if($p<0){
last;
}
push @cmt_gt_ary, $p+2;
$p+=3;
}

my $cmt_lt_ary_sz=@cmt_lt_ary;
my $cmt_gt_ary_sz=@cmt_gt_ary;

if($cmt_lt_ary_sz != $cmt_gt_ary_sz){
return ($false, errmsg(10, __LINE__, ""));
}

my $num_cmt=$cmt_lt_ary_sz;

if($num_cmt>=1){
if($num_cmt==1){
if($cmt_lt_ary[0]>=$cmt_gt_ary[0]){
return ($false, errmsg(20, __LINE__, ""));
}
}else{
for(my $i=0; $i<$num_cmt-1; $i++){
if($cmt_lt_ary[$i]>=$cmt_gt_ary[$i]){
return ($false, errmsg(30, __LINE__, ""));
}
if($cmt_gt_ary[$i]>=$cmt_lt_ary[$i+1]){
return ($false, errmsg(40, __LINE__, ""));
}
}
if($cmt_lt_ary[$num_cmt-1]>=$cmt_gt_ary[$num_cmt-1]){
return ($false, errmsg(50, __LINE__, ""));
}
}
}

# comments are replaced by white spaces
my $usrmsg_r2=$usrmsg_r1;

for(my $i=0; $i<$num_cmt; $i++){
my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
substr($usrmsg_r2, $cmt_lt_ary[$i], $n, space($n));
}

# correct left end of the tag
$usrmsg_r2 =~ s/<(\s*)([a-zA-Z]+)/"<" . $2 . margin($1)/eg;
$usrmsg_r2 =~ s/<(\s*)\/(\s*)([a-zA-Z]+)/"<\/" . $3 . margin($1 . $2)/eg;

# correct right end of the single tag
$usrmsg_r2 =~ s/\/(\s*)>/margin($1) . "\/>"/eg;
# "

# make tag start and end position array, lt_ary, gt_ary
my $usrmsg_r2_len=length($usrmsg_r2);
my @lt_ary;
my @gt_ary;

$p=0;
while($p<$usrmsg_r2_len){
$p=index $usrmsg_r2, "<", $p;
if($p<0){
last;
}
push @lt_ary, $p;
$p++;
}

$p=0;
while($p<$usrmsg_r2_len){
$p=index $usrmsg_r2, ">", $p;
if($p<0){
last;
}
push @gt_ary, $p;
$p++;
}

my $lt_ary_sz=@lt_ary;
my $gt_ary_sz=@gt_ary;

if($lt_ary_sz != $gt_ary_sz){
return ($false, errmsg(60, __LINE__, ""));
}

my $num_tag=$lt_ary_sz;

if($num_tag>=1){
if($num_tag==1){
if($lt_ary[0]>=$gt_ary[0]){
return ($false, errmsg(70, __LINE__, ""));
}
}else{
for(my $i=0; $i<$num_tag-1; $i++){
if($lt_ary[$i]>=$gt_ary[$i]){
return ($false, errmsg(80, __LINE__, ""));
}
if($gt_ary[$i]>=$lt_ary[$i+1]){
return ($false, errmsg(90, __LINE__, ""));
}
}
if($lt_ary[$num_cmt-1]>=$gt_ary[$num_cmt-1]){
return ($false, errmsg(100, __LINE__, ""));
}
}
}

# analyze tag
my @paired_tags_name_ary;
my @paired_tags_type_ary;
for(my $i=0; $i < $num_tag; $i++){
my $tag = substr($usrmsg_r2, $lt_ary[$i], $gt_ary[$i]-$lt_ary[$i]+1);
if( $tag =~ /^<([a-zA-Z]+)/){
my $tag_name = lc($1);
my $l1=exists $valid_single_tag_elements{$tag_name};
my $l2=exists $valid_paired_tags_elements{$tag_name};
my $l3=$tag_name eq "script";

if($l2){
push(@paired_tags_name_ary, $tag_name);
push(@paired_tags_type_ary, "StartTag");
}

if($l1||$l2){
my $str = substr($tag, length($tag_name)+1);
my ($ack, $reply)=analyze_attr_val($str, $tag_name);
if(!$ack){
return ($false, $reply);
}
}elsif($l3){
my $str=substr($usrmsg_r2, $lt_ary[$i], $gt_ary[$i]+length("</script>")-$lt_ary[$i]+1);
# if($str ne $valid_script_tag[0]){
# return ($false, errmsg(120, __LINE__, $str));
# }
if(!chk_script_tag($str)){
return ($false, errmsg(120, __LINE__, $str));
}
push(@paired_tags_name_ary, $tag_name);
push(@paired_tags_type_ary, "StartTag");
}else{
return ($false, errmsg(130, __LINE__, $tag_name));
}
}elsif($tag =~ /^<\/([a-z]+)\s*/i){
my $tag_name=lc($1);
if(exists $valid_paired_tags_elements{$tag_name}){
push(@paired_tags_name_ary, $tag_name);
push(@paired_tags_type_ary, "EndTag");
}elsif($tag_name eq "script"){
push(@paired_tags_name_ary, $tag_name);
push(@paired_tags_type_ary, "EndTag");
}else{
return ($false, errmsg(140, __LINE__, $tag_name));
}
}else{
return ($false, errmsg(150, __LINE__, $tag)); # !StartTag && !EndTag
}
}

# Check Pairing and Nesting of StartTags and EndTags
my @tag_name_stack;
my @tag_type_stack;

my $ary_sz=@paired_tags_type_ary;
my $stack_sz;

for(my $i=0; $i<$ary_sz; $i++){
if($paired_tags_type_ary[$i] eq "StartTag"){
push @tag_name_stack, $paired_tags_name_ary[$i];
push @tag_type_stack, $paired_tags_type_ary[$i];
}else{ # $paired_tags_type_ary[$i] eq "EndTag";
$stack_sz=@tag_type_stack;
if($stack_sz>0){
my $toptag_type=pop @tag_type_stack;
my $toptag_name=pop @tag_name_stack;
if($toptag_type ne "StartTag"){
return ($false, errmsg(160, __LINE__, ""));
}
if($toptag_name ne $paired_tags_name_ary[$i]){
return ($false, errmsg(170, __LINE__, ""));
}
}else{
return ($false, errmsg(180, __LINE__, ""));
}
}
}

$stack_sz=@tag_type_stack;
if($stack_sz > 0){
return ($false, errmsg(190, __LINE__, ""));
}
# End of Check Pairing and Nesting of StartTags and EndTags


# comment retrieve
for(my $i=0; $i<$num_cmt; $i++){
my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
substr($usrmsg_r2, $cmt_lt_ary[$i], $n, substr($usrmsg_r1, $cmt_lt_ary[$i], $n));
}

my $usrmsg_r3;
my $in_tag=$false;
# my $usrmsg_r2_len = length($usrmsg_r2);
my $c;

# HTML escape in Content
for(my $p=0; $p<$usrmsg_r2_len; $p++){
$c=substr($usrmsg_r2, $p, 1);
if($c eq "<"){
$usrmsg_r3 .= "<";
$in_tag=$true;
next;
}elsif($c eq ">"){
$usrmsg_r3 .= ">";
$in_tag=$false;
next;
}elsif($c eq "&"){
if($in_tag){
$usrmsg_r3 .= "&";
next;
}else{
if(chk_char_entity_ref_num_char_ref($usrmsg_r2, $p)){
$usrmsg_r3 .= "&";
next;
}else{
$usrmsg_r3 .= $cgi0->escapeHTML("&");
next;
}
}
}else{
if($in_tag){
$usrmsg_r3 .= $c;
next;
}else{
$usrmsg_r3 .= $cgi0->escapeHTML($c);
next;
}
}
}
return ($true, $usrmsg_r3);
}
# end of sub chkmsg

# sub margin: replace \t -> space, \n -> space, space -> space
sub margin {
my ($str) = @_;
$str =~ s/\s/ /g;
return $str;
}
# end of sub margin


# sub space: returns n spaces string
# 入力値nを受け取り、n個の空白が連続した文字列を返す。
sub space {
my ($n) = @_;
my $str;
for(my $i=0; $i<$n; $i++){
$str .= " ";
}
return $str;
}
# end sub space


# sub analyze_attr_val: analyze attributes and values in a tag
# analyze_attr_val は、タグの中の属性名と値を分析するサブルーチン。
sub analyze_attr_val {
my ($str, $tag_name) = @_;
while(length($str)>0){
my $attribute;
my $value;
my $p;
my $l1=$false;
my $l2=$false;
if($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\"(\s*)([^<>]*)(\s*)\"/i){
$attribute=lc($2);
$value=$5;
$p=length($1.$2.$3.$4.$5.$6)+2;
$l1=$true;
}elsif($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\'(\s*)([^<>]*)(\s*)\'/i){
$attribute=lc($2);
$value=$5;
$p=length($1.$2.$3.$4.$5.$6)+2;
$l2=$true;
}else{
;
}
if( $l1 || $l2 ){
if(substr($attribute, 0, 2) eq "on"){
return ($false, errmsg(230,__LINE__,$str));
}
if($attribute eq "srcdoc"){
return ($false, errmsg(240,__LINE__,$str));
}
if($tag_name eq "iframe" && $attribute eq "src"){
if(!chk_iframe_src($value)){
return ($false, errmsg(250,__LINE__,$str));
}
}
if($attribute eq "href"){
if($value =~ /^https?:\/\//){
;
}else{
return ($false, errmsg(260,__LINE__,$str));
}
}
$str=substr($str, $p);
next;
}elsif($str =~ /\s*>/){
last;
}elsif($str =~ /\s*\/\s*>/ && exists $valid_single_tag_elements{$tag_name}){
last;
}else{
return ($false, errmsg(270,__LINE__,$str));
}
}
return ($true,"");
}
# end of sub analyze_attr_val


# sub chk_script_tag: check paired script tags
sub chk_script_tag {

my ($script_tag) = @_;

my $allowd=$false;
my $sz=@valid_script_tag;
for(my $j=0; $j<$sz; $j++){
if($script_tag =~ /$valid_script_tag[$j]/ ){
$allowd=$true;
last;
}
}
return $allowd;
}
# end of sub chk_script_tag


# sub chk_iframe_src: check value of src in iframe tag
sub chk_iframe_src {

my ($value) = @_;

my $allowd_src=$false;
my $sz=@valid_iframe_src_uri;
for(my $j=0; $j<$sz; $j++){
if($value =~ /$valid_iframe_src_uri[$j]/ ){
$allowd_src=$true;
last;
}
}
return $allowd_src;
}
# end of sub chk_iframe_src


# sub chk_char_entity_ref_num_char_ref: check if "&" refer to character entity reference or numeric character reference
sub chk_char_entity_ref_num_char_ref {

my ($msg, $p) = @_;

my %character_entity_references=(
nbsp => 0, iexcl => 0, cent => 0, pound => 0, curren => 0,
yen => 0, brvbar => 0, sect => 0, uml => 0, copy => 0,
ordf => 0, laquo => 0, not => 0, shy => 0, reg => 0,
macr => 0, deg => 0, plusmn => 0, sup => 0, sup => 0,
acute => 0, micro => 0, para => 0, middot => 0, cedil => 0,
sup => 0, ordm => 0, raquo => 0, frac => 0, frac => 0,
frac => 0, iquest => 0, Agrave => 0, Aacute => 0, Acirc => 0,
Atilde => 0, Auml => 0, Aring => 0, AElig => 0, Ccedil => 0,
Egrave => 0, Eacute => 0, Ecirc => 0, Euml => 0, Igrave => 0,
Iacute => 0, Icirc => 0, Iuml => 0, ETH => 0, Ntilde => 0,
Ograve => 0, Oacute => 0, Ocirc => 0, Otilde => 0, Ouml => 0,
times => 0, Oslash => 0, Ugrave => 0, Uacute => 0, Ucirc => 0,
Uuml => 0, Yacute => 0, THORN => 0, szlig => 0, agrave => 0,
aacute => 0, acirc => 0, atilde => 0, auml => 0, aring => 0,
aelig => 0, ccedil => 0, egrave => 0, eacute => 0, ecirc => 0,
euml => 0, igrave => 0, iacute => 0, icirc => 0, iuml => 0,
eth => 0, ntilde => 0, ograve => 0, oacute => 0, ocirc => 0,
otilde => 0, ouml => 0, divide => 0, oslash => 0, ugrave => 0,
uacute => 0, ucirc => 0, uuml => 0, yacute => 0, thorn => 0,
yuml => 0, fnof => 0, Alpha => 0, Beta => 0, Gamma => 0,
Delta => 0, Epsilon => 0, Zeta => 0, Eta => 0, Theta => 0,
Iota => 0, Kappa => 0, Lambda => 0, Mu => 0, Nu => 0,
Xi => 0, Omicron => 0, Pi => 0, Rho => 0, Sigma => 0,
Tau => 0, Upsilon => 0, Phi => 0, Chi => 0, Psi => 0,
Omega => 0, alpha => 0, beta => 0, gamma => 0, delta => 0,
epsilon => 0, zeta => 0, eta => 0, theta => 0, iota => 0,
kappa => 0, lambda => 0, mu => 0, nu => 0, xi => 0,
omicron => 0, pi => 0, rho => 0, sigmaf => 0, sigma => 0,
tau => 0, upsilon => 0, phi => 0, chi => 0, psi => 0,
omega => 0, thetasym => 0, upsih => 0, piv => 0, bull => 0,
hellip => 0, prime => 0, Prime => 0, oline => 0, frasl => 0,
weierp => 0, image => 0, real => 0, trade => 0, alefsym => 0,
larr => 0, uarr => 0, rarr => 0, darr => 0, harr => 0,
crarr => 0, lArr => 0, uArr => 0, rArr => 0, dArr => 0,
hArr => 0, forall => 0, part => 0, exist => 0, empty => 0,
nabla => 0, isin => 0, notin => 0, ni => 0, prod => 0,
sum => 0, minus => 0, lowast => 0, radic => 0, prop => 0,
infin => 0, ang => 0, and => 0, or => 0, cap => 0,
cup => 0, int => 0, there => 0, sim => 0, cong => 0,
asymp => 0, ne => 0, equiv => 0, le => 0, ge => 0,
sub => 0, sup => 0, nsub => 0, sube => 0, supe => 0,
oplus => 0, otimes => 0, perp => 0, sdot => 0, lceil => 0,
rceil => 0, lfloor => 0, rfloor => 0, lang => 0, rang => 0,
loz => 0, spades => 0, clubs => 0, hearts => 0, diams => 0,
quot => 0, amp => 0, lt => 0, gt => 0, OElig => 0,
oelig => 0, Scaron => 0, scaron => 0, Yuml => 0, circ => 0,
tilde => 0, ensp => 0, emsp => 0, thinsp => 0, zwnj => 0,
zwj => 0, lrm => 0, rlm => 0, ndash => 0, mdash => 0,
lsquo => 0, rsquo => 0, sbquo => 0, ldquo => 0, rdquo => 0,
bdquo => 0, dagger => 0, Dagger => 0, permil => 0, lsaquo => 0,
rsaquo => 0, euro => 0
);
my $str=substr($msg, $p+1, 9);
if ($str eq ""){
return $false;
}else{
my $q=index($str, ";");
if($q >=0){
my $str1=substr($str, 0, $q);
if(exists $character_entity_references{$str1}){ # character entity reference
return $true;
}elsif($str1 =~ /^#[0-9]+$/){ # decimal numeric character reference
return $true;
}elsif($str1 =~ /^#x[0-9a-f]+$/i){ # hexadecimal numeric character reference
return $true;
}else{
return $false;
}
}else{
return $false;
}
}
}
# end of sub chk_char_entity_ref_num_char_ref


# sub errmsg: make error message in HTML
sub errmsg {
my ($errnum, $errline, $wrong_code) = @_;

my %description = (
10=>'コメントの開始記号 <!-- と終了記号 --> の個数が一致しません。',
20=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
30=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
40=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
50=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
60=>'タグの左端の記号 < と、タグの右端の記号 > の個数が一致しません。',
70=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
80=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
90=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
100=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
110=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
120=>'script タグの記述に誤りがあります。セキュリティ上の理由により、script タグで記述できる内容は限定されています。Twitter を引用する場合には、<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> と、空白部分を含めて一字一句間違えずに入力してください。',
130=>'開始タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。',
140=>'終了タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。',
150=>'タグの記述に誤りがあります。開始タグと終了タグの、どちらとも認識できませんでした。',
160=>'開始タグと終了タグの並び順が間違っています。終了タグの直前のタグは、同じタグ名の開始タグでなければなりません。',
170=>'終了タグの直前のタグが、同じタグ名の開始タグになっていません。異なるタグ名の要素間は互いに「入れ子」の関係になっていなければなりません。',
180=>'入力したHTMLデータ中の開始タグと終了タグの個数が違っています。開始タグと終了タグの個数は同じでなければなりません。',
190=>'入力したHTMLデータ中の開始タグと終了タグの個数が違っています。開始タグと終了タグの個数は同じでなければなりません。',
230=>'セキュリティ上の理由により、onload onclick onerror のような on で始まる属性名を使って、イベント発生時の動作を定義することはできません。',
240=>'セキュリティ上の理由により、属性名 srcdoc を使って、iframe タグを記述することはできません。',
250=>'iframe タグで、利用できない URI が src で指定されています。セキュリティ上の理由により、iframe タグで属性名 src によって指定できる URI は限定されています。',
260=>'セキュリティ上の理由により、a タグで、属性名 href を使って指定できる値は、http:// または https:// で始まる URI に限定されています。',
270=>'タグの記述が間違っています。属性名と値を正しく読み込めません。',
);

my $header='<!DOCTYPE html><html><head><title>HTML Message Input Error</title><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body>';
my $error_title='<h1>' . 'Error ' . $errline . '</h1>';
$wrong_code='<pre><strong><font color="red">' . $cgi0->escapeHTML($wrong_code) . '</font></strong></pre>';
my $error_description=$cgi0->escapeHTML($description{$errnum});
$error_description='<p>' . $error_description . '</p>';
my $footer='</body></html>';

my $error_message = $header . $error_title . $wrong_code . $error_description . $footer;

return $error_message;
}
# end of sub errmsg


2. 新共産主義クラブ[-9716] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月16日 18:43:52 : meSrPQwR5s : Oi41K8C1SAA[5] 報告

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
#!/usr/bin/perl
##!c:/Perl/bin/perl.exe
# lang=ja  charset=utf-8
# 
# chkmsg: 掲示板システムの安全性と安定性の確保のため、ユーザが入力したHTMLのデータの形式をチェックする。
#
# Jan. 16, 2019.
# 本ソフトウェアは、MIT license および CC0 1.0 の両方の下で配布されています。
#
# Copyright (c) 2019 New Communist Club 新共産主義クラブ
# Released under the MIT license
# https://opensource.org/licenses/mit-license.php
#
# CC0 1.0 全世界
# https://creativecommons.org/publicdomain/zero/1.0/legalcode.ja
#
#

use strict;
use warnings;
use CGI;

# global variables 
our @valid_script_tag=(
  #'<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>', # As is.
  '<script async src="https:\\/\\/platform\\.twitter\\.com\\/widgets\\.js" charset="utf-8"><\\/script>', # RegExp
);

our @valid_iframe_src_uri=(
  "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[\\w]{11}\$" # same as "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[_a-zA-Z0-9]{11}\$"
);

our %valid_single_tag_elements=(
  br=>1,
  img=>1
);

our %valid_paired_tags_elements=(
  iframe=>2,
  div=>2,
  span=>2,
  h1=>2,
  h2=>2,
  h3=>2,
  h4=>2,
  h5=>2,
  h6=>2,
  p=>2,
  pre=>2,
  blockquote=>2,
  q=>2,
  cite=>2,
  dfn=>2,
  em=>2,
  strong=>2,
  sup=>2,
  sub=>2,
  code=>2,
  kbd=>2,
  samp=>2,
  var=>2,
  abbr=>2,
  acronym=>2,
  ins=>2,
  del=>2,
  bdo=>2,
  font=>2,
  big=>2,
  small=>2,
  b=>2,
  i=>2,
  tt=>2,
  strike=>2,
  s=>2,
  u=>2,
  ul=>2,
  ol=>2,
  li=>2,
  a=>2,
);

our $true = (1==1);
our $false = ! $true;
our $cgi0=CGI->new;
# end of global variables 


# main program (sample)
#
# Usage:
#   perl chkmsg.pl 'message_file.html'
#
my $argc=@ARGV;
my $input_file;
if($argc > 0){
  $input_file = $ARGV[0];
}else{
  print "chkmsg.pl\nUsage:\n\tperl chkmsg.pl 'message_file.html'\n";
  exit;
}
open my $fh, '<', $input_file or die $!;
my $msg = do { local $/ = undef; <$fh>; };
my ($ack, $reply) = chkmsg($msg);

if($ack){
  print "$reply\n";
  print "<!-- Message Accepted -->\n";
}else{  
  print "$reply\n";
  print "<!-- Message Rejected -->\n";
}
# end of main program


# sub chkmsg
# args: string $usrmsg
# returns: (boolean $ack, string $reply)
# if $usrmsg is well-formatted HTML message, sub chkmsg returns array ($true, $reply= corrected user's HTML message).
# if $usrmsg is non-well-formatted HTML message, sub chkmsg returns array ($false, $reply = error message).
sub chkmsg {
  
  my ($usrmsg) = @_;
    
  my $usrmsg_r1=$usrmsg;

  $usrmsg_r1 =~ s/<(\s*)!(\s*)-(\s*)-/"<!--" . margin($1.$2.$3)/eg;
  $usrmsg_r1 =~ s/-(\s*)-(\s*)>/margin($1.$2) . "-->"/eg;

  my $usrmsg_r1_len=length($usrmsg_r1);

  my @cmt_lt_ary;
  my @cmt_gt_ary;
  my $p=0;
  while($p<$usrmsg_r1_len){
    $p=index $usrmsg_r1, "<!--", $p;
    if($p<0){
      last;
    }
    push @cmt_lt_ary, $p;
    $p+=4;
  }

  $p=0;
  while($p<$usrmsg_r1_len){
    $p=index $usrmsg_r1, "-->", $p;
    if($p<0){
      last;
    }
    push @cmt_gt_ary, $p+2;
    $p+=3;
  }

  my $cmt_lt_ary_sz=@cmt_lt_ary;
  my $cmt_gt_ary_sz=@cmt_gt_ary; 

  if($cmt_lt_ary_sz != $cmt_gt_ary_sz){
    return ($false, errmsg(10, __LINE__, ""));
  }

  my $num_cmt=$cmt_lt_ary_sz;

  if($num_cmt>=1){
    if($num_cmt==1){
      if($cmt_lt_ary[0]>=$cmt_gt_ary[0]){
        return ($false, errmsg(20, __LINE__, ""));
      }
    }else{
      for(my $i=0; $i<$num_cmt-1; $i++){
        if($cmt_lt_ary[$i]>=$cmt_gt_ary[$i]){
          return ($false, errmsg(30, __LINE__, ""));
        }
        if($cmt_gt_ary[$i]>=$cmt_lt_ary[$i+1]){
          return ($false, errmsg(40, __LINE__, ""));
        }
      }
      if($cmt_lt_ary[$num_cmt-1]>=$cmt_gt_ary[$num_cmt-1]){
        return ($false, errmsg(50, __LINE__, ""));
      }
    }
  }

  # comments are replaced by white spaces
  my $usrmsg_r2=$usrmsg_r1;
   
  for(my $i=0; $i<$num_cmt; $i++){
    my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
    substr($usrmsg_r2, $cmt_lt_ary[$i], $n, space($n));
  }

  # correct left end of the tag 
  $usrmsg_r2 =~ s/<(\s*)([a-zA-Z]+)/"<" . $2 . margin($1)/eg;
  $usrmsg_r2 =~ s/<(\s*)\/(\s*)([a-zA-Z]+)/"<\/" . $3 . margin($1 . $2)/eg;

  # correct right end of the single tag
  $usrmsg_r2 =~ s/\/(\s*)>/margin($1) . "\/>"/eg;
  # "

  # make tag start and end position array, lt_ary, gt_ary   
  my $usrmsg_r2_len=length($usrmsg_r2);
  my @lt_ary;
  my @gt_ary;

  $p=0;
  while($p<$usrmsg_r2_len){
    $p=index $usrmsg_r2, "<", $p;
    if($p<0){
      last;
    }
    push @lt_ary, $p;
    $p++;
  }

  $p=0;
  while($p<$usrmsg_r2_len){
    $p=index $usrmsg_r2, ">", $p;
    if($p<0){
      last;
    }
    push @gt_ary, $p;
    $p++;
  }

  my $lt_ary_sz=@lt_ary;
  my $gt_ary_sz=@gt_ary; 

  if($lt_ary_sz != $gt_ary_sz){
    return ($false, errmsg(60, __LINE__, ""));
  }

  my $num_tag=$lt_ary_sz;

  if($num_tag>=1){
    if($num_tag==1){
      if($lt_ary[0]>=$gt_ary[0]){
        return ($false, errmsg(70, __LINE__, ""));
      }
    }else{
      for(my $i=0; $i<$num_tag-1; $i++){
        if($lt_ary[$i]>=$gt_ary[$i]){
          return ($false, errmsg(80, __LINE__, ""));
        }
        if($gt_ary[$i]>=$lt_ary[$i+1]){
          return ($false, errmsg(90, __LINE__, ""));
        }
      }
      if($lt_ary[$num_cmt-1]>=$gt_ary[$num_cmt-1]){
        return ($false, errmsg(100, __LINE__, ""));
      }
    }
  }

  # analyze tag
  my @paired_tags_name_ary;
  my @paired_tags_type_ary;
  for(my $i=0; $i < $num_tag; $i++){
    my $tag = substr($usrmsg_r2, $lt_ary[$i],  $gt_ary[$i]-$lt_ary[$i]+1);
    if( $tag =~ /^<([a-zA-Z]+)/){
      my $tag_name = lc($1);
      my $l1=exists $valid_single_tag_elements{$tag_name};
      my $l2=exists $valid_paired_tags_elements{$tag_name};
      my $l3=$tag_name eq "script";
      
      if($l2){
        push(@paired_tags_name_ary, $tag_name);
        push(@paired_tags_type_ary, "StartTag");
      }
      
      if($l1||$l2){
        my $str = substr($tag, length($tag_name)+1);
        my ($ack, $reply)=analyze_attr_val($str, $tag_name);
        if(!$ack){
          return ($false, $reply);
        }
      }elsif($l3){
        my $str=substr($usrmsg_r2, $lt_ary[$i], $gt_ary[$i]+length("</script>")-$lt_ary[$i]+1);
#        if($str ne $valid_script_tag[0]){
#          return ($false, errmsg(120, __LINE__, $str));
#        }
        if(!chk_script_tag($str)){
          return ($false, errmsg(120, __LINE__, $str));
        }
        push(@paired_tags_name_ary, $tag_name);
        push(@paired_tags_type_ary, "StartTag");
      }else{
          return ($false, errmsg(130, __LINE__, $tag_name));
      }
    }elsif($tag =~ /^<\/([a-z]+)\s*/i){
      my $tag_name=lc($1);
      if(exists $valid_paired_tags_elements{$tag_name}){
        push(@paired_tags_name_ary, $tag_name);
        push(@paired_tags_type_ary, "EndTag");
      }elsif($tag_name eq "script"){
        push(@paired_tags_name_ary, $tag_name);
        push(@paired_tags_type_ary, "EndTag");
      }else{
          return ($false, errmsg(140, __LINE__, $tag_name));
      }
    }else{
      return ($false, errmsg(150, __LINE__, $tag)); # !StartTag && !EndTag
    }
  }

# Check Pairing and Nesting of StartTags and EndTags
  my @tag_name_stack;
  my @tag_type_stack;
  
  my $ary_sz=@paired_tags_type_ary;
  my $stack_sz;
  
  for(my $i=0; $i<$ary_sz; $i++){
    if($paired_tags_type_ary[$i] eq "StartTag"){
      push @tag_name_stack, $paired_tags_name_ary[$i];
      push @tag_type_stack, $paired_tags_type_ary[$i];
    }else{                           # $paired_tags_type_ary[$i] eq "EndTag";
      $stack_sz=@tag_type_stack;
      if($stack_sz>0){
        my $toptag_type=pop @tag_type_stack;
        my $toptag_name=pop @tag_name_stack;
        if($toptag_type ne "StartTag"){
          return ($false, errmsg(160, __LINE__, ""));
        }
        if($toptag_name ne $paired_tags_name_ary[$i]){
          return ($false, errmsg(170, __LINE__, ""));
        }
      }else{
        return ($false, errmsg(180, __LINE__, ""));
      }
    }
  }
  
  $stack_sz=@tag_type_stack;
  if($stack_sz > 0){
    return ($false, errmsg(190, __LINE__, ""));
  }
# End of Check Pairing and Nesting of StartTags and EndTags


# comment retrieve
  for(my $i=0; $i<$num_cmt; $i++){
    my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
    substr($usrmsg_r2, $cmt_lt_ary[$i], $n, substr($usrmsg_r1, $cmt_lt_ary[$i], $n));
  }

  my $usrmsg_r3;
  my $in_tag=$false;
#  my $usrmsg_r2_len = length($usrmsg_r2);
  my $c;

# HTML escape in Content 
  for(my $p=0; $p<$usrmsg_r2_len; $p++){
    $c=substr($usrmsg_r2, $p, 1);
    if($c eq "<"){
      $usrmsg_r3 .= "<";
      $in_tag=$true;
      next;
    }elsif($c eq ">"){
      $usrmsg_r3 .= ">";
      $in_tag=$false;
      next;
    }elsif($c eq "&"){
      if($in_tag){
        $usrmsg_r3 .= "&";
        next;
      }else{
        if(chk_char_entity_ref_num_char_ref($usrmsg_r2, $p)){
          $usrmsg_r3 .= "&";
          next;
        }else{
          $usrmsg_r3 .= $cgi0->escapeHTML("&");
          next;
        }
      }
    }else{
      if($in_tag){
        $usrmsg_r3 .= $c;
        next;
      }else{
        $usrmsg_r3 .= $cgi0->escapeHTML($c);
        next;
      }
    }
  }
  return ($true, $usrmsg_r3);
}
# end of sub chkmsg

# sub margin: replace \t -> space, \n -> space, space -> space
sub margin {
  my ($str) = @_;
  $str =~ s/\s/ /g;
  return $str;
}
# end of sub margin


# sub space: returns n spaces string
# 入力値nを受け取り、n個の空白が連続した文字列を返す。
sub space {
  my ($n) = @_;
  my $str;
  for(my $i=0; $i<$n; $i++){
    $str .= " ";
  }
  return $str;
}
# end sub space


# sub analyze_attr_val: analyze attributes and values in a tag
# analyze_attr_val は、タグの中の属性名と値を分析するサブルーチン。
sub analyze_attr_val {
  my ($str, $tag_name) = @_;
  while(length($str)>0){
    my $attribute;
    my $value;
    my $p;
    my $l1=$false;
    my $l2=$false;
    if($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\"(\s*)([^<>]*)(\s*)\"/i){
      $attribute=lc($2);
      $value=$5;
      $p=length($1.$2.$3.$4.$5.$6)+2;
      $l1=$true;
    }elsif($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\'(\s*)([^<>]*)(\s*)\'/i){
      $attribute=lc($2);
      $value=$5;
      $p=length($1.$2.$3.$4.$5.$6)+2;
      $l2=$true;
    }else{
      ;
    }
    if( $l1 || $l2 ){
      if(substr($attribute, 0, 2) eq "on"){
        return ($false, errmsg(230,__LINE__,$str));
      }
      if($attribute eq "srcdoc"){
        return ($false, errmsg(240,__LINE__,$str));
      }
      if($tag_name eq "iframe" && $attribute eq "src"){
        if(!chk_iframe_src($value)){
        return ($false, errmsg(250,__LINE__,$str));
        }
      }
      if($attribute eq "href"){
        if($value =~ /^https?:\/\//){
          ;
        }else{
          return ($false, errmsg(260,__LINE__,$str));
        }
      }
      $str=substr($str, $p);
      next;
    }elsif($str =~ /\s*>/){
      last;
    }elsif($str =~ /\s*\/\s*>/ && exists $valid_single_tag_elements{$tag_name}){   
      last;
    }else{
      return ($false, errmsg(270,__LINE__,$str));
    }
  }
  return ($true,"");
}
# end of sub analyze_attr_val


# sub chk_script_tag: check paired script tags
sub chk_script_tag {

  my ($script_tag) = @_;
  
  my $allowd=$false;
  my $sz=@valid_script_tag;
  for(my $j=0; $j<$sz; $j++){
    if($script_tag =~ /$valid_script_tag[$j]/ ){
      $allowd=$true;
      last;
    }
  }
  return $allowd;
}
# end of sub chk_script_tag


# sub chk_iframe_src: check value of src in iframe tag 
sub chk_iframe_src {

  my ($value) = @_;
  
  my $allowd_src=$false;
  my $sz=@valid_iframe_src_uri;
  for(my $j=0; $j<$sz; $j++){
    if($value =~ /$valid_iframe_src_uri[$j]/ ){
      $allowd_src=$true;
      last;
    }
  }
  return $allowd_src;
}
# end of sub chk_iframe_src


# sub chk_char_entity_ref_num_char_ref: check if "&" refer to character entity reference or numeric character reference
sub chk_char_entity_ref_num_char_ref  {
 
  my ($msg, $p) = @_;
 
  my %character_entity_references=(
    nbsp => 0, iexcl => 0, cent => 0, pound => 0, curren => 0, 
    yen => 0, brvbar => 0, sect => 0, uml => 0, copy => 0, 
    ordf => 0, laquo => 0, not => 0, shy => 0, reg => 0, 
    macr => 0, deg => 0, plusmn => 0, sup => 0, sup => 0, 
    acute => 0, micro => 0, para => 0, middot => 0, cedil => 0, 
    sup => 0, ordm => 0, raquo => 0, frac => 0, frac => 0, 
    frac => 0, iquest => 0, Agrave => 0, Aacute => 0, Acirc => 0, 
    Atilde => 0, Auml => 0, Aring => 0, AElig => 0, Ccedil => 0, 
    Egrave => 0, Eacute => 0, Ecirc => 0, Euml => 0, Igrave => 0, 
    Iacute => 0, Icirc => 0, Iuml => 0, ETH => 0, Ntilde => 0, 
    Ograve => 0, Oacute => 0, Ocirc => 0, Otilde => 0, Ouml => 0, 
    times => 0, Oslash => 0, Ugrave => 0, Uacute => 0, Ucirc => 0, 
    Uuml => 0, Yacute => 0, THORN => 0, szlig => 0, agrave => 0, 
    aacute => 0, acirc => 0, atilde => 0, auml => 0, aring => 0, 
    aelig => 0, ccedil => 0, egrave => 0, eacute => 0, ecirc => 0, 
    euml => 0, igrave => 0, iacute => 0, icirc => 0, iuml => 0, 
    eth => 0, ntilde => 0, ograve => 0, oacute => 0, ocirc => 0, 
    otilde => 0, ouml => 0, divide => 0, oslash => 0, ugrave => 0, 
    uacute => 0, ucirc => 0, uuml => 0, yacute => 0, thorn => 0, 
    yuml => 0, fnof => 0, Alpha => 0, Beta => 0, Gamma => 0, 
    Delta => 0, Epsilon => 0, Zeta => 0, Eta => 0, Theta => 0, 
    Iota => 0, Kappa => 0, Lambda => 0, Mu => 0, Nu => 0, 
    Xi => 0, Omicron => 0, Pi => 0, Rho => 0, Sigma => 0, 
    Tau => 0, Upsilon => 0, Phi => 0, Chi => 0, Psi => 0, 
    Omega => 0, alpha => 0, beta => 0, gamma => 0, delta => 0, 
    epsilon => 0, zeta => 0, eta => 0, theta => 0, iota => 0, 
    kappa => 0, lambda => 0, mu => 0, nu => 0, xi => 0, 
    omicron => 0, pi => 0, rho => 0, sigmaf => 0, sigma => 0, 
    tau => 0, upsilon => 0, phi => 0, chi => 0, psi => 0, 
    omega => 0, thetasym => 0, upsih => 0, piv => 0, bull => 0, 
    hellip => 0, prime => 0, Prime => 0, oline => 0, frasl => 0, 
    weierp => 0, image => 0, real => 0, trade => 0, alefsym => 0, 
    larr => 0, uarr => 0, rarr => 0, darr => 0, harr => 0, 
    crarr => 0, lArr => 0, uArr => 0, rArr => 0, dArr => 0, 
    hArr => 0, forall => 0, part => 0, exist => 0, empty => 0, 
    nabla => 0, isin => 0, notin => 0, ni => 0, prod => 0, 
    sum => 0, minus => 0, lowast => 0, radic => 0, prop => 0, 
    infin => 0, ang => 0, and => 0, or => 0, cap => 0, 
    cup => 0, int => 0, there => 0, sim => 0, cong => 0, 
    asymp => 0, ne => 0, equiv => 0, le => 0, ge => 0, 
    sub => 0, sup => 0, nsub => 0, sube => 0, supe => 0, 
    oplus => 0, otimes => 0, perp => 0, sdot => 0, lceil => 0, 
    rceil => 0, lfloor => 0, rfloor => 0, lang => 0, rang => 0, 
    loz => 0, spades => 0, clubs => 0, hearts => 0, diams => 0, 
    quot => 0, amp => 0, lt => 0, gt => 0, OElig => 0, 
    oelig => 0, Scaron => 0, scaron => 0, Yuml => 0, circ => 0, 
    tilde => 0, ensp => 0, emsp => 0, thinsp => 0, zwnj => 0, 
    zwj => 0, lrm => 0, rlm => 0, ndash => 0, mdash => 0, 
    lsquo => 0, rsquo => 0, sbquo => 0, ldquo => 0, rdquo => 0, 
    bdquo => 0, dagger => 0, Dagger => 0, permil => 0, lsaquo => 0, 
    rsaquo => 0, euro => 0
  );
  my $str=substr($msg, $p+1, 9);
  if ($str eq ""){
    return $false;
  }else{
    my $q=index($str, ";");
    if($q >=0){
      my $str1=substr($str, 0, $q);
      if(exists $character_entity_references{$str1}){ # character entity reference
        return $true;
      }elsif($str1 =~ /^#[0-9]+$/){  # decimal numeric character reference
        return $true;
      }elsif($str1 =~ /^#x[0-9a-f]+$/i){ # hexadecimal numeric character reference
        return $true;
      }else{
        return $false;
      }
    }else{
      return $false;
    }
  }
}
# end of sub chk_char_entity_ref_num_char_ref


# sub errmsg: make error message in HTML
sub errmsg {
  my ($errnum, $errline, $wrong_code) = @_;

  my %description = (
    10=>'コメントの開始記号 <!-- と終了記号 --> の個数が一致しません。',
    20=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
    30=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
    40=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
    50=>'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。',
    60=>'タグの左端の記号 < と、タグの右端の記号 > の個数が一致しません。',
    70=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
    80=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
    90=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
    100=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
    110=>'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。',
    120=>'script タグの記述に誤りがあります。セキュリティ上の理由により、script タグで記述できる内容は限定されています。Twitter を引用する場合には、<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> と、空白部分を含めて一字一句間違えずに入力してください。',
    130=>'開始タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。',
    140=>'終了タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。',
    150=>'タグの記述に誤りがあります。開始タグと終了タグの、どちらとも認識できませんでした。',
    160=>'開始タグと終了タグの並び順が間違っています。終了タグの直前のタグは、同じタグ名の開始タグでなければなりません。',
    170=>'終了タグの直前のタグが、同じタグ名の開始タグになっていません。異なるタグ名の要素間は互いに「入れ子」の関係になっていなければなりません。',
    180=>'入力したHTMLデータ中の開始タグと終了タグの個数が違っています。開始タグと終了タグの個数は同じでなければなりません。',
    190=>'入力したHTMLデータ中の開始タグと終了タグの個数が違っています。開始タグと終了タグの個数は同じでなければなりません。',
    230=>'セキュリティ上の理由により、onload onclick onerror のような on で始まる属性名を使って、イベント発生時の動作を定義することはできません。',
    240=>'セキュリティ上の理由により、属性名 srcdoc を使って、iframe タグを記述することはできません。',
    250=>'iframe タグで、利用できない URI が src で指定されています。セキュリティ上の理由により、iframe タグで属性名 src によって指定できる URI は限定されています。',
    260=>'セキュリティ上の理由により、a タグで、属性名 href を使って指定できる値は、http:// または https:// で始まる URI に限定されています。',
    270=>'タグの記述が間違っています。属性名と値を正しく読み込めません。',
  );

  my $header='<!DOCTYPE html><html><head><title>HTML Message Input Error</title><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body>';
  my $error_title='<h1>' . 'Error ' . $errline . '</h1>';
  $wrong_code='<pre><strong><font color="red">' . $cgi0->escapeHTML($wrong_code) . '</font></strong></pre>';
  my $error_description=$cgi0->escapeHTML($description{$errnum});
  $error_description='<p>' . $error_description . '</p>';
  my $footer='</body></html>';

  my $error_message = $header . $error_title . $wrong_code . $error_description . $footer;
  
  return $error_message;
}
# end of sub errmsg
3. 日高見連邦共和国[11877] k_qNgoypmEGWTYukmGGNkQ 2019年1月16日 21:38:39 : pYBiRhRShY : JUWRjmwQc1E[2659] 報告
お疲れさま。(皮肉抜き)

4. 管理人さん[2328] iseXnZBsgrOC8Q 2019年1月16日 22:49:01 : goJCZio63dQ[824] 報告
ありがとうございます。
これを実装すれば安定度がぐっと上がりますね。
とても助かります。

一週間程度でテストしてその後実装予定です。

5. 管理人さん[2335] iseXnZBsgrOC8Q 2019年1月25日 13:39:30 : goJCZio63dQ[831] 報告
うまく動きません。

いただいたプログラムを組み込み可能に微調整して組み込み増した。中身はこれ
http://www.asyura2.com/14/test31/chkmsg.ZIP

コメント追加プログラムcommenttest.cgi の中ではこのように呼んでいます。

#chkmsg.pl http://www.asyura2.com/13/kanri21/msg/545.html#c2 の組み込み 2019/01/25
ーーーーーーーここから
require "./chkmsg.pl";
my ($ack, $reply) = chkmsg::chkmsg($msg);

if($ack){
#OKなので何もしない
&debug('OK $reply' , $reply);
#print "$reply\n";
#print "\n";
}
ーーーーーーーここまで

ここだけで稼働しています。
http://www.asyura2.com/14/test31/msg/834.html

---これをコメントしてみた
<img src=" タグを閉じ忘れた
---ここまで

エラーが出て欲しいのに関数の戻り値がOKが出た。

OK $reply:

6. 新共産主義クラブ[-10082] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月25日 17:48:06 : XHGDjRoLR6 : OeMIB41afvw[58] 報告
>>5. 「管理人さん」さん
 
 
 ご指摘ありがとうございます。
 
 オリジナルの>>2の chkmsg.pl は、HTMLで書いたテキストファイルを読み込んで、エラーがある場合には、標準出力にエラーを出力するようになっています。
 
 「<img src= あ、書き忘れたよ」というメッセージの入力に対しては、オリジナルの>>2の594行目のエラー処理で、errnum が 60 の場合に相当し、「タグの左端の記号 の個数が一致しません。'」というエラーメッセージが表示されるはずになっています。
 
 そこで、「<img src= あ、書き忘れたよ」という内容の、gt_lost.html というファイル名のテキストファイルを作成し、ローカル環境のコマンドラインで
 
  $ perl chkmsg.pl gt_lost.html
 
 を実行してみたところ、プログラム作成時の意図どおりに、「タグの左端の記号 < と、タグの右端の記号 > の個数が一致しません。」というエラーメッセージが表示されました。
 
 
 もし、asyura2 サーバに組み込んだ方の chkmsg にだけ、動作の不具合があるとしたら、パッケージ化、グローバル変数、CGIオブジェクトの生成(オリジナルの>>2では、84行目のour $cgi0=CGI->lnew;)に関係しているかもしれません。
 
 早急に不具合の原因を探して、来週月曜日1月28日の19:00までに、修正案を提示したいと思います。
 
 よろしくお願いします。
 
 
(ご参考) 
《オリジナルの>>2のローカル環境での実行例》
 
$ cat gt_lost.html
<img src= あ、書き忘れたよ
$ perl chkmsg.pl gt_lost.html<!DOCTYPE html><html><head><title>HTML Message Input Error</title><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body><h1>Error 227</h1><pre><strong><font color="red"></font></strong></pre><p>タグの左端の記号 < と、タグの右端の記号 > の個数が一致しません。</p></body></html>
<!-- Message Rejected -->
$
 
7. 新共産主義クラブ[-10081] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月25日 18:04:51 : jbxREWDWhM : zFW30rj2UZ0[4] 報告
>>5. 管理人さん
>if($ack){
>#OKなので何もしない
 
 chgmsg から、$ack に 「真」の返り値が返された場合でも、ユーザが入力した元々のメッセージよりも、chgmsg からの $reply を受け取って、これをウェブサーバからの出力に反映していただいた方が良いと思います。
 
 プログラム作成の上で基準としているウェブブラウザのFirefox では、コメントの開始記号 <!-- や、開始タグの左端 (たとえば、<font)で、最初の <と次の文字や記号との間に、空白を入れた場合には、正常に表示されませんが、chgmsg では、この空白を除去し、!-- や タグ名の右側に挿入する修正を施しています。
 
 chgmsg は、いわば「字句解析レベルでの誤りには寛容であってユーザの誤りの修正を手伝い、構文解析・意味解析レベルでの不適合性には大変厳しい」というポリシーの下で作成されています。
 
8. 日高見連邦共和国[11958] k_qNgoypmEGWTYukmGGNkQ 2019年1月26日 13:42:39 : WFhb7Bc3Sq : trUKTN7k5mc[1] 報告
はいはい、お疲れさん。(←皮肉)
9. 新共産主義クラブ[-10134] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月26日 17:42:37 : nt8wuEpYlA : Kbinfs2oM@w[5] 報告

「管理人さん」さんからいただいたモジュール化された「chkmsg.pl」、およびこのモジュールを require し、サブルーチン「chkmsg」呼び出して用いるPerlのスクリプト「require_chkmsg.pl」を作成し、タグを閉じ忘れているメッセージが書き込まれているHTMLファイル「gt_missed.html」「gt_lost.html」に対してのチェックを実行させてみました。
その結果、モジュール化されていない最初のバージョン(>>2)の「chkmsg.pl」の場合と同様に、プログラム作成時の意図どおりに、「タグの左端の記号 < と、タグの右端の記号 > の個数が一致しません。」というエラーメッセージが表示されました。
「管理人さん」さんが asyura2 サーバのスクリプトに組み込んで実行させた場合の現象が、こちらのテスト環境で再現できていません。

asyura2 と、こちらのテスト環境との実行結果の違いには、>>6 で述べたような、モジュール化(パッケージ化)、グローバル変数、CGIオブジェクトの生成に関するPerlスクリプトの問題だけでなく、Perlのバージョンの違いや、日本語の文字コードの違い(UTF-8とシフトJIS(cp932))、OS の違いも関係しているのではないかと考えてみます。
引き続き、こちらのテスト環境で、「chkmsg」をWebサーバ上のCGIスクリプトと組み込んだ場合の動作、Perl5をバージョン・ダウンした場合の動作などを確認していきます。

可能であれば、「管理人さん」さんの方でも、(『阿修羅掲示板』のWebサービスを止めずに)CGIスクリプトとしてではなくて、asyura2 サーバのコマンドライン上で、上記のようなメッセージが書き込まれているHTMLファイルに対してのchkmsgの動作も確認していただけましたら、Perlのバージョンの違いや、日本語の文字コードの違い(UTF-8とシフトJIS(cp932))など、動作結果の違いの原因が早急に特定されるのではないかと思っております。

よろしくお願い申し上げます。


《「管理人さん」さんがモジュール化した「chkmsg.pl」(>>5)を呼び出して使用するスクリプト「require_chkmsg.pl」のローカル環境での実行例》

hoge@fuga:~/chkmsgテスト$ cat gt_lost.html
<img src= あ、書き忘れたよ
hoge@fuga:~/chkmsgテスト$ cat gt_missed.html
<img src=" タグを閉じ忘れた
hoge@fuga:~/chkmsgテスト$ cat require_chkmsg.pl
require "chkmsg.pl";
# use chkmsg;

# main program (sample)
#
# Usage:
#   perl require_chkmsg.pl 'message_file.html'
#
my $argc=@ARGV;
my $input_file;
if($argc > 0){
  $input_file = $ARGV[0];
}else{
  print "chkmsg.pl\nUsage:\n\tperl chkmsg.pl 'message_file.html'\n";
  exit;
}
open my $fh, '<', $input_file or die $!;
my $msg = do { local $/ = undef; <$fh>; };
my ($ack, $reply) = chkmsg::chkmsg($msg);

if($ack){
  print "$reply\n";
  print "<!-- Message Accepted -->\n";
}else{  
  print "$reply\n";
  print "<!-- Message Rejected -->\n";
}
# end of main program

hoge@fuga:~/chkmsgテスト$ perl require_chkmsg.pl gt_missed.html | nkf
<!DOCTYPE html><html><head><title>HTML Message Input Error</title><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body><h1>Error 226</h1><pre><strong><font color="red"></font></strong></pre><p>タグの左端の記号 &lt; と、タグの右端の記号 &gt; の個数が一致しません。</p></body></html>
<!-- Message Rejected -->
hoge@fuga:~/chkmsgテスト$ perl require_chkmsg.pl gt_lost.html | nkf
<!DOCTYPE html><html><head><title>HTML Message Input Error</title><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body><h1>Error 226</h1><pre><strong><font color="red"></font></strong></pre><p>タグの左端の記号 &lt; と、タグの右端の記号 &gt; の個数が一致しません。</p></body></html>
<!-- Message Rejected -->
hoge@fuga:~/chkmsgテスト$ perl -v

This is perl 5, version 26, subversion 1 (v5.26.1) built for x86_64-linux-gnu-thread-multi
(with 67 registered patches, see perl -V for more detail)

Copyright 1987-2017, Larry Wall

Perl may be copied only under the terms of either the Artistic License or the
GNU General Public License, which may be found in the Perl 5 source kit.

Complete documentation for Perl, including FAQ lists, should be found on
this system using "man perl" or "perldoc perl".  If you have access to the
Internet, point your browser at http://www.perl.org/, the Perl Home Page.

hoge@fuga:~/chkmsgテスト$ 
10. 管理人さん[2338] iseXnZBsgrOC8Q 2019年1月26日 19:16:33 : goJCZio63dQ[834] 報告
了解です。

まず現状動作している阿修羅掲示板の投稿システムとコメントシステム、そしてすべてのhtmlはs-jisです。

なんでs-jisなのかは、最初に作ったときにs-jisにしたからで、今となっては不便な文字コードなのかも、と思ったりすることもありますが、作り直すスキルもないし、まぁまぁ普通に動いているので今のところは変更予定はありません。

11. 新共産主義クラブ[-10173] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月28日 19:08:46 : mefYMQXw6I : MYRoq_Y01Wc[1] 報告
 
 当方での現状のデバッグ状況を報告します。
 
(1)Webサーバ上での動作の検証のため、localhost 上の cgi のプログラムに、モジュール化した chkmsg を組み込んで、入力フォームからメッセージを POST させてみました。
 
 現在のところは、スクリプト、ウェブブラウザで用いる文字コードは、すべて UTF-8 に統一して試しています。
 
 現在確認している範囲では、(2)で述べる不具合を除き、モジュール化した chkmsg による入力メッセージのチェック機能は働いているようですが、 chkmsg で発生させる入力エラーの日本語の表示が、文字化けしています。
 
 現在、Encode というモジュールを用いて、文字化けを抑えることに取り組んでいます。
 
(2)コマンドライン上のchkmsgでも、cgiに組み込んだchkmsgでも <h1> 〜 <h6> のタグを使えるように、>>2の42行目から47行目で設定したにもかかわらず、「開始タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。」というエラーが表示されます。
 
 これは、>>2 の257行目で、タグ名をアルファベットだけの文字列だけに限定してしまっていることが原因と考えられます。
 
12. 管理人さん[2340] iseXnZBsgrOC8Q 2019年1月28日 22:49:15 : goJCZio63dQ[836] 報告
> 現在のところは、スクリプト、ウェブブラウザで用いる文字コードは、すべて UTF-8 に統一して試しています。

ということですが、S-JISに統一していただいて、それで動いたら、chkmsg.pl をお送りいただいて、それで当方でテストするというのを希望してみます。

13. 新共産主義クラブ[-10175] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月29日 13:35:30 : R9jKbMTLoc : QsNi7B40oT8[2] 報告
>>12 「管理人さん」さん
>S-JISに統一していただいて、
 
 
 そのつもりでおります。
 
  UTF-8 での文字化けについては、解決しました。
 
 ウェブブラウザとCGIプログラムとの通信に Shift_JIS を使うように変更することは難しくないと思います。
 
 CGIのスクリプト自身も、 Shift_JIS のテキストに変更することは、Perl のバージョンが、こちらの環境で使っているような(>>9 のコマンドライン出力参照)、perl 5, version 26 以降の場合は、少し面倒なようです。
 
 下記の記事を参考にして、CGIプのスクリプト自身も Shift_JIS にしてみようと思います。
 
 
>それで動いたら、chkmsg.pl をお送りいただいて、
 
 こちらで提供するモジュール化された chkmsg のファイル名(モジュール名)は、サブルーチン名の「chkmsg」と区別するために、先頭の一文字だけを大文字にした「Chkmsg.pm」にしようと考えています。 
 
 >>11の(2)のバグ修正とともに、>>2の252行目から301行目の「analyze tag」のアルゴリズムも少し手直しをして(現在は属性名と属性値を正規表現マッチで同時に読み取っているが、先に属性名を読み取り、エラーが無ければ、その後に属性値を読み取るように修正)、新しいモジュールの「Chkmsg.pm」と、それを呼び出すCGIと、メッセージの入力フォームのサンプルプログラムを、明日、1月30日 19:00までに提供したいと思います。
 
 
◆ Perl Hackers Hub 第46回 Perl 5.26で変わること(2)(石垣憲一 著,牧大輔,松木雅幸,大沢和宏 監修)
(技術評論社「DEVELOPER STAGE」,2017年12月19日)
 
 《encodingプラグマの仕様変更とその対策》
 
 Perl 5.26には,ほかにも古いバージョンのPerlからアップグレードするとエラーになる変更がいくつかあります。encodingプラグマの仕様変更もその一つです。

 従来はencodingプラグマにエンコーディングを渡しておけば,UTF-8以外の文字コードで書かれたモジュールやライブラリでも適切にPerlの内部表現に変換されていました。
 
 この挙動はPerl 5.22で廃止対象となり警告が出ていたのですが,Perl 5.26ではエラーに変わりました。

 ただし,5.26でも次のようにFilterオプションを使えば,Perlに内蔵されているソースフィルタ機能を使って同等のことを実現できます。
 
  use encoding "cp932", Filter => 1;
 
http://gihyo.jp/dev/serial/01/perl-hackers-hub/004602
 

14. 新共産主義クラブ[-10174] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月29日 13:46:14 : oItalSv6Og : @tyaen7PoPY[1] 報告
>>13(訂正)
 
 下記の記事を参考にして、CGIのスクリプト自身も Shift_JIS にしてみようと思います。
 
15. 新共産主義クラブ[-10183] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月30日 18:16:54 : FxhG1Vvojy : OU8eXBtFagI[8] 報告
perl 5, version 26, subversion 1 (v5.26.1) で動作を確認した、Shift_JIS用のモジュール「Chkmsg.pm version 0.21」を公開します。
0001: package Chkmsg;
0002: # Chkmsg.pm version 0.21 : This program checks the validity of the HTML data entered by users to ensure the security and the stability of Bulletin Board Systems.
0003: #
0004: # Jan. 16, 2019 - Jan. 30, 2019. New Communist Club
0005: #
0006: # This software is released both under the MIT license and under the CC0 1.0.
0007: #
0008: # Copyright (c) 2019 New Communist Club
0009: # Released under the MIT license
0010: # https://opensource.org/licenses/mit-license.php
0011: #
0012: # CC0 1.0 Universal
0013: # https://creativecommons.org/publicdomain/zero/1.0/legalcode.ja
0014: #
0015: #
0016: use strict;
0017: use warnings;
0018: use Encode;
0019:
0020: # global variables
0021: our $charset = 'Shift_JIS';
0022: our $encoding = 'shiftjis';
0023: # our $charset = 'utf-8';
0024: # our $encoding = 'utf8';
0025:
0026: our $error_description_filename = "/etc/perl/error_description.txt";
0027:
0028: our @valid_script_tag=(
0029: #'<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>', # As is.
0030: '<script async src="https:\\/\\/platform\\.twitter\\.com\\/widgets\\.js" charset="utf-8"><\\/script>', # RegExp
0031: );
0032:
0033: our @valid_iframe_src_uri=(
0034: "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[\\w]{11}\$" # same as "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[_a-zA-Z0-9]{11}\$"
0035: );
0036:
0037: our %valid_single_tag_elements=(
0038: br=>1,
0039: img=>1
0040: );
0041:
0042: our %valid_paired_tags_elements=(
0043: iframe=>2,
0044: div=>2,
0045: span=>2,
0046: h1=>2,
0047: h2=>2,
0048: h3=>2,
0049: h4=>2,
0050: h5=>2,
0051: h6=>2,
0052: p=>2,
0053: pre=>2,
0054: blockquote=>2,
0055: q=>2,
0056: cite=>2,
0057: dfn=>2,
0058: em=>2,
0059: strong=>2,
0060: sup=>2,
0061: sub=>2,
0062: code=>2,
0063: kbd=>2,
0064: samp=>2,
0065: var=>2,
0066: abbr=>2,
0067: acronym=>2,
0068: ins=>2,
0069: del=>2,
0070: bdo=>2,
0071: font=>2,
0072: big=>2,
0073: small=>2,
0074: b=>2,
0075: i=>2,
0076: tt=>2,
0077: strike=>2,
0078: s=>2,
0079: u=>2,
0080: ul=>2,
0081: ol=>2,
0082: li=>2,
0083: a=>2,
0084: );
0085:
0086: our $true = (1==1);
0087: our $false = ! $true;
0088: # end of global variables
0089:
0090: # sub chkmsg
0091: # args: string $usrmsg
0092: # returns: (boolean $ack, string $reply)
0093: # if $usrmsg is well-fored HTML message, sub chkmsg returns array ($ack = $true, $reply = corrected user's HTML message).
0094: # if $usrmsg is non-well-formed HTML message, sub chkmsg returns array ($ack = $false, $reply = error message).
0095: sub chkmsg {
0096:
0097: my ($usrmsg) = @_;
0098:
0099: my $usrmsg_r1=$usrmsg;
0100:
0101: $usrmsg_r1 =~ s/<(\s*)!(\s*)-(\s*)-/"<!--" . margin($1.$2.$3)/eg;
0102: $usrmsg_r1 =~ s/-(\s*)-(\s*)>/margin($1.$2) . "-->"/eg;
0103:
0104: my $usrmsg_r1_len=length($usrmsg_r1);
0105:
0106: my @cmt_lt_ary;
0107: my @cmt_gt_ary;
0108: my $p=0;
0109: while($p<$usrmsg_r1_len){
0110: $p=index $usrmsg_r1, "<!--", $p;
0111: if($p<0){
0112: last;
0113: }
0114: push @cmt_lt_ary, $p;
0115: $p+=4;
0116: }
0117:
0118: $p=0;
0119: while($p<$usrmsg_r1_len){
0120: $p=index $usrmsg_r1, "-->", $p;
0121: if($p<0){
0122: last;
0123: }
0124: push @cmt_gt_ary, $p+2;
0125: $p+=3;
0126: }
0127:
0128: my $cmt_lt_ary_sz=@cmt_lt_ary;
0129: my $cmt_gt_ary_sz=@cmt_gt_ary;
0130:
0131: if($cmt_lt_ary_sz != $cmt_gt_ary_sz){
0132: return ($false, errmsg(10, __LINE__, ""));
0133: }
0134:
0135: my $num_cmt=$cmt_lt_ary_sz;
0136:
0137: if($num_cmt>=1){
0138: if($num_cmt==1){
0139: if($cmt_lt_ary[0]>=$cmt_gt_ary[0]){
0140: return ($false, errmsg(20, __LINE__, ""));
0141: }
0142: }else{
0143: for(my $i=0; $i<$num_cmt-1; $i++){
0144: if($cmt_lt_ary[$i]>=$cmt_gt_ary[$i]){
0145: return ($false, errmsg(30, __LINE__, ""));
0146: }
0147: if($cmt_gt_ary[$i]>=$cmt_lt_ary[$i+1]){
0148: return ($false, errmsg(40, __LINE__, ""));
0149: }
0150: }
0151: if($cmt_lt_ary[$num_cmt-1]>=$cmt_gt_ary[$num_cmt-1]){
0152: return ($false, errmsg(50, __LINE__, ""));
0153: }
0154: }
0155: }
0156:
0157: # comments are replaced by white spaces
0158: my $usrmsg_r2=$usrmsg_r1;
0159:
0160: for(my $i=0; $i<$num_cmt; $i++){
0161: my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
0162: substr($usrmsg_r2, $cmt_lt_ary[$i], $n, space($n));
0163: }
0164:
0165: # correct left end of the tag
0166: $usrmsg_r2 =~ s/<(\s*)([a-zA-Z]+)/"<" . $2 . margin($1)/eg;
0167: $usrmsg_r2 =~ s/<(\s*)\/(\s*)([a-zA-Z]+)/"<\/" . $3 . margin($1 . $2)/eg;
0168:
0169: # correct right end of the single tag
0170: $usrmsg_r2 =~ s/\/(\s*)>/margin($1) . "\/>"/eg;
0171: # "
0172:
0173: # make tag start and end position array, lt_ary, gt_ary
0174: my $usrmsg_r2_len=length($usrmsg_r2);
0175: my @lt_ary;
0176: my @gt_ary;
0177:
0178: $p=0;
0179: while($p<$usrmsg_r2_len){
0180: $p=index $usrmsg_r2, "<", $p;
0181: if($p<0){
0182: last;
0183: }
0184: push @lt_ary, $p;
0185: $p++;
0186: }
0187:
0188: $p=0;
0189: while($p<$usrmsg_r2_len){
0190: $p=index $usrmsg_r2, ">", $p;
0191: if($p<0){
0192: last;
0193: }
0194: push @gt_ary, $p;
0195: $p++;
0196: }
0197:
0198: my $lt_ary_sz=@lt_ary;
0199: my $gt_ary_sz=@gt_ary;
0200:
0201: if($lt_ary_sz != $gt_ary_sz){
0202: return ($false, errmsg(60, __LINE__, ""));
0203: }
0204:
0205: my $num_tag=$lt_ary_sz;
0206:
0207: if($num_tag>=1){
0208: if($num_tag==1){
0209: if($lt_ary[0]>=$gt_ary[0]){
0210: return ($false, errmsg(70, __LINE__, ""));
0211: }
0212: }else{
0213: for(my $i=0; $i<$num_tag-1; $i++){
0214: if($lt_ary[$i]>=$gt_ary[$i]){
0215: return ($false, errmsg(80, __LINE__, ""));
0216: }
0217: if($gt_ary[$i]>=$lt_ary[$i+1]){
0218: return ($false, errmsg(90, __LINE__, ""));
0219: }
0220: }
0221: if($lt_ary[$num_cmt-1]>=$gt_ary[$num_cmt-1]){
0222: return ($false, errmsg(100, __LINE__, ""));
0223: }
0224: }
0225: }
0226:
0227: # analyze tag
0228: my @paired_tags_name_ary;
0229: my @paired_tags_type_ary;
0230: for(my $i=0; $i < $num_tag; $i++){
0231: my $tag = substr($usrmsg_r2, $lt_ary[$i], $gt_ary[$i]-$lt_ary[$i]+1);
0232: if( $tag =~ /^<(h[1-6]{1}|[a-z]+)/i){
0233: my $tag_name = lc($1);
0234: my $l1=exists $valid_single_tag_elements{$tag_name};
0235: my $l2=exists $valid_paired_tags_elements{$tag_name};
0236: my $l3=$tag_name eq "script";
0237:
0238: if($l2){
0239: push(@paired_tags_name_ary, $tag_name);
0240: push(@paired_tags_type_ary, "StartTag");
0241: }
0242:
0243: if($l1||$l2){
0244: my $str = substr($tag, length($tag_name)+1);
0245: my ($ack, $reply)=analyze_attr_val($str, $tag_name);
0246: if(!$ack){
0247: return ($false, $reply);
0248: }
0249: }elsif($l3){
0250: my $str=substr($usrmsg_r2, $lt_ary[$i], $gt_ary[$i]+length("</script>")-$lt_ary[$i]+1);
0251: # if($str ne $valid_script_tag[0]){
0252: # return ($false, errmsg(120, __LINE__, $str));
0253: # }
0254: if(!chk_script_tag($str)){
0255: return ($false, errmsg(120, __LINE__, $str));
0256: }
0257: push(@paired_tags_name_ary, $tag_name);
0258: push(@paired_tags_type_ary, "StartTag");
0259: }else{
0260: return ($false, errmsg(130, __LINE__, $tag_name));
0261: }
0262: }elsif($tag =~ /^<\/(h[1-6]{1}|[a-z]+)\s*/i){
0263: my $tag_name=lc($1);
0264: if(exists $valid_paired_tags_elements{$tag_name}){
0265: push(@paired_tags_name_ary, $tag_name);
0266: push(@paired_tags_type_ary, "EndTag");
0267: }elsif($tag_name eq "script"){
0268: push(@paired_tags_name_ary, $tag_name);
0269: push(@paired_tags_type_ary, "EndTag");
0270: }else{
0271: return ($false, errmsg(140, __LINE__, $tag_name));
0272: }
0273: }else{
0274: return ($false, errmsg(150, __LINE__, $tag)); # !StartTag && !EndTag
0275: }
0276: }
0277:
0278: # Check Pairing and Nesting of StartTags and EndTags
0279: my @tag_name_stack;
0280: my @tag_type_stack;
0281:
0282: my $ary_sz=@paired_tags_type_ary;
0283: my $stack_sz;
0284:
0285: for(my $i=0; $i<$ary_sz; $i++){
0286: if($paired_tags_type_ary[$i] eq "StartTag"){
0287: push @tag_name_stack, $paired_tags_name_ary[$i];
0288: push @tag_type_stack, $paired_tags_type_ary[$i];
0289: }else{ # $paired_tags_type_ary[$i] eq "EndTag";
0290: $stack_sz=@tag_type_stack;
0291: if($stack_sz>0){
0292: my $toptag_type=pop @tag_type_stack;
0293: my $toptag_name=pop @tag_name_stack;
0294: if($toptag_type ne "StartTag"){
0295: return ($false, errmsg(160, __LINE__, ""));
0296: }
0297: if($toptag_name ne $paired_tags_name_ary[$i]){
0298: return ($false, errmsg(170, __LINE__, ""));
0299: }
0300: }else{
0301: return ($false, errmsg(180, __LINE__, ""));
0302: }
0303: }
0304: }
0305:
0306: $stack_sz=@tag_type_stack;
0307: if($stack_sz > 0){
0308: return ($false, errmsg(190, __LINE__, ""));
0309: }
0310: # End of Check Pairing and Nesting of StartTags and EndTags
0311:
0312:
0313: # comment retrieve
0314: for(my $i=0; $i<$num_cmt; $i++){
0315: my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
0316: substr($usrmsg_r2, $cmt_lt_ary[$i], $n, substr($usrmsg_r1, $cmt_lt_ary[$i], $n));
0317: }
0318:
0319: my $usrmsg_r3;
0320: my $in_tag=$false;
0321: # my $usrmsg_r2_len = length($usrmsg_r2);
0322: my $c;
0323:
0324: # HTML escape in Content
0325: for(my $p=0; $p<$usrmsg_r2_len; $p++){
0326: $c=substr($usrmsg_r2, $p, 1);
0327: if($c eq "<"){
0328: $usrmsg_r3 .= "<";
0329: $in_tag=$true;
0330: next;
0331: }elsif($c eq ">"){
0332: $usrmsg_r3 .= ">";
0333: $in_tag=$false;
0334: next;
0335: }elsif($c eq "&"){
0336: if($in_tag){
0337: $usrmsg_r3 .= "&";
0338: next;
0339: }else{
0340: if(chk_char_entity_ref_num_char_ref($usrmsg_r2, $p)){
0341: $usrmsg_r3 .= "&";
0342: next;
0343: }else{
0344: $usrmsg_r3 .= escape_html_char("&");
0345: next;
0346: }
0347: }
0348: }else{
0349: if($in_tag){
0350: $usrmsg_r3 .= $c;
0351: next;
0352: }else{
0353: $usrmsg_r3 .= escape_html_char($c);
0354: next;
0355: }
0356: }
0357: }
0358:
0359: return ($true, $usrmsg_r3);
0360: }
0361: # end of sub chkmsg
0362:
0363: # sub margin: replace \t -> space, \n -> space, space -> space
0364: sub margin {
0365: my ($str) = @_;
0366: $str =~ s/\s/ /g;
0367: return $str;
0368: }
0369: # end of sub margin
0370:
0371:
0372: # sub space: returns n spaces string
0373: sub space {
0374: my ($n) = @_;
0375: my $str;
0376: for(my $i=0; $i<$n; $i++){
0377: $str .= " ";
0378: }
0379: return $str;
0380: }
0381: # end of sub space
0382:
0383:
0384: # sub escape_html_char: returns character entity references for " & ' < >
0385: sub escape_html_char {
0386: my ($c) = @_;
0387: if($c eq '"'){
0388: return "&quot;";
0389: }elsif($c eq "&"){
0390: return "&amp;";
0391: }elsif($c eq "'"){
0392: return "&apos;";
0393: }elsif($c eq "<"){
0394: return "&lt;";
0395: }elsif($c eq ">"){
0396: return "&gt;";
0397: }else{
0398: return $c;
0399: }
0400: }
0401: # end of sub escape_html_char
0402:
0403:
0404: # sub escape_html: " & ' < > in the string are replaced by character entity references
0405: sub escape_html {
0406: my ($str) = @_;
0407: my $str_len=length($str);
0408: my $str1="";
0409: for(my $p=0; $p<$str_len; $p++){
0410: my $c=substr($str, $p, 1);
0411: $str1 .= escape_html_char($c);
0412: }
0413: return $str1;
0414: }
0415: # end of sub escape_html
0416:
0417:
0418: # sub analyze_attr_val: analyze attributes and values in a tag
0419: sub analyze_attr_val {
0420: my ($str, $tag_name) = @_;
0421: while(length($str)>0){
0422: my $attribute;
0423: my $value;
0424: my $p;
0425: my $l1=$false;
0426: my $l2=$false;
0427: if($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\"(\s*)([^<>]*)(\s*)\"/i){
0428: $attribute=lc($2);
0429: $value=$5;
0430: $p=length($1.$2.$3.$4.$5.$6)+2;
0431: $l1=$true;
0432: }elsif($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\'(\s*)([^<>]*)(\s*)\'/i){
0433: $attribute=lc($2);
0434: $value=$5;
0435: $p=length($1.$2.$3.$4.$5.$6)+2;
0436: $l2=$true;
0437: }else{
0438: ;
0439: }
0440: if( $l1 || $l2 ){
0441: if(substr($attribute, 0, 2) eq "on"){
0442: return ($false, errmsg(230,__LINE__,$str));
0443: }
0444: if($attribute eq "srcdoc"){
0445: return ($false, errmsg(240,__LINE__,$str));
0446: }
0447: if($tag_name eq "iframe" && $attribute eq "src"){
0448: if(!chk_iframe_src($value)){
0449: return ($false, errmsg(250,__LINE__,$str));
0450: }
0451: }
0452: if($attribute eq "href"){
0453: if($value =~ /^https?:\/\//){
0454: ;
0455: }else{
0456: return ($false, errmsg(260,__LINE__,$str));
0457: }
0458: }
0459: $str=substr($str, $p);
0460: next;
0461: }elsif($str =~ /\s*>/){
0462: last;
0463: }elsif($str =~ /\s*\/\s*>/ && exists $valid_single_tag_elements{$tag_name}){
0464: last;
0465: }else{
0466: return ($false, errmsg(270,__LINE__,$str));
0467: }
0468: }
0469: return ($true,"");
0470: }
0471: # end of sub analyze_attr_val
0472:
0473:
0474: # sub chk_script_tag: check paired script tags
0475: sub chk_script_tag {
0476:
0477: my ($script_tag) = @_;
0478:
0479: my $allowed=$false;
0480: my $sz=@valid_script_tag;
0481: for(my $j=0; $j<$sz; $j++){
0482: if($script_tag =~ /$valid_script_tag[$j]/ ){
0483: $allowed=$true;
0484: last;
0485: }
0486: }
0487: return $allowed;
0488: }
0489: # end of sub chk_script_tag
0490:
0491:
0492: # sub chk_iframe_src: check value of src in iframe tag
0493: sub chk_iframe_src {
0494:
0495: my ($value) = @_;
0496:
0497: my $allowed_src=$false;
0498: my $sz=@valid_iframe_src_uri;
0499: for(my $j=0; $j<$sz; $j++){
0500: if($value =~ /$valid_iframe_src_uri[$j]/ ){
0501: $allowed_src=$true;
0502: last;
0503: }
0504: }
0505: return $allowed_src;
0506: }
0507: # end of sub chk_iframe_src
0508:
0509:
0510: # sub chk_char_entity_ref_num_char_ref: check if "&" refer to character entity reference or numeric character reference
0511: sub chk_char_entity_ref_num_char_ref {
0512:
0513: my ($msg, $p) = @_;
0514:
0515: my %character_entity_references=(
0516: nbsp => 0, iexcl => 0, cent => 0, pound => 0, curren => 0,
0517: yen => 0, brvbar => 0, sect => 0, uml => 0, copy => 0,
0518: ordf => 0, laquo => 0, not => 0, shy => 0, reg => 0,
0519: macr => 0, deg => 0, plusmn => 0, sup => 0, sup => 0,
0520: acute => 0, micro => 0, para => 0, middot => 0, cedil => 0,
0521: sup => 0, ordm => 0, raquo => 0, frac => 0, frac => 0,
0522: frac => 0, iquest => 0, Agrave => 0, Aacute => 0, Acirc => 0,
0523: Atilde => 0, Auml => 0, Aring => 0, AElig => 0, Ccedil => 0,
0524: Egrave => 0, Eacute => 0, Ecirc => 0, Euml => 0, Igrave => 0,
0525: Iacute => 0, Icirc => 0, Iuml => 0, ETH => 0, Ntilde => 0,
0526: Ograve => 0, Oacute => 0, Ocirc => 0, Otilde => 0, Ouml => 0,
0527: times => 0, Oslash => 0, Ugrave => 0, Uacute => 0, Ucirc => 0,
0528: Uuml => 0, Yacute => 0, THORN => 0, szlig => 0, agrave => 0,
0529: aacute => 0, acirc => 0, atilde => 0, auml => 0, aring => 0,
0530: aelig => 0, ccedil => 0, egrave => 0, eacute => 0, ecirc => 0,
0531: euml => 0, igrave => 0, iacute => 0, icirc => 0, iuml => 0,
0532: eth => 0, ntilde => 0, ograve => 0, oacute => 0, ocirc => 0,
0533: otilde => 0, ouml => 0, divide => 0, oslash => 0, ugrave => 0,
0534: uacute => 0, ucirc => 0, uuml => 0, yacute => 0, thorn => 0,
0535: yuml => 0, fnof => 0, Alpha => 0, Beta => 0, Gamma => 0,
0536: Delta => 0, Epsilon => 0, Zeta => 0, Eta => 0, Theta => 0,
0537: Iota => 0, Kappa => 0, Lambda => 0, Mu => 0, Nu => 0,
0538: Xi => 0, Omicron => 0, Pi => 0, Rho => 0, Sigma => 0,
0539: Tau => 0, Upsilon => 0, Phi => 0, Chi => 0, Psi => 0,
0540: Omega => 0, alpha => 0, beta => 0, gamma => 0, delta => 0,
0541: epsilon => 0, zeta => 0, eta => 0, theta => 0, iota => 0,
0542: kappa => 0, lambda => 0, mu => 0, nu => 0, xi => 0,
0543: omicron => 0, pi => 0, rho => 0, sigmaf => 0, sigma => 0,
0544: tau => 0, upsilon => 0, phi => 0, chi => 0, psi => 0,
0545: omega => 0, thetasym => 0, upsih => 0, piv => 0, bull => 0,
0546: hellip => 0, prime => 0, Prime => 0, oline => 0, frasl => 0,
0547: weierp => 0, image => 0, real => 0, trade => 0, alefsym => 0,
0548: larr => 0, uarr => 0, rarr => 0, darr => 0, harr => 0,
0549: crarr => 0, lArr => 0, uArr => 0, rArr => 0, dArr => 0,
0550: hArr => 0, forall => 0, part => 0, exist => 0, empty => 0,
0551: nabla => 0, isin => 0, notin => 0, ni => 0, prod => 0,
0552: sum => 0, minus => 0, lowast => 0, radic => 0, prop => 0,
0553: infin => 0, ang => 0, and => 0, or => 0, cap => 0,
0554: cup => 0, int => 0, there => 0, sim => 0, cong => 0,
0555: asymp => 0, ne => 0, equiv => 0, le => 0, ge => 0,
0556: sub => 0, sup => 0, nsub => 0, sube => 0, supe => 0,
0557: oplus => 0, otimes => 0, perp => 0, sdot => 0, lceil => 0,
0558: rceil => 0, lfloor => 0, rfloor => 0, lang => 0, rang => 0,
0559: loz => 0, spades => 0, clubs => 0, hearts => 0, diams => 0,
0560: quot => 0, amp => 0, lt => 0, gt => 0, OElig => 0,
0561: oelig => 0, Scaron => 0, scaron => 0, Yuml => 0, circ => 0,
0562: tilde => 0, ensp => 0, emsp => 0, thinsp => 0, zwnj => 0,
0563: zwj => 0, lrm => 0, rlm => 0, ndash => 0, mdash => 0,
0564: lsquo => 0, rsquo => 0, sbquo => 0, ldquo => 0, rdquo => 0,
0565: bdquo => 0, dagger => 0, Dagger => 0, permil => 0, lsaquo => 0,
0566: rsaquo => 0, euro => 0
0567: );
0568: my $str=substr($msg, $p+1, 9);
0569: if ($str eq ""){
0570: return $false;
0571: }else{
0572: my $q=index($str, ";");
0573: if($q >=0){
0574: my $str1=substr($str, 0, $q);
0575: if(exists $character_entity_references{$str1}){ # character entity reference
0576: return $true;
0577: }elsif($str1 =~ /^#[0-9]+$/){ # decimal numeric character reference
0578: return $true;
0579: }elsif($str1 =~ /^#x[0-9a-f]+$/i){ # hexadecimal numeric character reference
0580: return $true;
0581: }else{
0582: return $false;
0583: }
0584: }else{
0585: return $false;
0586: }
0587: }
0588: }
0589: # end of sub chk_char_entity_ref_num_char_ref
0590:
0591:
0592: # sub errmsg: make error message in HTML
0593: sub errmsg {
0594: my ($errnum, $errline, $wrong_code) = @_;
0595:
0596: open my $fh, '<', $error_description_filename or die $!;
0597: my $text = do { local $/ = undef; <$fh>; };
0598: my @lines = split ( /\n/, $text);
0599: my %description;
0600: foreach my $line (@lines) {
0601: if($line ne ""){
0602: my @items = split( /\t/, $line);
0603: my $err_num = shift @items;
0604: my $err_txt = shift @items;
0605: $err_txt = Encode::decode($encoding, $err_txt);
0606: $description{$err_num} = $err_txt;
0607: }
0608: }
0609: my $error_title='<h1>' . 'Error ' . $errline . '</h1>';
0610: $wrong_code='<pre><strong><font color="red">' . escape_html($wrong_code) . '</font></strong></pre>';
0611: my $error_description= '<p>'. escape_html($description{$errnum}) . '</p>';
0612: my $errmsg_body = $error_title . $wrong_code . $error_description;
0613:
0614: return $errmsg_body;
0615: }
0616: # end of sub errmsg
0617:
0618: 1;
0619:
16. 新共産主義クラブ[-10182] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月30日 18:33:29 : 01JUjPKVpw : ER1zose2ZFY[183] 報告

上のChkmsg.pmを再掲します。


0001: package Chkmsg;
0002: # Chkmsg.pm version 0.21 : This program checks the validity of the HTML data entered by users to ensure the security and the stability of Bulletin Board Systems.
0003: #
0004: # Jan. 16, 2019 - Jan. 30, 2019. New Communist Club
0005: #
0006: # This software is released both under the MIT license and under the CC0 1.0.
0007: #
0008: # Copyright (c) 2019 New Communist Club
0009: # Released under the MIT license
0010: # https://opensource.org/licenses/mit-license.php
0011: #
0012: # CC0 1.0 Universal
0013: # https://creativecommons.org/publicdomain/zero/1.0/legalcode.ja
0014: #
0015: #
0016: use strict;
0017: use warnings;
0018: use Encode;
0019: 
0020: # global variables
0021: our $charset = 'Shift_JIS';
0022: our $encoding = 'shiftjis';
0023: # our $charset = 'utf-8';
0024: # our $encoding = 'utf8';
0025: 
0026: our $error_description_filename = "/etc/perl/error_description.txt";
0027:  
0028: our @valid_script_tag=(
0029:   #'<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>', # As is.
0030:   '<script async src="https:\\/\\/platform\\.twitter\\.com\\/widgets\\.js" charset="utf-8"><\\/script>', # RegExp
0031: );
0032: 
0033: our @valid_iframe_src_uri=(
0034:   "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[\\w]{11}\$" # same as "^https:\\/\\/www\\.youtube\\.com\\/embed\\/[_a-zA-Z0-9]{11}\$"
0035: );
0036: 
0037: our %valid_single_tag_elements=(
0038:   br=>1,
0039:   img=>1
0040: );
0041: 
0042: our %valid_paired_tags_elements=(
0043:   iframe=>2,
0044:   div=>2,
0045:   span=>2,
0046:   h1=>2,
0047:   h2=>2,
0048:   h3=>2,
0049:   h4=>2,
0050:   h5=>2,
0051:   h6=>2,
0052:   p=>2,
0053:   pre=>2,
0054:   blockquote=>2,
0055:   q=>2,
0056:   cite=>2,
0057:   dfn=>2,
0058:   em=>2,
0059:   strong=>2,
0060:   sup=>2,
0061:   sub=>2,
0062:   code=>2,
0063:   kbd=>2,
0064:   samp=>2,
0065:   var=>2,
0066:   abbr=>2,
0067:   acronym=>2,
0068:   ins=>2,
0069:   del=>2,
0070:   bdo=>2,
0071:   font=>2,
0072:   big=>2,
0073:   small=>2,
0074:   b=>2,
0075:   i=>2,
0076:   tt=>2,
0077:   strike=>2,
0078:   s=>2,
0079:   u=>2,
0080:   ul=>2,
0081:   ol=>2,
0082:   li=>2,
0083:   a=>2,
0084: );
0085: 
0086: our $true = (1==1);
0087: our $false = ! $true;
0088: # end of global variables 
0089: 
0090: # sub chkmsg
0091: # args: string $usrmsg
0092: # returns: (boolean $ack, string $reply)
0093: # if $usrmsg is well-fored HTML message, sub chkmsg returns array ($ack = $true, $reply = corrected user's HTML message).
0094: # if $usrmsg is non-well-formed HTML message, sub chkmsg returns array ($ack = $false, $reply = error message).
0095: sub chkmsg {
0096:   
0097:   my ($usrmsg) = @_;
0098:     
0099:   my $usrmsg_r1=$usrmsg;
0100: 
0101:   $usrmsg_r1 =~ s/<(\s*)!(\s*)-(\s*)-/"<!--" . margin($1.$2.$3)/eg;
0102:   $usrmsg_r1 =~ s/-(\s*)-(\s*)>/margin($1.$2) . "-->"/eg;
0103: 
0104:   my $usrmsg_r1_len=length($usrmsg_r1);
0105: 
0106:   my @cmt_lt_ary;
0107:   my @cmt_gt_ary;
0108:   my $p=0;
0109:   while($p<$usrmsg_r1_len){
0110:     $p=index $usrmsg_r1, "<!--", $p;
0111:     if($p<0){
0112:       last;
0113:     }
0114:     push @cmt_lt_ary, $p;
0115:     $p+=4;
0116:   }
0117: 
0118:   $p=0;
0119:   while($p<$usrmsg_r1_len){
0120:     $p=index $usrmsg_r1, "-->", $p;
0121:     if($p<0){
0122:       last;
0123:     }
0124:     push @cmt_gt_ary, $p+2;
0125:     $p+=3;
0126:   }
0127: 
0128:   my $cmt_lt_ary_sz=@cmt_lt_ary;
0129:   my $cmt_gt_ary_sz=@cmt_gt_ary; 
0130: 
0131:   if($cmt_lt_ary_sz != $cmt_gt_ary_sz){
0132:     return ($false, errmsg(10, __LINE__, ""));
0133:   }
0134: 
0135:   my $num_cmt=$cmt_lt_ary_sz;
0136: 
0137:   if($num_cmt>=1){
0138:     if($num_cmt==1){
0139:       if($cmt_lt_ary[0]>=$cmt_gt_ary[0]){
0140:         return ($false, errmsg(20, __LINE__, ""));
0141:       }
0142:     }else{
0143:       for(my $i=0; $i<$num_cmt-1; $i++){
0144:         if($cmt_lt_ary[$i]>=$cmt_gt_ary[$i]){
0145:           return ($false, errmsg(30, __LINE__, ""));
0146:         }
0147:         if($cmt_gt_ary[$i]>=$cmt_lt_ary[$i+1]){
0148:           return ($false, errmsg(40, __LINE__, ""));
0149:         }
0150:       }
0151:       if($cmt_lt_ary[$num_cmt-1]>=$cmt_gt_ary[$num_cmt-1]){
0152:         return ($false, errmsg(50, __LINE__, ""));
0153:       }
0154:     }
0155:   }
0156: 
0157:   # comments are replaced by white spaces
0158:   my $usrmsg_r2=$usrmsg_r1;
0159:    
0160:   for(my $i=0; $i<$num_cmt; $i++){
0161:     my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
0162:     substr($usrmsg_r2, $cmt_lt_ary[$i], $n, space($n));
0163:   }
0164: 
0165:   # correct left end of the tag 
0166:   $usrmsg_r2 =~ s/<(\s*)([a-zA-Z]+)/"<" . $2 . margin($1)/eg;
0167:   $usrmsg_r2 =~ s/<(\s*)\/(\s*)([a-zA-Z]+)/"<\/" . $3 . margin($1 . $2)/eg;
0168: 
0169:   # correct right end of the single tag
0170:   $usrmsg_r2 =~ s/\/(\s*)>/margin($1) . "\/>"/eg;
0171:   # "
0172: 
0173:   # make tag start and end position array, lt_ary, gt_ary   
0174:   my $usrmsg_r2_len=length($usrmsg_r2);
0175:   my @lt_ary;
0176:   my @gt_ary;
0177: 
0178:   $p=0;
0179:   while($p<$usrmsg_r2_len){
0180:     $p=index $usrmsg_r2, "<", $p;
0181:     if($p<0){
0182:       last;
0183:     }
0184:     push @lt_ary, $p;
0185:     $p++;
0186:   }
0187: 
0188:   $p=0;
0189:   while($p<$usrmsg_r2_len){
0190:     $p=index $usrmsg_r2, ">", $p;
0191:     if($p<0){
0192:       last;
0193:     }
0194:     push @gt_ary, $p;
0195:     $p++;
0196:   }
0197: 
0198:   my $lt_ary_sz=@lt_ary;
0199:   my $gt_ary_sz=@gt_ary; 
0200: 
0201:   if($lt_ary_sz != $gt_ary_sz){
0202:     return ($false, errmsg(60, __LINE__, ""));
0203:   }
0204: 
0205:   my $num_tag=$lt_ary_sz;
0206: 
0207:   if($num_tag>=1){
0208:     if($num_tag==1){
0209:       if($lt_ary[0]>=$gt_ary[0]){
0210:         return ($false, errmsg(70, __LINE__, ""));
0211:       }
0212:     }else{
0213:       for(my $i=0; $i<$num_tag-1; $i++){
0214:         if($lt_ary[$i]>=$gt_ary[$i]){
0215:           return ($false, errmsg(80, __LINE__, ""));
0216:         }
0217:         if($gt_ary[$i]>=$lt_ary[$i+1]){
0218:           return ($false, errmsg(90, __LINE__, ""));
0219:         }
0220:       }
0221:       if($lt_ary[$num_cmt-1]>=$gt_ary[$num_cmt-1]){
0222:         return ($false, errmsg(100, __LINE__, ""));
0223:       }
0224:     }
0225:   }
0226: 
0227:   # analyze tag
0228:   my @paired_tags_name_ary;
0229:   my @paired_tags_type_ary;
0230:   for(my $i=0; $i < $num_tag; $i++){
0231:     my $tag = substr($usrmsg_r2, $lt_ary[$i],  $gt_ary[$i]-$lt_ary[$i]+1);
0232:     if( $tag =~ /^<(h[1-6]{1}|[a-z]+)/i){
0233:       my $tag_name = lc($1);
0234:       my $l1=exists $valid_single_tag_elements{$tag_name};
0235:       my $l2=exists $valid_paired_tags_elements{$tag_name};
0236:       my $l3=$tag_name eq "script";
0237:       
0238:       if($l2){
0239:         push(@paired_tags_name_ary, $tag_name);
0240:         push(@paired_tags_type_ary, "StartTag");
0241:       }
0242:       
0243:       if($l1||$l2){
0244:         my $str = substr($tag, length($tag_name)+1);
0245:         my ($ack, $reply)=analyze_attr_val($str, $tag_name);
0246:         if(!$ack){
0247:           return ($false, $reply);
0248:         }
0249:       }elsif($l3){
0250:         my $str=substr($usrmsg_r2, $lt_ary[$i], $gt_ary[$i]+length("</script>")-$lt_ary[$i]+1);
0251: #        if($str ne $valid_script_tag[0]){
0252: #          return ($false, errmsg(120, __LINE__, $str));
0253: #        }
0254:         if(!chk_script_tag($str)){
0255:           return ($false, errmsg(120, __LINE__, $str));
0256:         }
0257:         push(@paired_tags_name_ary, $tag_name);
0258:         push(@paired_tags_type_ary, "StartTag");
0259:       }else{
0260:           return ($false, errmsg(130, __LINE__, $tag_name));
0261:       }
0262:     }elsif($tag =~ /^<\/(h[1-6]{1}|[a-z]+)\s*/i){
0263:       my $tag_name=lc($1);
0264:       if(exists $valid_paired_tags_elements{$tag_name}){
0265:         push(@paired_tags_name_ary, $tag_name);
0266:         push(@paired_tags_type_ary, "EndTag");
0267:       }elsif($tag_name eq "script"){
0268:         push(@paired_tags_name_ary, $tag_name);
0269:         push(@paired_tags_type_ary, "EndTag");
0270:       }else{
0271:           return ($false, errmsg(140, __LINE__, $tag_name));
0272:       }
0273:     }else{
0274:       return ($false, errmsg(150, __LINE__, $tag)); # !StartTag && !EndTag
0275:     }
0276:   }
0277: 
0278: # Check Pairing and Nesting of StartTags and EndTags
0279:   my @tag_name_stack;
0280:   my @tag_type_stack;
0281:   
0282:   my $ary_sz=@paired_tags_type_ary;
0283:   my $stack_sz;
0284:   
0285:   for(my $i=0; $i<$ary_sz; $i++){
0286:     if($paired_tags_type_ary[$i] eq "StartTag"){
0287:       push @tag_name_stack, $paired_tags_name_ary[$i];
0288:       push @tag_type_stack, $paired_tags_type_ary[$i];
0289:     }else{                           # $paired_tags_type_ary[$i] eq "EndTag";
0290:       $stack_sz=@tag_type_stack;
0291:       if($stack_sz>0){
0292:         my $toptag_type=pop @tag_type_stack;
0293:         my $toptag_name=pop @tag_name_stack;
0294:         if($toptag_type ne "StartTag"){
0295:           return ($false, errmsg(160, __LINE__, ""));
0296:         }
0297:         if($toptag_name ne $paired_tags_name_ary[$i]){
0298:           return ($false, errmsg(170, __LINE__, ""));
0299:         }
0300:       }else{
0301:         return ($false, errmsg(180, __LINE__, ""));
0302:       }
0303:     }
0304:   }
0305:   
0306:   $stack_sz=@tag_type_stack;
0307:   if($stack_sz > 0){
0308:     return ($false, errmsg(190, __LINE__, ""));
0309:   }
0310: # End of Check Pairing and Nesting of StartTags and EndTags
0311: 
0312: 
0313: # comment retrieve
0314:   for(my $i=0; $i<$num_cmt; $i++){
0315:     my $n=$cmt_gt_ary[$i]-$cmt_lt_ary[$i]+1;
0316:     substr($usrmsg_r2, $cmt_lt_ary[$i], $n, substr($usrmsg_r1, $cmt_lt_ary[$i], $n));
0317:   }
0318: 
0319:   my $usrmsg_r3;
0320:   my $in_tag=$false;
0321: #  my $usrmsg_r2_len = length($usrmsg_r2);
0322:   my $c;
0323: 
0324: # HTML escape in Content 
0325:   for(my $p=0; $p<$usrmsg_r2_len; $p++){
0326:     $c=substr($usrmsg_r2, $p, 1);
0327:     if($c eq "<"){
0328:       $usrmsg_r3 .= "<";
0329:       $in_tag=$true;
0330:       next;
0331:     }elsif($c eq ">"){
0332:       $usrmsg_r3 .= ">";
0333:       $in_tag=$false;
0334:       next;
0335:     }elsif($c eq "&"){
0336:       if($in_tag){
0337:         $usrmsg_r3 .= "&";
0338:         next;
0339:       }else{
0340:         if(chk_char_entity_ref_num_char_ref($usrmsg_r2, $p)){
0341:           $usrmsg_r3 .= "&";
0342:           next;
0343:         }else{
0344:           $usrmsg_r3 .= escape_html_char("&");
0345:           next;
0346:         }
0347:       }
0348:     }else{
0349:       if($in_tag){
0350:         $usrmsg_r3 .= $c;
0351:         next;
0352:       }else{
0353:         $usrmsg_r3 .= escape_html_char($c);
0354:         next;
0355:       }
0356:     }
0357:   }
0358: 
0359:   return ($true, $usrmsg_r3);
0360: }
0361: # end of sub chkmsg
0362: 
0363: # sub margin: replace \t -> space, \n -> space, space -> space
0364: sub margin {
0365:   my ($str) = @_;
0366:   $str =~ s/\s/ /g;
0367:   return $str;
0368: }
0369: # end of sub margin
0370: 
0371: 
0372: # sub space: returns n spaces string
0373: sub space {
0374:   my ($n) = @_;
0375:   my $str;
0376:   for(my $i=0; $i<$n; $i++){
0377:     $str .= " ";
0378:   }
0379:   return $str;
0380: }
0381: # end of sub space
0382: 
0383: 
0384: # sub escape_html_char: returns character entity references for " & ' < >  
0385: sub escape_html_char {
0386:   my ($c) = @_;
0387:   if($c eq '"'){
0388:     return "&quot;";
0389:   }elsif($c eq "&"){
0390:     return "&amp;";
0391:   }elsif($c eq "'"){
0392:     return "&apos;";
0393:   }elsif($c eq "<"){
0394:     return "&lt;";
0395:   }elsif($c eq ">"){
0396:     return "&gt;";
0397:   }else{
0398:     return $c;
0399:   }
0400: }
0401: # end of sub escape_html_char
0402: 
0403: 
0404: # sub escape_html: " & ' < >   in the string are replaced by character entity references
0405: sub escape_html {
0406:   my ($str) = @_;
0407:   my $str_len=length($str);
0408:   my $str1="";
0409:   for(my $p=0; $p<$str_len; $p++){
0410:     my $c=substr($str, $p, 1);
0411:     $str1 .= escape_html_char($c);
0412:   }
0413:   return $str1;
0414: }
0415: # end of sub escape_html
0416: 
0417: 
0418: # sub analyze_attr_val: analyze attributes and values in a tag
0419: sub analyze_attr_val {
0420:   my ($str, $tag_name) = @_;
0421:   while(length($str)>0){
0422:     my $attribute;
0423:     my $value;
0424:     my $p;
0425:     my $l1=$false;
0426:     my $l2=$false;
0427:     if($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\"(\s*)([^<>]*)(\s*)\"/i){
0428:       $attribute=lc($2);
0429:       $value=$5;
0430:       $p=length($1.$2.$3.$4.$5.$6)+2;
0431:       $l1=$true;
0432:     }elsif($str =~ /^(\s+)([a-zA-Z]+)(\s*=\s*)\'(\s*)([^<>]*)(\s*)\'/i){
0433:       $attribute=lc($2);
0434:       $value=$5;
0435:       $p=length($1.$2.$3.$4.$5.$6)+2;
0436:       $l2=$true;
0437:     }else{
0438:       ;
0439:     }
0440:     if( $l1 || $l2 ){
0441:       if(substr($attribute, 0, 2) eq "on"){
0442:         return ($false, errmsg(230,__LINE__,$str));
0443:       }
0444:       if($attribute eq "srcdoc"){
0445:         return ($false, errmsg(240,__LINE__,$str));
0446:       }
0447:       if($tag_name eq "iframe" && $attribute eq "src"){
0448:         if(!chk_iframe_src($value)){
0449:         return ($false, errmsg(250,__LINE__,$str));
0450:         }
0451:       }
0452:       if($attribute eq "href"){
0453:         if($value =~ /^https?:\/\//){
0454:           ;
0455:         }else{
0456:           return ($false, errmsg(260,__LINE__,$str));
0457:         }
0458:       }
0459:       $str=substr($str, $p);
0460:       next;
0461:     }elsif($str =~ /\s*>/){
0462:       last;
0463:     }elsif($str =~ /\s*\/\s*>/ && exists $valid_single_tag_elements{$tag_name}){   
0464:       last;
0465:     }else{
0466:       return ($false, errmsg(270,__LINE__,$str));
0467:     }
0468:   }
0469:   return ($true,"");
0470: }
0471: # end of sub analyze_attr_val
0472: 
0473: 
0474: # sub chk_script_tag: check paired script tags
0475: sub chk_script_tag {
0476: 
0477:   my ($script_tag) = @_;
0478:   
0479:   my $allowed=$false;
0480:   my $sz=@valid_script_tag;
0481:   for(my $j=0; $j<$sz; $j++){
0482:     if($script_tag =~ /$valid_script_tag[$j]/ ){
0483:       $allowed=$true;
0484:       last;
0485:     }
0486:   }
0487:   return $allowed;
0488: }
0489: # end of sub chk_script_tag
0490: 
0491: 
0492: # sub chk_iframe_src: check value of src in iframe tag 
0493: sub chk_iframe_src {
0494: 
0495:   my ($value) = @_;
0496:   
0497:   my $allowed_src=$false;
0498:   my $sz=@valid_iframe_src_uri;
0499:   for(my $j=0; $j<$sz; $j++){
0500:     if($value =~ /$valid_iframe_src_uri[$j]/ ){
0501:       $allowed_src=$true;
0502:       last;
0503:     }
0504:   }
0505:   return $allowed_src;
0506: }
0507: # end of sub chk_iframe_src
0508: 
0509: 
0510: # sub chk_char_entity_ref_num_char_ref: check if "&" refer to character entity reference or numeric character reference
0511: sub chk_char_entity_ref_num_char_ref  {
0512:  
0513:   my ($msg, $p) = @_;
0514:  
0515:   my %character_entity_references=(
0516:     nbsp => 0, iexcl => 0, cent => 0, pound => 0, curren => 0, 
0517:     yen => 0, brvbar => 0, sect => 0, uml => 0, copy => 0, 
0518:     ordf => 0, laquo => 0, not => 0, shy => 0, reg => 0, 
0519:     macr => 0, deg => 0, plusmn => 0, sup => 0, sup => 0, 
0520:     acute => 0, micro => 0, para => 0, middot => 0, cedil => 0, 
0521:     sup => 0, ordm => 0, raquo => 0, frac => 0, frac => 0, 
0522:     frac => 0, iquest => 0, Agrave => 0, Aacute => 0, Acirc => 0, 
0523:     Atilde => 0, Auml => 0, Aring => 0, AElig => 0, Ccedil => 0, 
0524:     Egrave => 0, Eacute => 0, Ecirc => 0, Euml => 0, Igrave => 0, 
0525:     Iacute => 0, Icirc => 0, Iuml => 0, ETH => 0, Ntilde => 0, 
0526:     Ograve => 0, Oacute => 0, Ocirc => 0, Otilde => 0, Ouml => 0, 
0527:     times => 0, Oslash => 0, Ugrave => 0, Uacute => 0, Ucirc => 0, 
0528:     Uuml => 0, Yacute => 0, THORN => 0, szlig => 0, agrave => 0, 
0529:     aacute => 0, acirc => 0, atilde => 0, auml => 0, aring => 0, 
0530:     aelig => 0, ccedil => 0, egrave => 0, eacute => 0, ecirc => 0, 
0531:     euml => 0, igrave => 0, iacute => 0, icirc => 0, iuml => 0, 
0532:     eth => 0, ntilde => 0, ograve => 0, oacute => 0, ocirc => 0, 
0533:     otilde => 0, ouml => 0, divide => 0, oslash => 0, ugrave => 0, 
0534:     uacute => 0, ucirc => 0, uuml => 0, yacute => 0, thorn => 0, 
0535:     yuml => 0, fnof => 0, Alpha => 0, Beta => 0, Gamma => 0, 
0536:     Delta => 0, Epsilon => 0, Zeta => 0, Eta => 0, Theta => 0, 
0537:     Iota => 0, Kappa => 0, Lambda => 0, Mu => 0, Nu => 0, 
0538:     Xi => 0, Omicron => 0, Pi => 0, Rho => 0, Sigma => 0, 
0539:     Tau => 0, Upsilon => 0, Phi => 0, Chi => 0, Psi => 0, 
0540:     Omega => 0, alpha => 0, beta => 0, gamma => 0, delta => 0, 
0541:     epsilon => 0, zeta => 0, eta => 0, theta => 0, iota => 0, 
0542:     kappa => 0, lambda => 0, mu => 0, nu => 0, xi => 0, 
0543:     omicron => 0, pi => 0, rho => 0, sigmaf => 0, sigma => 0, 
0544:     tau => 0, upsilon => 0, phi => 0, chi => 0, psi => 0, 
0545:     omega => 0, thetasym => 0, upsih => 0, piv => 0, bull => 0, 
0546:     hellip => 0, prime => 0, Prime => 0, oline => 0, frasl => 0, 
0547:     weierp => 0, image => 0, real => 0, trade => 0, alefsym => 0, 
0548:     larr => 0, uarr => 0, rarr => 0, darr => 0, harr => 0, 
0549:     crarr => 0, lArr => 0, uArr => 0, rArr => 0, dArr => 0, 
0550:     hArr => 0, forall => 0, part => 0, exist => 0, empty => 0, 
0551:     nabla => 0, isin => 0, notin => 0, ni => 0, prod => 0, 
0552:     sum => 0, minus => 0, lowast => 0, radic => 0, prop => 0, 
0553:     infin => 0, ang => 0, and => 0, or => 0, cap => 0, 
0554:     cup => 0, int => 0, there => 0, sim => 0, cong => 0, 
0555:     asymp => 0, ne => 0, equiv => 0, le => 0, ge => 0, 
0556:     sub => 0, sup => 0, nsub => 0, sube => 0, supe => 0, 
0557:     oplus => 0, otimes => 0, perp => 0, sdot => 0, lceil => 0, 
0558:     rceil => 0, lfloor => 0, rfloor => 0, lang => 0, rang => 0, 
0559:     loz => 0, spades => 0, clubs => 0, hearts => 0, diams => 0, 
0560:     quot => 0, amp => 0, lt => 0, gt => 0, OElig => 0, 
0561:     oelig => 0, Scaron => 0, scaron => 0, Yuml => 0, circ => 0, 
0562:     tilde => 0, ensp => 0, emsp => 0, thinsp => 0, zwnj => 0, 
0563:     zwj => 0, lrm => 0, rlm => 0, ndash => 0, mdash => 0, 
0564:     lsquo => 0, rsquo => 0, sbquo => 0, ldquo => 0, rdquo => 0, 
0565:     bdquo => 0, dagger => 0, Dagger => 0, permil => 0, lsaquo => 0, 
0566:     rsaquo => 0, euro => 0
0567:   );
0568:   my $str=substr($msg, $p+1, 9);
0569:   if ($str eq ""){
0570:     return $false;
0571:   }else{
0572:     my $q=index($str, ";");
0573:     if($q >=0){
0574:       my $str1=substr($str, 0, $q);
0575:       if(exists $character_entity_references{$str1}){ # character entity reference
0576:         return $true;
0577:       }elsif($str1 =~ /^#[0-9]+$/){  # decimal numeric character reference
0578:         return $true;
0579:       }elsif($str1 =~ /^#x[0-9a-f]+$/i){ # hexadecimal numeric character reference
0580:         return $true;
0581:       }else{
0582:         return $false;
0583:       }
0584:     }else{
0585:       return $false;
0586:     }
0587:   }
0588: }
0589: # end of sub chk_char_entity_ref_num_char_ref
0590: 
0591: 
0592: # sub errmsg: make error message in HTML
0593: sub errmsg {
0594:   my ($errnum, $errline, $wrong_code) = @_;
0595: 
0596:   open my $fh, '<', $error_description_filename or die $!;
0597:   my $text = do { local $/ = undef; <$fh>; };
0598:   my @lines = split ( /\n/, $text);
0599:   my %description;
0600:   foreach my $line (@lines) {
0601:     if($line ne ""){
0602:       my @items = split( /\t/, $line);
0603:       my $err_num = shift @items;
0604:       my $err_txt = shift @items;
0605:       $err_txt = Encode::decode($encoding, $err_txt); 
0606:       $description{$err_num} = $err_txt;
0607:     }
0608:   }
0609:   my $error_title='<h1>' . 'Error ' . $errline . '</h1>';
0610:   $wrong_code='<pre><strong><font color="red">' . escape_html($wrong_code) . '</font></strong></pre>';
0611:   my $error_description= '<p>'. escape_html($description{$errnum}) . '</p>';
0612:   my $errmsg_body = $error_title . $wrong_code . $error_description;
0613:   
0614:   return $errmsg_body;
0615: }
0616: # end of sub errmsg
0617: 
0618: 1;
0619: 
17. 新共産主義クラブ[-10181] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月30日 18:36:02 : 01JUjPKVpw : ER1zose2ZFY[184] 報告

Perlモジュール「Chkmsg.pm」によって使われる、日本語(Shift_JIS)による入力エラーの説明文が入っているファイル「error_description.txt」を公開します。



10	'コメントの開始記号 <!-- と終了記号 --> の個数が一致しません。'
20	'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。'
30	'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。'
40	'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。'
50	'コメントの開始記号 <!-- と終了記号 --> の並び順が間違っています。'
60	'タグの左端の記号 < と、タグの右端の記号 > の個数が一致しません。'
70	'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。'
80	'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。'
90	'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。'
100	'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。'
110	'タグの左端の記号 < と、タグの右端の記号 > の並び順が間違っています。'
120	'script タグの記述に誤りがあります。セキュリティ上の理由により、script タグで記述できる内容は限定されています。Twitter を引用する場合には、<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> と、空白部分を含めて一字一句間違えずに入力してください。'
130	'開始タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。'
140	'終了タグで、利用できないタグ名が使われています。セキュリティ上の理由により、掲示板への書き込みで利用できるHTMLのタグ名(要素名)は限定されています。'
150	'タグの記述に誤りがあります。開始タグと終了タグの、どちらとも認識できませんでした。'
160	'開始タグと終了タグの並び順が間違っています。終了タグの直前のタグは、同じタグ名の開始タグでなければなりません。'
170	'終了タグの直前のタグが、同じタグ名の開始タグになっていません。異なるタグ名の要素間は互いに「入れ子」の関係になっていなければなりません。'
180	'入力したHTMLデータ中の開始タグと終了タグの個数が違っています。開始タグと終了タグの個数は同じでなければなりません。'
190	'入力したHTMLデータ中の開始タグと終了タグの個数が違っています。開始タグと終了タグの個数は同じでなければなりません。'
230	'セキュリティ上の理由により、onload onclick onerror のような on で始まる属性名を使って、イベント発生時の動作を定義することはできません。'
240	'セキュリティ上の理由により、属性名 srcdoc を使って、iframe タグを記述することはできません。'
250	'iframe タグで、利用できない URI が src で指定されています。セキュリティ上の理由により、iframe タグで属性名 src によって指定できる URI は限定されています。'
260	'セキュリティ上の理由により、a タグで、属性名 href を使って指定できる値は、http:// または https:// で始まる URI に限定されています。'
270	'タグの記述が間違っています。属性名と値を正しく読み込めません。'

18. 新共産主義クラブ[-10180] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月30日 18:40:24 : 01JUjPKVpw : ER1zose2ZFY[185] 報告

Perlモジュール「Chkmsg.pm」(Shift_JIS版)を呼び出して、Webサーバ上においてテストをおこなうために作成したCGIのプログラム「check.cgi version 0.21」 を公開します。



0001: #!/usr/bin/perl
0002: # check.cgi version 0.21 : This program checks the validity of the HTML data entered by users to ensure the security and the stability of Bulletin Board Systems.
0003: #
0004: # Jan. 16, 2019 - Jan. 30, 2019. New Communist Club
0005: #
0006: # This software is released both under the MIT license and under the CC0 1.0.
0007: #
0008: # Copyright (c) 2019 New Communist Club
0009: # Released under the MIT license
0010: # https://opensource.org/licenses/mit-license.php
0011: #
0012: # CC0 1.0 Universal
0013: # https://creativecommons.org/publicdomain/zero/1.0/legalcode.ja
0014: #
0015: use strict;
0016: use warnings;
0017: use CGI;
0018: use CGI::Carp 'fatalsToBrowser';
0019: use Encode;
0020: use Chkmsg;
0021: 
0022: my $charset = 'Shift_JIS';
0023: my $encoding = 'shiftjis';
0024: # my $charset = 'utf-8';
0025: # my $encoding = 'utf8';
0026: 
0027: my $cgi1 = CGI->new;
0028: $cgi1->charset($charset); 
0029: 
0030: 
0031: if($ENV{REQUEST_METHOD} eq 'POST'){
0032:   my $msg = $cgi1->param('body');
0033:   $msg = Encode::decode($charset, $msg);
0034:   my ($ack, $reply) = Chkmsg::chkmsg($msg);
0035:   if($ack){
0036:     print $cgi1->header;
0037:     my $header = "<!DOCTYPE html><html><head><title>HTML Message</title><meta http-equiv='content-type' content='text/html; charset=$charset'></head><body>";
0038:     my $footer = '</body></html>';
0039:     $reply = $header . $reply . $footer . "\n<!-- Message Accepted -->\n";
0040:     $reply = Encode::encode($encoding, $reply);
0041:     print $reply;
0042:   }else{
0043:     print $cgi1->header;
0044:     my $header = "<!DOCTYPE html><html><head><title>Error Message</title><meta http-equiv='content-type' content='text/html; charset=$charset'></head><body>";
0045:     my $footer = '</body></html>';
0046:     $reply = $header . $reply . $footer . "\n<!-- Message Rejected -->\n";
0047:     $reply = Encode::encode($encoding, $reply);
0048:     print $reply;
0049:   }
0050: }
0051: 
19. 新共産主義クラブ[-10179] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月30日 18:43:42 : UpIoRLX322 : d4@aGFxpqtc[2] 報告

Perlモジュール「Chkmsg.pm」(Shift_JIS版)を呼び出して、Webサーバ上においてテストをおこなうために作成したCGIのプログラム「check.cgi version 0.21」 と共に用いられる入力フォーム「form.html」を公開します。



0001: <!DOCTYPE html>
0002: <html>
0003:   <head>
0004:     <title>Input Message</title>
0005:     <meta http-equiv="content-type" content="text/html; charset=Shift_JIS">
0006:   </head>
0007:   <body>                       ¡‚·‚®”½‰fbhtmltag‰ÂinûÒŒüj</p>
0009:       <form name="postForm" method="post" action="http://localhost/cgi-bin/check.cgi">
0010: <!--    <form name="postForm" method="post" action="http://localhost/cgi-bin/check.cgi"> -->
0011:       <textarea name="body" cols="75" rows="12"><e" class="smart_submit" type="submit">input name="postComment" value="ƒRƒƒ“ƒg“Š
0013:     </form>
0014:   </body>
0015: </html>
0016: 
20. 新共産主義クラブ[-10178] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月30日 18:50:19 : UpIoRLX322 : d4@aGFxpqtc[3] 報告
こちらの環境(Perl 5.26)では、>>16から>>19のファイルを、エディタ等で Shit_JIS で保存したファイルを用いて、Shit_JIS 環境での動作を確認しました。

>>11の(2)で述べた不具合は修正しましたが、「analyze tag」のアルゴリズムの手直しは(現在は属性名と属性値を正規表現マッチで同時に読み取っているが、先に属性名を読み取り、エラーが無ければ、その後に属性値を読み取るように修正)、まだおこなっていません。

21. 日高見連邦共和国[12028] k_qNgoypmEGWTYukmGGNkQ 2019年1月31日 10:46:54 : 0nvyZmqwOI : 00PWiMHvM_Y[214] 報告
労力は認めるが、コレ管理板でやる事かぁ〜?(笑)
22. 新共産主義クラブ[-10229] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月31日 15:59:36 : tY4iEMAPW6 : IrEukkjBOHc[31] 報告
>>17(補足)
>Perlモジュール「Chkmsg.pm」によって使われる、日本語(Shift_JIS)による入力エラーの説明文が入っているファイル「error_description.txt」を公開します。
 
 
 各行の行頭の数字は、Perlモジュール「Chkmsg.pm」によって使われている「エラー番号」であり、入力エラーの説明文が入っているファイル「error_description.txt」に実際に書き込まれている数値です。この画面での表示のためだけに示したラインナンバーではありません。
 
 >>17の画面上では、各行の行頭の「エラー番号」と、そのあとに続く日本語の説明文との間には、一個の「空白」が挿入されている様に見えますが、ファイル「error_description.txt」では、各行の行頭の「エラー番号」と、日本語の説明文との間に一個の「TAB」が挿入されている必要があります。
 
 (「error_description.txt」は、タブ区切りのテキストファイルです。 )
 
23. 新共産主義クラブ[-10231] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月31日 16:25:16 : 01JUjPKVpw : ER1zose2ZFY[186] 報告
<<19(訂正)
 
<<19が文字化けしておりましたので、再掲します。


<!DOCTYPE html>
<html>
<head>
<title>Input Message</title>
<meta http-equiv="content-type" content="text/html; charset=Shift_JIS">
</head>
<body>
<p>★登録無しでコメント可能。今すぐ反映|htmltag可(熟練者向)</p>
<form name="postForm" method="post" action="http://localhost/cgi-bin/check.cgi">
<!-- <form name="postForm" method="post" action="http://localhost/cgi-bin/check.cgi"> -->
<textarea name="body" cols="75" rows="12"></textarea><br>
<input name="postComment" value="コメント投稿" class="smart_submit" type="submit">
</form>
</body>
</html>


24. 新共産主義クラブ[-10230] kFaLpI5ZjuWLYINOg4mDdQ 2019年1月31日 16:29:06 : LgcWNbUYVk : qI6xnl4mA24[1] 報告

<<19(もういちど訂正)



<!DOCTYPE html>
<html>
  <head>
    <title>Input Message</title>
    <meta http-equiv="content-type" content="text/html; charset=Shift_JIS">
  </head>
  <body>
    <p>★登録無しでコメント可能。今すぐ反映|htmltag可(熟練者向)</p>
      <form name="postForm" method="post" action="http://localhost/cgi-bin/check.cgi">
<!--    <form name="postForm" method="post" action="http://localhost/cgi-bin/check.cgi"> -->
      <textarea name="body" cols="75" rows="12"></textarea><br>
      <input name="postComment" value="コメント投稿" class="smart_submit" type="submit">
    </form>
  </body>
</html>

25. 管理人さん[2344] iseXnZBsgrOC8Q 2019年2月02日 10:59:19 : goJCZio63dQ[840] 報告
開発ありがとうございます。

この件の対応が遅れています。ご容赦くださいませ。

阿修羅管理人がサーバー管理者をやってみる 阿修羅を2月末に移転管理運用 詳しい人のアドバイス募集
http://www.asyura2.com/13/kanri21/msg/547.html

ということでサーバー移転し正常化動が確認できるまでこちらのプログラムの検証等にはあまり時間がとれません。

直近のパッケージはそのままコピペして確認できそうなので時間を見つけて実装してみます。

26. 新共産主義クラブ[-10488] kFaLpI5ZjuWLYINOg4mDdQ 2019年2月02日 18:11:56 : aH1SEytbtA : PMNSswM5h1U[4] 報告
>>25. 「管理人さん」さん
 
 了解いたしました。
 
 Chgmsg.pm の 「analyze tag」の部分のアルゴリズムの手直しは、来週月曜日の 2月4日 19:00 までに完了させる予定です。
 
 画面に表示されているソースをコピペでファイルに落とすのは、少々不便でしょうから、最新版の開発済みのソースのファイルをどこかに保存しておきます。
 
 www.asyura.us/ncc に置くつもりですが、(掲示板上のデータ保存の恒久性のため)画像サーバにも、ソースのPerlのスクリプト・ファイルを保存しても良いでしょうか?
 
 サーバ移転後の、Perlのバージョンは 5.26 以上 になるのでしょうか?
 
 Perl 5.26 以上での、Shift_JIS の日本語の文字列を扱うノウハウでは、少しお役に立てるかもしれません。
 
 古いバージョンの Perlを扱うときには、可能であれば、そのバージョンを教えてください。
 
 こちらの Perl をバージョン・ダウンして、動作チェックができないかを試してみます。
 
 ただ、プログラムの外注部分(もし存在すれば)の権利関係の問題があると思いますので、現行の www.asyura2.com のサーバのソース全体やその一部を、そのままの形で公開していただいたり、「新共産主義クラブ」が受け取ったりすることは控えさせていただきたいと思います。
 
27. 新共産主義クラブ[-10507] kFaLpI5ZjuWLYINOg4mDdQ 2019年2月04日 18:28:25 : SpNfY9a0Sk : urq4rrJh@9c[23] 報告
>>26(補足)
>Chkmsg.pm の 「analyze tag」の部分のアルゴリズムの手直しは、来週月曜日の 2月4日 19:00 までに完了させる予定です。
 
 
 Chkmsg.pm の サブルーチン sub analyze_attr_val{} のアルゴリズムの手直しをしようと思って、先ず上掲の Chkmsg.pm をテストしていたら、バグが存在していることがわかりました。
 
 ひと呼吸してから、明日以降に、アルゴリズムの手直しをした修正版の Chkmsg.pm を公開しようと思います。
 
28. 日高見連邦共和国[12543] k_qNgoypmEGWTYukmGGNkQ 2019年3月03日 21:01:28 : FBaMX5YV8A : Q2ZyYktqTkhSQ3M=[12] 報告
ひと呼吸=1ヶ月。なんか、こんなに頑張ってたクラゲが可哀そうに思えてきた。(笑)
29. 日高見連邦共和国[12723] k_qNgoypmEGWTYukmGGNkQ 2019年3月16日 20:15:50 : sEMBiVPOjw : T08uaGwwWXZWdWs=[3] 報告
ところで彼、ドコ行っちゃったの?(笑)
30. 日高見連邦共和国[13445] k_qNgoypmEGWTYukmGGNkQ 2019年4月23日 22:41:00 : kEObEQb8W2 : TXhYc3NLN3QudS4=[4] 報告
戻ってきても、ここは野ざらし。(笑)

31. 日高見連邦共和国[13740] k_qNgoypmEGWTYukmGGNkQ 2019年5月15日 12:10:47 : NwWQYiC8iY : YUUzeXNUejdCN2c=[195] 報告
誰も待ってやしないが、それでも聞いとく。再開しないの?(笑)

▲上へ      ★阿修羅♪ > お知らせ・管理21掲示板 次へ  前へ

  拍手はせず、拍手一覧を見る

フォローアップ:


★登録無しでコメント可能。今すぐ反映 通常 |動画・ツイッター等 |htmltag可(熟練者向)|(各説明

←ペンネーム新規登録ならチェック)
↓ペンネーム(なしでも可能。あったほうが良い)

↓パスワード(ペンネームに必須)

(ペンネームとパスワードは初回使用で記録、次回以降にチェック。パスワードはメモすべし。)
↓画像認証
( 上画像文字を入力)
ルール確認&失敗対策
画像の URL (任意):
最新投稿・コメント全文リスト  コメント投稿はメルマガで即時配信  スレ建て依頼スレ

▲上へ      ★阿修羅♪ > お知らせ・管理21掲示板 次へ  前へ

★阿修羅♪ http://www.asyura2.com/ since 1995
スパムメールの中から見つけ出すためにメールのタイトルには必ず「阿修羅さんへ」と記述してください。
すべてのページの引用、転載、リンクを許可します。確認メールは不要です。引用元リンクを表示してください。
 
▲上へ       
★阿修羅♪  
お知らせ・管理21掲示板  
次へ