https://www.ap-siken.com/kakomon/30_haru/pm05.html

スレッド
平成30年春期 午後問5 設問3 (3)[2175]
https://www.ap-siken.com/bbs/2178.html
で質問がありましたように、解答例「WebサイトへのアクセスをWAFサービスだけから許可する」に対して「外からのアクセスはDNSサーバ経由でwebサーバにアクセスさせる」が正解度100%になったそうです。

いろいろ試した結果、以下の全てで100%となりました。
「外からのアクセスはDNSサーバ経由でアクセスさせる」
「外からのアクセスはwebサーバにアクセスさせる」
「DNSサーバ経由でwebサーバにアクセスさせる」
「アクセスはwebサーバにアクセスさせる」
「外からはwebサーバにアクセスさせる」

記述式の正解度の自動判定は難しいことは分かっているのですが、重要キーワードの「WAFサービス」が抜けているのに正解度100%となったのは不思議です。

記述の一致度判定は本当に簡易的でして、記述の助詞を除いた後、コサイン類似度という指標を使ってパーセント化しています。

簡単に言うと、一方の文字列に含まれる各文字が他方の文字列に含まれる割合で、正解率が決まります。よって、意味として真逆であったとしても高い正解率になったりということが起こり得ます。

・WebサイトへのアクセスをWAFサービスだけから許可する
・外からのアクセスはDNSサーバ経由でwebサーバにアクセスさせる

の比較だと、出現する場所は違えど「web」「アクセス」「サー」「から」「る」などが一致するため、助詞を除いた際にある程度高い一致率となり、その後の補正関数の効果により正解率が100%まで高まってしまっているのだと思います。

管理人様

ご回答ありがとうございます。

「WAFサービス」が含まれていないと実質は不正解で、0%になるものだと思いましたが、自動判定はなかなか難しいですね。