仕事でチャットBOTを作ったことがある。
世の中には、相手がBOTだと、ふつう人には言わないような酷いことを言う人がいるというのがわかって、けっこうショックだった。自分に向けられた言葉じゃなくてもダメージを受ける。
あなたのその言葉、しっかりDBに保存されてるけど、大丈夫?って思った。
チャットできるAIたちも、そうとう酷いことを言われてるんじゃないかな。AIがそういう言葉から学習しないようになってるといいのだけど。
@hachiware 某AIチャットボットでもその問題が悩ましくて、結局のところ最後は人間が検査して取り除いていましたね。数年前の話なので今は何か対策アルゴリズムの進化はあるのかもしれないですが。
@hyoyoshikawa Twitterで通報するときもよく悩むんですけど、日本語は(他の言語もかもしれないですが)暗喩がすごく多くて、キーワードくらいでは除外しきれないですよね。引っかからないようにあえてグレーな表現を使う人も多いし。
文脈や文化まで考慮するのはかなり大変ですね。それこそAIに頑張ってもらう所かもしれないですが。