mixi運営「ミクシィには日々膨大な投稿があるので人力監視では限度がある。そこでAIを活用して「苺」や「ホ別」を監視する事に成功した」 [377482965]

http://img.5ch.net/ico/u_sii_naname.gif
mixi の「健全化活動」と、機械学習を利用した「規約違反投稿の検出」の取り組み | mixi運営者ブログ | mixi公式サイト
https://sns.mixi.co.jp/blog/20190213-1.html
https://i.imgur.com/vP6dwaU.png

mixi は「日記」「メッセージ」「コミュニティ」をはじめとした多様なコミュニケーション手段を提供しています。
投稿のなかで、誹謗中傷や違法行為など利用規約に違反している不適切な投稿は、迅速に削除したり、投稿者の方に警告をだして修正を促すといった対応をさせていただいています。

不適切な単語が含まれた投稿について、利用規約に違反していないかどうか、スタッフが文脈や状況をきめ細かに確認しながら判断しています。

規約に違反する投稿は、これまで運営してきた経験上「数は非常に少ないものの毎日確実に存在する」ため、監視をするスタッフは「数件の違反投稿を発見するために数万件の問題ない投稿に目を通す」といった作業を実施しています。
不適切な単語を事前に登録しておき、フィルタリングにより検出する方法が長年適用されてきましたが精度は十分でなく、検出には多くの時間と労力が必要でした。

違反投稿のなかには犯罪につながりかねない危険なものもあり、かかる時間が膨大であっても安易に作業を削ることはできません。
一方で、毎日数件の違反のために膨大な投稿を監視しつづけるには、運営上の困難があります。

投稿監視にかかる時間と労力は、通報対応やお問い合わせへの回答に貢献できる力を削ぐもので、その負担軽減は長年にわたって課題とされてきました。

監視にかかる負担軽減のため、2018年春頃から「機械学習による規約違反投稿の検出」の取り組みを行なってきました。
いわゆる「AI化」の取り組みで、大きな負担となってきた投稿監視の大部分を機械にまかせ、スタッフはより複雑な仕事に注力できるようにするものです。

機械学習によって「投稿内容の危険度判定モデル」を生成し、「人の目に代わって違反投稿かどうか判断し、危険度に応じて自動処理する」ことを目指しました。

スタッフが長年行ってきた判断の積み重ねは記録しており、それを教師データとして、機械に投稿の危険性を学ばせることができました。

たとえば次のような一連の投稿です。

不適切ワードや隠語を用いて接触機会を持とうとするこうしたやり取りは、犯罪へとつながりかねない危険な投稿です。
例にある「苺／いちご」そのものは全く問題のない単語ですが、「お金欲しい」からの一連の文脈によって、危険な投稿と判断することができます。

こうした投稿の文脈データを機械に与え、機械がスタッフと同様の判断ができるように学ばせました。

さまざまな工夫を経て、機械学習により生成された「危険度判定モデル」は十分な精度を出すことができるようになりました。

「人の目に代わって違反投稿かどうか判断し、危険度に応じて自動処理する」仕組みは、数か月の試験を経て、現在運用されています。
これまで監視していた投稿の 80% 以上の判断を機械に任せることができ、スタッフは残り20%の投稿の監視や通報対応などに、より丁寧に対応できるようになりました。

モンスト作ってミクシィ救った男の「理系脳」『自己破壊経営』 | J-CAST BOOKウォッチ
https://www.j-cast.com/bookwatch/2019/01/22008559.html