sito
sito
sito
sito
sito
文本的审核要比图片更加多样化及专业化,从文字场景来讲,文字可能是一个签名、一个词组,一段文本甚至是一篇文章,还有些文字附带在图片上,如一张海报,一张头像图等。从内容上分,内容应该分为三种,文字,图形与语言。在文字上来说,国内图书有中图法,国外有亚马逊分类法,高斯分类等。
对于图片中存在的文字,识别最多使用的还是OCR(文本识别技术)。对于长短文本及变形变异字体中,会使用到垃圾文本处理技术(在AI技术来讲:CRF分词,NLP,n-gram算法,随机森林算法)随机森林指的是利用多棵树对样本进行训练并预测的一种分类器,通过对文本的处理进行归类,自动预测文本内容的形式。
当你要做预测的时候,新的观察值随着决策树自上而下走下来并被赋予一个预测值或标签。一旦森林中的每棵树都给有了预测值或标签,所有的预测结果将被归总到一起,所有树的投票返回做为最终的预测结果。简单来说,99.9%不相关的树做出的预测结果涵盖所有的情况,这些预测结果将会彼此抵消。少数优秀的树的预测结果将会脱颖而出,从而得到一个好的预测结果。
在对于上下段落中,突然出现的垃圾文本或不相关的文字或词组,会采用上下语义识别技术(LSTM深度神经网络,word-embedding)。此算法技术,会判断此句话中是否跟上下文结合,是否是一段无效的垃圾文本,最常见场景是我们在评论区随意敲打着一串自己都看不懂的文本。此技术很适合用于评论区的灌水,刷屏,甚至辱骂性的文字内容。