一、建立FAQ库
一个问题三个形式，
数据增强之后问题和答案一一对应，19MB的ask.txt，答案保存在answer0-424中，每个文件1000个回答。节省处理时间。
二、BM25初始化
目的：计算bm25公式中需要的值
1、self.titles <list> len=424043 eg：[‘什么是发票？’,’发票是什么？’,’发票的概念’]
2、self.segTitles <list> len=424043 eg:[ [‘什么’, ‘是’, ‘发票’],[‘发票’, ‘是’, ‘什么’], [‘发票’, ‘的’, ‘概念’]]
3、self.df <dict> len=28387 eg:{“什么”:131898,”是”:136367,”发票”:13734}
4、self.idf <dict> len =28387 eg:{“什么”:0.795219278
版权声明：本文为qq_37228811原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。