全文检索python – 小飞侠

全文检索

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理

haystack
全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看官网
whoosh
纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用，点击查看whoosh文档
jieba
一款免费的中文分词包，如果觉得不好用可以使用一些收费产品

django中的全文检索安装配置

1.依赖包安装

pip install django-haystack
pip install whoosh

2.在settings.py文件配置

注册应用

INSTALLED_APPS = (
    ...
    'haystack',	#全文检索框架
)

添加搜索引擎

# 全文检索框架的配置
HAYSTACK_CONNECTIONS = {
    'default': {
        # 使用whoosh引擎
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        #'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
        # 索引文件路径
        'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
    }
}

# 当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

# 指定搜索结果每页显示的条数
HAYSTACK_SEARCH_RESULTS_PER_PAGE=1

3.在项目的urls.py中添加url

urlpatterns = [
	...
    path(r'search/', include('haystack.urls')), # 全文检索框架
]

4.索引文件生成

在应用目录(以goods为例)下建立search_indexes.py文件

# 定义索引类
from haystack import indexes
# 导入你的模型类
from goods.models import GoodsSKU

# 指定对于某个类的某些数据建立索引
# 索引类名格式:模型类名+Index
class GoodsSKUIndex(indexes.SearchIndex, indexes.Indexable):
    # 索引字段 use_template=True指定根据表中的哪些字段建立索引文件的说明放在一个文件中
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        # 返回你的模型类
        return GoodsSKU

    # 建立索引的数据
    def index_queryset(self, using=None):
        return self.get_model().objects.all()

在目录“templates/search/indexes/应用名称/”下创建“模型类名称_text.txt”文件

# 指定根据表中的哪些字段建立索引数据
{{ object.name }} # 根据商品的名称建立索引
{{ object.desc }} # 根据商品的简介建立索引
{{ object.goods.detail }} # 根据商品的详情建立索引

使用命令生成索引文件
python manage.py rebuild_index

5.搜索表单模板示例

#注意action和name的值是固定
<form action="/search" method="get">
    <input type="text" class="input_text fl" name="q" placeholder="搜索商品">
    <input type="submit" class="input_btn fr" name="" value="搜索">
</form>

6.在目录“templates/search/”下建立search.html
搜索出结果后，haystack会把搜索出的结果传递给templates/search目录下的search.html，传递的上下文包括：

query：搜索关键字
page：当前页的page对象 –>遍历page对象，获取到的是SearchResult类的实例对象，对象的属性object才是模型类的对象。
paginator：分页paginator对象

search.html示例

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
搜索的关键字:{{ query }}<br/>
当前页的Page对象:{{ page }}<br/>
<ul>
    {% for item in page %}
        <li>{{ item.object }}</li>
    {% endfor %}
</ul>
分页paginator对象:{{ paginator }}<br/>
</body>
</html>

7.改变分词方式(jieba分词模块)

1.安装jieba分词模块
pip install jieba

2.进入到项目环境目录
cd ~/anaconda3/envs/myshop-py3.6.2-dj2.0/lib/python3.6/site-packages/haystack/backends

3.在上面的目录中创建ChineseAnalyzer.py文件
import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=False, removestops=True,
                 start_pos=0, start_char=0, mode='', **kwargs):
        t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
        seglist = jieba.cut(value, cut_all=True)
        for w in seglist:
            t.original = t.text = w
            t.boost = 1.0
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t

def ChineseAnalyzer():
    return ChineseTokenizer()

4.复制whoosh_backend.py文件，改为如下名称whoosh_cn_backend.py
cp whoosh_backend.py whoosh_cn_backend.py

5.打开复制出来的新文件，引入中文分析类，内部采用jieba分词。
from .ChineseAnalyzer import ChineseAnalyzer

6.更改词语分析类
查找
analyzer=StemmingAnalyzer()
改为
analyzer=ChineseAnalyzer()

7.修改settings.py文件中的配置项
调整引擎
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
为
'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',

8.重新创建索引数据
python manage.py rebuild_index

全文检索

django中的全文检索安装配置

你可能也喜欢