博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
动态索引结构和索引更新机制
阅读量:5845 次
发布时间:2019-06-18

本文共 1594 字,大约阅读时间需要 5 分钟。

hot3.png

ElasticSearch的Schema free特性给动态提取并索引网页结构化文本内容提供了支持,使用URL的hash值来作为索引的主键(实际开发中使用URL作为主键,这里使用URLhash值是为了方便演示),当网页内容改变后,可以非常方便地更新索引。

 

下面演示了动态索引结构和索引更新机制:

1、提交索引:

curl -XPUT http://localhost:9200/webpage/finance/85723925 -d '

{

"url" : "http://money.163.com/14/0523/02/9ST8D7KR00253B0H.html",

"title" : "中国非一线城市限购可退出 楼市限购或全面松绑",

"content" : "昨日有消息称,除北上广深之外,其他城市的限购政策可以自行调节,尤其是库存过大的地方。这意味着除四大一线城市之外的30多个限购城市,有可能全面松绑限购政策。"

}

'

 

2、服务器响应:

{"_index":"webpage","_type":"finance","_id":"85723925","_version":1,"created":true}

3、查看索引结构:

需要elasticsearch-head插件,下面是安装方法:

 

plugin -install mobz/elasticsearch-head

 

浏览器访问:

 

 

 

 

4、再次提交同样URL的索引,内容改变了:

curl -XPUT http://localhost:9200/webpage/finance/85723925 -d '

{

"url" : "http://money.163.com/14/0523/02/9ST8D7KR00253B0H.html",

"title" : "标题改了:中国非一线城市限购可退出 楼市限购或全面松绑",

"content" : "内容改了:昨日有消息称,除北上广深之外,其他城市的限购政策可以自行调节,尤其是库存过大的地方。这意味着除四大一线城市之外的30多个限购城市,有可能全面松绑限购政策。"

}

'

5、服务器响应:

 

{"_index":"webpage","_type":"finance","_id":"85723925","_version":2,"created":false}

 

可以看到,版本变为2,created为false,已经成功更新索引

 

6、再次提交同样URL的索引,不但内容改变了,而且新增了2个字段:

curl -XPUT http://localhost:9200/webpage/finance/85723925 -d '

{

"url" : "http://money.163.com/14/0523/02/9ST8D7KR00253B0H.html",

"title" : "标题改了:中国非一线城市限购可退出 楼市限购或全面松绑",

"content" : "内容改了:昨日有消息称,除北上广深之外,其他城市的限购政策可以自行调节,尤其是库存过大的地方。这意味着除四大一线城市之外的30多个限购城市,有可能全面松绑限购政策。",

"keywords" : "试探,限购政策,淡出,一次次",

"description" : "中国非一线城市限购可退出 楼市限购或全面松绑,试探 限购政策 淡出 一次次"

}

'

7、服务器响应:

 

{"_index":"webpage","_type":"finance","_id":"85723925","_version":3,"created":false}

 

8、再次查看索引结构:

 

可以看到,新增的两个索引字段已经添加到索引里面了

 

转载于:https://my.oschina.net/apdplat/blog/308393

你可能感兴趣的文章
sysprep 可能的错误及解决方法
查看>>
Objective-C中的位运算符用法
查看>>
Lucene如何分布式(WWW与Lucene服务器分离)
查看>>
什么是IO
查看>>
巧用IronPython做更灵活的网页爬虫
查看>>
Python基础08 面向对象的基本概念
查看>>
spring 使用 groovy 的 utf-8 问题
查看>>
在自己的博客上打个广告,Kinect for Windows要的来
查看>>
STL中的常用的vector,map,set,sort, list用法笔记 .
查看>>
C#中与Oracle连接的代码(原创)
查看>>
Jquery-ui draggable
查看>>
【android】 资源路径
查看>>
LDAP基础知识。
查看>>
HTML5 VS. Flash&Flex? – 浅谈Flash/Flex/HTML 5技术选型
查看>>
通过 IP 区分不同国家的用户
查看>>
PostgreSQL 的 语法分析的理解(六)
查看>>
俞敏洪:我让女儿主动学习的秘密
查看>>
DBeauty 2.0.11 发布,数据库关系浏览器
查看>>
Redmine安装-201209
查看>>
Java IO学习6:管道流
查看>>