`
masterkey
  • 浏览: 330775 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于lucene索引数据内存加载问题

阅读更多
有的时候,解决问题的方式,方法,随知识领域的不同,会有很大的差异。

关于luncene索引数据内存加载问题?

其实,我们完全可以抛开lucene之外,考虑把索引数据加载到内存中。

前提是你的索引数据不大。(索引数据<1/2*机器内存,不是绝对的)

如果你采用的Linux操作系统,可以采用(tmpfs)
tmpfs是一个虚拟内存文件系统,tmpfs可以使用物理内存,也可以使用交换分区。

mount到一个目录,把你的索引数据文件放到这个目录,就可以直接达到你的效果了,对于开发人员而言,此方案完全透明。


windows也有类似的程序,通过内存虚拟磁盘方式。


我想如果你的索引数据<Mem *1/2 的前提下,都可以采用此方案,来用内存加载数据。提高搜索效率。

对于访问频度较高的数据存储内存化问题,都可以采用类似的方案来解决。主要解决访问效率问题。

另外,此种文件系统方式的数据,要做定期备份。
分享到:
评论

相关推荐

    海量数据引擎SF1R.zip

    绝大多数大规模搜索引擎的索引均完全放置于内存中,iZENECloud团队又给SF1R添加了 两种索引Zambezi和Suffix,这2种索引均是业界最佳的设计,大大提升了SF1R的性能, 在后边将分别提到。iZENECloud团队在根据需求不断...

    SpringLuceneSearchEngine:基于Apache lucene的简单搜索引擎

    带有数据库凭据的 Spring 安全性,用于索引和搜索的 Apache Lucene API。 这个项目的创建步骤非常简单 首先,您需要在您的系统中安装 java(1.7)、mysql、maven。 src/main/resources 文件夹中有一个 .sql 文件。 ...

    一个简单的java爬虫产品

    最近一直在研究爬虫和Lucene,虽然开始决定选用Heritrix来执行爬虫操作,但是后来发现用它来做还是存在一定的问题,比如需要程序生成相应的XML文件,对于同一个Job,怎样才能保证重复运行该Job时文件夹始终是同一个...

    java内核源码-JavaCompass:「Java指南针」为你学习Java指明方向。内容涵盖互联网Java工程师所需要掌握的核心知识,涉及J

    JVM类加载机制详解 JVM内存模型 类字节码文件深度剖析 垃圾收集机制详解 十种垃圾收集器详解 JVM调优工具详解 GC日志详细分析 JVM调优实战 Mysql性能调优 SQL执行原理详解 索引底层剖析 执行计划与SQL优化 Mysql锁...

    JAVA上百实例源码以及开源项目源代码

     关于数字签名:产生RSA密钥对(myKeyPair),得到RSA密钥对,产生Signature对象,对用私钥对信息(info)签名,用指定算法产生签名对象,用私钥初始化签名对象,将待签名的数据传送给签名对象(须在初始化之后),用公钥...

    Web2.0社区平台源码

    SpaceBuilder采用世界领先的技术体系架构、优异的缓存技术、基于Lucene的全文检索技术,可以承载千万级的数据,并提供良好的安全性及用户体验,表现层采用asp.net mvc及jQuery开发,是迄今为止基于asp.net技术领域最...

    Eclipse开发分布式商城系统+完整视频代码及文档

    索引库导入数据-完成.avi │ 淘淘商城第七天笔记.doc │ ├─08.第八天 │ 14.搜索服务切换到集群.avi │ 01.课程计划.avi │ 02.课程计划.avi │ 03.搜索服务-分析.avi │ 04.搜索服务-dao层.avi │ 05.搜索服务-...

    XML,XSLT,AJAX三大技术打造开源多用户博客X3BLOG

    X3-BLOG完美的利用了浏览器的XML解析技术,完全实现数据和界面的分离,使网络传输数据量大大减少,加载速度远远超过了市面上所有的BLOG产品,有效的减轻了服务器的带宽压力,服务器端使用四大动态网站开发语言中...

    X3BLOG v0.7.5.0

    &lt;br&gt;功能与特点 &lt;br&gt; X3-BLOG完美的利用了浏览器的XML解析技术,完全实现数据和界面的分离,使网络传输数据量大大减少,加载速度远远超过了市面上所有的BLOG产品,有效的减轻了服务器的带 &lt;br&gt;宽压力,...

    JAVA上百实例源码以及开源项目

     关于数字签名:产生RSA密钥对(myKeyPair),得到RSA密钥对,产生Signature对象,对用私钥对信息(info)签名,用指定算法产生签名对象,用私钥初始化签名对象,将待签名的数据传送给签名对象(须在初始化之后),用公钥...

    ZendFramework中文文档

    2.1.1. 关于资源(Resource) 2.1.2. 关于角色(Role) 2.1.3. 创建访问控制列表(ACL) 2.1.4. 注册角色(Role) 2.1.5. 定义访问控制 2.1.6. 查询 ACL 2.2. 精细的访问控制 2.2.1. 精细的访问控制 2.2.2. 除去访问...

    java开源包1

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包11

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包2

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包3

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包6

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包5

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包10

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

    java开源包4

    AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器,目前处于BETA测试阶段。它支持WAP 1.2规范,除了WTLS 和WBMP。 Java注册表操作类 jared jared是...

Global site tag (gtag.js) - Google Analytics