‘壹’ 如何对大批量的pdf格式文件进行分类、加密、全文检索这些PDF文件只对有授权的人开放阅读检索功能
这是一个比较实用,同时有比较难以解决的软件问题,不过现在好在该问题已经被彻底解决掉了。由【QQ天才机器人1983579041】研发的PDF全文检索系统,完全可以解决上述问题,而且可以实现‘二次检索’‘N次检索’的问题,这样会大大方便用户的分类检索,实用性很强。这个系统还可以对其他的格式文件进行类似的全文检索。
‘贰’ PDF库全文检索
思路比较清晰,首先从pdf中提取文字,然后利用搜索引擎完成文字检索,每一步都有现成的开源工具。
这里需要关注的系统架构的问题。如果pdf文件很大,那么提取文字要耗费大量的时间,总不能让用户在那里等待响应,毕竟提取文字并不需要那么高的实时性,后台慢慢处理就行。
所以这里用Django+celery+redis实现异步任务队列。用户上传文档后,Django把提取文字的任务通过celery发送给redis,然后就返回响应,用户无需等待。