‘壹’ gis的数据是怎么存储的
大数据GIS是在大数据浪潮下，GIS从传统迈向大数据时代的一次变革。大数据GIS能为空间大数据的存储、分析和可视化提供更先进的理论方法和软件平台，促进了传统GIS的产业升级，为地理信息产业发展提供新的渠道和原动力，服务于我国“十三五”期间的大数据产业发展和部署。
大数据GIS
大数据领域已经出现了许多实用的IT技术，例如分布式文件系统、分布式数据库、分布式计算框架、流处理框架等。这些技术使我们能够使用普通机器对大数据进行处理和挖掘，但多聚焦于通用的非空间数据领域，对空间数据的专业分析能力不足。而传统GIS由于受其IT技术框架的限制，并不能很好地应对大数据对分布式存储与计算、流数据处理等的技术要求。
大数据GIS就是把大数据技术与GIS技术进行深度融合，把GIS的核心能力嵌入到大数据基础框架之内，并打造出完整的大数据GIS技术体系。大数据GIS的核心技术如下图所示：
传统的GIS数据存储大多是关系型数据库,但关系型数据库在海量数据的管理中面临许多问题,包括高并发读写、难扩展等,已经成为制约GIS发展的瓶颈。同时,GIS数据中的图片、影像数据等都是非结构化的,关系型数据库不能合理地处理非结构化数据。而HBase以其高可靠性、高扩展性、高容错性、高效性以及适用于海量非结构化数据存储处理分析的优势在处理GIS数据方面提供了另一种思路,即解决HBase应对GIS中的两大挑战:大规模数据处理的时延和空间位置建模.
格栅数据获取
从表可以看出,改进后略去磁盘写操作,在栅格数据量较少时性能反而下降。但在处理数据规模较大(如对中国地图或世界地图进行切片)时,会因持续写磁盘操作,生成文件夹及切片文件数太多导致inode(索引节点)耗尽。经过约24 h的持续切片,生成海量切片小文件,导致服务器inode用尽,即使硬盘空间仍有空余,也无法在硬盘上创建新文件,进而切片工作无法正常完成。
若将切片直接写入传统数据库(如MySQL、Oracle、PostgreSQL等),写入速度不断降低,导致写入时间不可接受,后期的检索时间也较慢。另外,海量切片小文件写入传统数据库会对数据库造成较高的负载,系统的稳定性和扩展性难以控制。
经过改进测试,对世界地图连续切片一个月,形成83 GB的栅格数据,未经过磁盘写操作直接写入HBase,未出现任何异常情况。
本文对栅格数据的检索也进行了验证,在124 217 416条记录的HBase表上检索指定切片的响应时间为毫秒级(0.004 s)。同时,HBase也支持指定范围检索,一次返回万级别切片的响应时间为秒级(5.077 s)。
为了对海量矢量空间数据进行高效存储、管理与检索,本文设计了矢量空间数据的rowkey,并将数据存储于HBase。实验结果显示,对中国地图的矢量空间数据在24 201 991条记录的Hbase表上检索指定空间矢量点的响应时间为毫秒级(0.021 s)。检索线或面的响应时间为秒级,若返回一个面上的千级别的坐标点时间约为3.551 s。
针对智慧城市建设中的数据管理问题,利用HBase分布式数据库的列存储模型特点,设计了一种基于HBase的GIS数据管理系统,实现了对矢量空间数据与栅格数据的高效存储、索引与检索。GIS矢量空间数据在HBase中存储,首先确定rowkey的设计,使得在检索空间位置时返回尽可能少的数据请求,即在检索时既考虑经度与纬度,又考虑空间数据类型和图层属性。设计了基于表名、空间数据类型、经纬度Geohash编码、网格ID的rowkey方法。为了加快切片效率和减少存储成本,本文在生成栅格数据时在mapnik切片的基础上做了优化,使栅格数据不经过磁盘写操作,直接写入HBase。
参考文献
《基于HBase的海量GIS数据分布式处理实践》
‘贰’ 在ArcGIS中，怎么把JPG格式的图片和SHPFILE进行叠加啊
在ArcGIS中，若要实现JPG格式图片与SHPFILE的叠加，可以考虑将JPG文件转换成其他格式，如GeoTIFF或PNG等，以确保与SHPFILE兼容。这样的转换能够确保在ArcGIS环境中进行无缝叠加操作，从而提升地图的可视化效果。
ArcGIS作为一个全面的GIS平台，为用户提供了一个可伸缩的开发环境。ArcObjects是该平台的重要组成部分，包含了丰富的可编程组件，从简单的几何对象到复杂的地图对象，覆盖了广泛的地理信息系统功能。通过使用ArcObjects，开发者能够集成各种GIS功能，构建出桌面GIS、嵌入式GIS和服务器端GIS应用。
每一个基于ArcObjects开发的ArcGIS产品都为开发者提供了一个应用开发的框架。对于桌面GIS应用，开发者可以利用ArcGIS Desktop进行地图设计、数据管理以及分析操作。嵌入式GIS则适用于需要在特定设备或平台中集成GIS功能的场景，如企业信息系统或移动应用。而服务端GIS则侧重于提供地理空间数据和服务，支持分布式计算和大规模数据处理。
通过上述方式，开发者能够灵活地将JPG格式图片与SHPFILE进行叠加，从而在ArcGIS环境中实现更加丰富和专业的地图展示效果。这不仅提升了地图的美观度，也增强了数据的可视化和分析能力。