基于大数据平台的多样化碎片化地质数据组织发现与挖掘开始深度示范应用

  12月15日,网格平台项目组在新疆维吾尔自治区乌鲁木齐市召开了“网格平台非结构化地质数据结点与ArcGIS服务整合技术讨论会”。会议完成了基于大数据技术的网格平台框架完善、大数据存储与服务的试验和示范方案等相关议题,并实际开展了大数据结点部署与深度示范应用试验,取得了预期效果。中国地质调查局发展研究中心、新疆国土资源信息中心、西安地调中心、中国地质大学（武汉）等单位参加了此次会议。
   随着地质大数据平台研究的深入,网格大数据平台在完成对总体框架研究基础上构建起原型系统,初步实现了从非结构化数据存储、资源汇聚发布、快速索引检索到可视化服务等流程继而开发出网格平台非结构化数据组织、管理、服务功能模块，并率先在拉萨搭建起地质大数据服务结点。多样化、碎片化复杂地质调查非结构化数据集组织和分析方法是未来地质调查数据组织与处理重要方式逐渐成为行内共识，此次新疆结点用于大数据部署的馆藏数据达到一万余档，具备格式多、碎片化等地质成果的典型特征；实现对这万余档资料的高效存储与组织、建立起面向数据挖掘的内容库，可以说是对大数据原型系统的一次真正意义的大考。项目组在西藏结点总结基础上，优化了数据上载、内容提取、内容库及索引创建等关键流程，还对分析和挖掘层进行了探索性研究。
   大数据技术开启了智能地质调查与服务时代，新疆国土资源信息中心大数据结点的建立标志着网格结点建设及网格平台大数据研究又向前跨出了坚实一步。基于大数据技术的多样化碎片化数据和资料的内容视图化将改变传统地质资料阅读和查找方式。其多样化碎片化复杂的数据和资料从千万册资料以合订册的方式提供服务，并快速以主题词收索或语义挖掘方式，形成多个知识片段，是新一代地质数据和资料智能服务模式变革特点。
通过实际部署,项目组获取到大量关键参数和技术指标,也看到内容存储效率上的不足和问题，这些关键指标和问题为后续完善大数据平台,优化平台性能积累了宝贵经验，也为以后更智能、更经济有效地从高频率、大容量、异构数据中获取价值数据打下坚实基础。（吕 霞 供稿）

图1 技术讨论与结点部署

图2 李超岭副总介绍项目研究现状

图3 讨论会现场