基于Spark的GNSS网基线向量并行化处理

Parallel Processing of GNSS Network’s Baseline Vectors Based on Spark

摘要: 针对传统单机处理大规模复杂GNSS观测数据效率低的问题,引入了Spark大数据集群,利用子网划分思想并调用GAMIT软件对GNSS网基线向量进行解算,实现了并行化计算。实验结果表明,在保证解算精度与整体解算在同一量级上的同时,提高了执行效率,性能优于整体解算,较好地满足了大规模复杂GNSS数据处理需求。
- GNSS /
- 基线解算 /
- Spark /
- 并行化计算
Abstract: In order to solve the problem that the traditional single machine processing largescale and complex GNSS observation data are low efficiency, the Spark large data cluster is introduced, the subnet partition idea and the GAMIT software are used to calculate the GNSS network’s baseline vector, and the parallel computing is realized. The experimental results show that the efficiency is improved and the performance is better than the whole solution,and the accuracy is in the same order, which satisfies the demand of largescale and complex GNSS data processing.
- GNSS /
- baseline solution /
- Spark /
- parallelization calculation

[1]	李林阳,崔阳,陈正生,等.大规模 GNSS 网分布式存储与解算方法［J］.测绘科学技术学报,2016(5):464-469.
[2]	吕志平,陈正生,崔阳,等.大型CORS网基线向量的分布式处理［J］.测绘科学技术学报,2013,30(4):433-438.
[3]	KARAU H, KONWINSKI A,WENDEL P,等.Spark快速大数据分析［M］.王道远.译.北京:人民邮电出版社,2015:51-59.
[4]	杨国庆,岳东杰,陈浩,等.基于Hadoop的GNSS网基线向量的分布式处理［J］.全球定位系统,2017,42(4):66-69.
[5]	高彦杰.Spark大数据处理:技术、应用与性能优化［M］.北京:机械工业出版社,2014:1-9.
[6]	姜卫平,赵倩,刘鸿飞,等.子网划分在大规模GNSS基准站网数据处理中的应用［J］.武汉大学学报(信息科学版),2011,36(4):389-391+505.
[7]	王凯,曹建成,王乃生,等.Hadoop支持下的地理信息大数据处理技术初探［J］.测绘通报,2015(10):114-117.
[8]	陈正生,吕志平,崔阳,等.大规模GNSS数据的分布式处理与实现［J］.武汉大学学报(信息科学版),2015,40(3):384-389.
[9]	赵小娟,陈韬.基于Hadoop搭建云GIS平台的探索与研究［J］.广东科技,2014,23(20):140-141.
[10]	薛慧艳,独知行,李胜春,等.基于GAMIT的IGS跟踪站网基线解算［J］.全球定位系统,2012,37(1):.32-34.