地球は丸いので、遠く離れた2点の距離は、平らな紙の上のように三平方の定理で求めることはできません。地球の表面に沿った、いちばん短い線の長さを計算します。
地球を半径約6,371kmの球とみなして計算する方法です(大円距離)。計算が簡単で、よく使われます。
実際の地球は、赤道の方向に少しふくらんだ形(回転楕円体)をしています。日本の測量では、赤道半径6,378,137m・扁平率1/298.257222101の「GRS80楕円体」が使われます。この形で距離を求める代表的な方法が「Vincenty(ヴィンセンティ)法」で、計算上の誤差は1mmよりずっと小さいとされています。きょりナビは、この方法で距離を求めています。
| 2地点 | 楕円体(Vincenty法) | 球として計算 | 差 |
|---|---|---|---|
| 新宿駅〜渋谷駅 | 3.65 km | 3.66 km | 約+0.2% |
| 東京駅〜大阪駅 | 403.83 km | 403.06 km | 約-0.2% |
| 東京駅〜札幌駅 | 831.40 km | 832.60 km | 約+0.1% |
球としての計算でも、差は0.2%前後です。1kmなら2m程度の違いなので、目安としては十分な精度です。ただ、正確さを求める場面では楕円体での計算が向いています。