何故 clang++ 編？

前記事で、clang でも結果変わらないって書いてあったじゃん？
→ 再度追試を行ったら違う結果が出てきました。ごめんなさい。
（恐らくコンパイルした後にリンクのコマンドを打つのを忘れていたものと思われる……。辛い）

また、こちらの記事の方が正確に検証しています。

先に本記事の結論を書いておきます。

本記事の結論

• clang++ は -O3 でリンクアンローリングを行う（前記事からの修正 / 具体的には自分でコンパイルして調べて頂ければ）

下記ベンチマーク環境においては、clang++ での出力結果は Rust の出力と比較して、統計的に有意（p < 0.01）に速い

ベンチマーク環境

コンパイラ on 環境その2

• clang

8.0.0

Rustc

1.39.0-nightly

環境その2でコンパイルしたものを環境その1で流用しています。

環境その1

• OS

Fedora 30

CPU

AMD A6-1450

Memory

DDR3-1333 4GB x 1 (4GB)

環境その2

• OS

Fedora 30

CPU

Intel i7 4771

Memory

DDR3-1600 8GB x 2 (16GB)

測定条件

コンパイルコマンド

# libSolveRust.so は前回のものを流用するものとして、省略
# clang++ でのコンパイル
clang++ main.cpp -I/usr/include/c++/9/x86_64-redhat-linux/ -O3 -c -o main.o
# リンク
g++ main.o -L. -lSolveRust

このコンパイルオプションにてmain.cppのみ編集し、 Rust → C++ → C++ → Rustの順番で実行するバイナリ及び、 C++ → Rust → Rust → C++の順番で実行するバイナリの計2つを用意した。

実行回数

• 環境その1ではRust → C++ → C++ → Rustのバイナリを20回実行した。（Rust, C++の各々で40サンプルずつ）

環境その2では2つのバイナリを各々100回実行するのを2回行った。（Rust, C++の各々で800サンプルずつ）

計測結果

以下で貼られるグラフは、横軸が実行回数、縦軸がSolveの実行時間（ms）です。

環境その1

t-検定

    Welch Two Sample t-test

data:  cpp and rust
t = -7.2259, df = 45.615, p-value = 4.377e-09
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -45.3178 -25.5672
sample estimates:
mean of x mean of y 
 7433.776  7469.219 

環境その2

（生アウトプットはでかすぎるので省略）

• 200回ごとに切れ切れに計測しているので、その間にCPU温度が下がり周期的に時間が短くなっている場所がある。

これは弊環境の空冷が貧弱なためである

400回目までが、Rust → C++ → C++ → Rust の順番での計測、それ以降が C++ → Rust → Rust → C++ である。

t-検定

    Welch Two Sample t-test

data:  cpp and rust
t = -3.2078, df = 1596.6, p-value = 0.001364
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -63.32819 -15.26924
sample estimates:
mean of x mean of y 
 2491.068  2530.366 

結論

Rust より C++ の方が速い ?

感想

言語間の速度の比較は話題になるものの、実装者の腕やらコンパイラの最適化の差やらで厳密に定義することは本当に難しいなぁと思いました。
また、実行するCPUによってもレジスタリネーミングの強さやら、分岐予測の強さやら、命令のレイテンシー・スループットの違いなどなど、パラメーターが多すぎるのでこの結果が他のCPUでも同じとは到底言えません。
本結果は、あくまでも私の使える環境について結果を述べた似すぎず、かつコンパイラも上記バージョンのみしか使って居ないことはご了承ください。
とは言え、LLVM を使うような言語では、誤差は数%の差に過ぎないので、殆どのケースでは気にしなくてよいのではと思います。