スコア問題の解答の評価を行う環境をAWSで組んでいます。どのようなシステムになっているかを紹介します。
費用はそこそこ抑えられていると思っていて、AHC031での実績は 1000ケース*2秒のテスト実行を165セット行って$5くらいのコストでした。
概要
AWS Batch で実行してます。
処理の詳細を順に説明します。
1. Dockerイメージをpush
採点環境となるDockerイメージをbuildしてECRにpushしておきます。
どういう環境にするかは、AtCoderの 言語アップデートのスプレッドシート を参考にするとよいかも。
イメージのエントリポイントとして、「S3から $(環境変数で指定される提出ID)/solver.zip をダウンロードして展開し、その中にあるrun.sh を実行する」というシェルスクリプトを指定しておきます。
これはコンテストごとには行わず、共通のイメージを使います。そうできるよう、エントリポイントを汎用的なものにしています。
2. テストケースをS3にアップロード
コンテスト開始時に、採点に使うテストケースを生成し、zipにまとめてS3にアップロードしておきます。
3. ソースコードをS3にアップロード
テスト実行ごとに、解答のソースコードと、テスト実行時に呼ばれる run.sh をzipにまとめてS3にアップロードします。
S3のパスは $(コンテストID)/$(日時のDDhhmm)/ としてます。日・時・分をIDにしているので1分間に複数回実行できないですが、数十秒待てばいいだけだし視認性を高める方を取りました。
run.sh の例 : https://github.com/tomerun/AHC031/blob/master/run.sh
- 環境変数で指定された値を元に、実行するseedの範囲を定める
- S3から 2. でアップロードしたテストケースをダウンロードして展開する
- ソースコードをコンパイルする
- 実行して log.txt にスコアなどの情報を出力する
- log.txt をS3にアップロードする
4. 5. 6. テスト実行
aws batch submit-job のコマンドで AWS Batch にジョブを投げます。
AWS Batch は内部で自動的に適切な数のEC2インスタンスを立ち上げてジョブを実行し、終了したらインスタンスを終了してくれます。
3.でアップロードした run.sh が実行され、テストケースのダウンロード・解答の実行・結果のS3へのアップロードが行われます。
この内容は、一つ前の3.と一緒にひとつのスクリプトで実行できるようにしてます。
AWS Batchについて色々
- コンピューティング環境の設定で、インスタンスタイプはc系のスポットインスタンスが使われるようにしてます。
- EC2インスタンスを立ち上げるのに数分かかるため、その分の実行時間が余計にかかります。
- 各ジョブには2vCPUを割り振ってます。
- 以前実験したとき、1vCPUだと実行時間が単に遅いだけでなくだいぶ不安定になっていたため、少々もったいないですがシングルスレッドでも2vCPU使ってます。
- 同じインスタンスタイプでも、どうしてもインスタンスガチャ要素はあるようです。同じソースコードで実行しても、はっきりとした結果の優劣が出ることがたまにあります。
パラメタを振ったテストを行いたいとき
例えば焼きなましの初期温度を 1,3,10 のそれぞれで試したい場合、環境変数で INI_TEMP=1, INI_TEMP=3, INI_TEMP=10 のようにそれぞれのパラメタの値を渡したジョブをパラメタの数だけ作り、投げます。 run.sh でコンパイルするときに -DINI_TEMP=$INI_TEMP のようにして解答に反映します（コンパイル定数ではなく、解答にも環境変数で渡すようにするのもアリです）。
S3のパスは $(コンテストID)/$(日時のDDhhmm)/$(パラメタの値) のように、パラメタごとに別々のパスになるようにします。
7. 終了通知
ジョブが終了したら、そのイベントをトリガーにEventBridgeから slack webhook へリクエストすることで、ジョブの成功または失敗が自動で通知され、終了したことがすぐわかるようにしてます。
8. 結果のダウンロード
ジョブが終了したら、S3にアップロードされた実行結果をダウンロードしてきます。
aws s3 sync コマンドを使ってます。
9. 結果の分析
8.でダウンロードした結果をcutコマンドとかでなんやかんやしてスプレッドシートに入れ、好きに分析します。
結果はDBに入れていい感じのフロントエンドを作るとか、Google Sheetsに自動で入れるとか、手作業を減らせる方法はあるとは思うのですが、分析はアドホックに色々行いたいと思うので柔軟性を最大化したくてこうなってます（あとは普通に開発が面倒というのももちろんある）。
あと、結果はJSONLとかの構造化データになっていた方が扱いやすいとは思うのですが、解答をC++で書いたときに標準ライブラリではそういった形式に出力できないので、プレーンテキストを文字列処理する形にしてます。
補足：実行環境をAWS Lambdaにすることについて
AWS Lambda で実行すればインスタンス起動のオーバーヘッドはかなり減り、並列度を大幅に高めることもできる（AWS BatchはEC2インスタンスの起動・終了のオーバーヘッドがあるので1000ケースを1000並列で1ケースずつ実行するようなことは非現実的だが、Lambdaだとそれができる）のですが、
- ICFPCなど、コンテストによってはLambdaの限界である15分より長く実行したい場合がある
- インスタンスガチャ要素がAWS Batchよりさらに高そう（実験したわけではない）
- 対vCPU時間でのコスパはAWS Batchに比べて悪い
といった理由で、採用しませんでした。
短期コンテストで使用するにはLambdaの方が良さそうではあるのですが。
