人手評価用のフレームワークの追加

[speed1313]

• 各モデルのpredictionをもとにして, モデルA vs. モデルB の人手評価を簡単に行えるようにしたい.

[Silviase]

Results→Metricの計算→DBへの格納と同様に何か行いたいですね．
定期的に#playgroundにポストして人手評価ができるような仕組みがあると良いのですが．

[Silviase]

デカい人手評価はとても偉くて，こういう評価用のモデルを作ってからそれを報酬に推論モデルを強化するなどができるので作っておくと貢献になりそう

https://llava-vl.github.io/blog/2024-10-03-llava-critic/

[Silviase]

「目的」「出力（１つあるいは組み）」「スコア（あるいは優劣）」を大量に集める必要があるが，Out-of-domainをどのように解決したかは気になる（こういう場合，「目的」は単なるタスク分類器としてしか機能しない場合があるが…）