ChatGPTはバグ修正に使えるのか？

ドイツのJohannes Gutenberg University Mainzと
英University College Londonに所属する
研究者らが発表した論文「An Analysis of the
Automatic Bug Fixing Performance of ChatGPT」は、
ChatGPTが自動バグ修正にどれほどの
精度を発揮するのかを検証した研究報告だそうです。

プログラマーがソフトウェアのバグを発見し
修正する作業を支援するために、バグ修正
ソフトウェアパッチを自動的に提案する
自動プログラム修正（APR）システムが
導入されている。
主要なAPRはコストがかかるため、
実行可能なパッチが開発者に
提示されるまでに数時間かかってしまうそうです。

最近では、ChatGPTでもソースコードに関する議論、
例えば不正なコードの修正案を
求めることにも利用できる。
だが、この提案の質はまだ不明である。

そこで、この研究ではChatGPTの
自動バグフィックス性能を評価・分析する。
実験では、ChatGPTやCodex、CoCoNut、
標準のAPRの4つの異なるシステムに
40個のバグのあるコード（QuixBugsベンチマークセット）を
与えたそうです。

結果、ChatGPTはヒントなしに40問中19問の
問題を解決し、Codexは21問、CoCoNutは19問、
標準のAPRアプローチは7問を解決したそうです。

すごいですね。
半分ですか。
それでも、すごいと思います。
時代がどんどん進んでいます。

2023/02/06 (Mon) 日記