楽譜画像から音符を検出して音名を印字するデモアプリ「Otome」を作りました。実際に触ってお試しいただけます。 → Otomeを試す
サンプル楽譜も用意しているので、手元に楽譜画像がなくてもすぐに動作を確認できます。
Otomeでできること
- 楽譜の画像(PDF,JPG, PNG)をアップロードすると、写っている音符を自動検出
- 検出した音符に「ドレミ」または国際式（C, D, E...）の音名を楽譜内に印字
- 印字された音名の位置や文字サイズはGUI上でドラッグして自由に調整可能
- 複数ページのPDFにも対応し、まとめて1つのPDFとしてダウンロード可能
譜読みの補助として、あるいは自分の楽譜にどの音がどこに配置されているかをざっと確認したいときに使えるツールです。
仕組みについて少しだけ
音符の検出には、オープンソースの物体検出モデル をファインチューニングしたモデルを使っています。いわゆる OMR（Optical Music Recognition、光学楽譜認識）と呼ばれる技術領域の応用です。検出結果から音の高さ（ピッチ）を推定し、音名に変換して画像上に重ねて表示しています。
注意事項
これはまだ実験的なデモアプリです。楽譜の印字状態や手書き譜面によっては、音符の検出精度が十分でない場合があります。うまく検出できなかった場合は、GUI上で音名ボックスを手動で追加・修正することもできます。
使ってみての感想やフィードバックがあれば、アプリ内の「開発者にフィードバックを送る」リンクからぜひお寄せください。