ピアノ演奏を楽譜に書き起こす「耳コピAI」 －実用に近いレベルの楽譜生成に初めて成功－

　中村栄太 白眉センター特定助教、柴田健太郎 情報学研究科修士課程学生（研究当時）、吉井和佳 同准教授らの研究グループは、ピアノ演奏音声データから楽譜を自動で生成する技術を開発して、実用に近いレベルの楽譜生成に世界で初めて成功しました。

　音楽の演奏を聴いて楽譜に書き起こす「採譜」は耳コピとも呼ばれ、特殊な訓練をした人だけがもつ能力です。誰でも好きな曲を楽譜にして演奏などに使えるようにするため、この能力をコンピューターで再現する「自動採譜技術」の研究が行われています。特に、ピアノ演奏の採譜は、音高（ピッチ）とリズムの複雑な組み合わせを認識する必要があり、非常に難しい問題です。本研究では、大量のデータを用いた機械学習と人間演奏のモデルに基づく方法で、ピアノ演奏の自動採譜の精度を大幅に向上させ、演奏や人による採譜の補助に部分的に用いることができる楽譜の生成に成功しました。今後は、実用化に向けた研究開発、音楽学研究や音楽教育への応用、そして文化を支える知能の科学的理解につながると期待されます。また、著作権法や音楽家への影響の問題も提起しています。

　本研究成果は、2021年3月13日に、国際学術誌「Information Sciences」のオンライン版に掲載されました。

　本研究のプロジェクトページには、採譜結果の例が多数掲載されています。