Generated with sparks and insights from 6 sources

img6

img7

img8

img9

img10

img11

Introduction

  • NTTが新たな学習転移技術を開発し、AIモデルの再学習コストを大幅に削減可能にした。

  • 学習転移技術は、過去の学習過程を再利用することで、低コストで新たなモデルの学習結果を得ることができる。

  • この技術により、生成AIなどの大規模基盤モデルの運用コストや消費電力を削減できる。

  • 学習転移技術は、ニューラルネットワークのパラメータ空間の高い対称性を活用している。

  • NTTの研究成果は、2024年5月に開催されるICLR 2024で発表される予定。

学習転移技術の概要 [1]

  • 学習転移技術は、過去の学習過程を再利用する新たな仕組み。

  • ニューラルネットワークのパラメータ空間の高い対称性を活用。

  • 低コストな変換により、数秒～数分で一定の精度を実現。

  • 再学習コストを大幅に削減可能。

  • 生成AIなどの大規模基盤モデルに適用可能。

img6

img7

基盤モデルの特徴 [2]

  • 基盤モデルは、大量かつ多様なデータで訓練される。

  • 多様な下流タスクに適応できる汎用性が高い。

  • ファインチューニングにより、特定のタスクに最適化可能。

  • 従来のAIと異なり、汎用性と精度の両方を兼ね備える。

  • 大規模言語モデル（LLM）は基盤モデルの一種。

NTTの研究成果 [1]

  • NTTは、学習転移技術を世界で初めて提唱および実証。

  • ニューラルネットワークのパラメータ空間の高い対称性を活用。

  • 過去の学習過程を適切な置換対称性によって変換。

  • 新たなモデルの学習過程として再利用可能。

  • ICLR 2024で発表予定。

img6

生成AIの運用効率化 [3]

  • 生成AIの運用容易化に貢献。

  • 基盤モデルの定期的な更新に伴う再チューニングコストを削減。

  • 消費電力の削減にも寄与。

  • 多様な基盤モデルの運用コスト削減。

  • AIコンステレーションの構想具現化に貢献。

今後の展望

  • NTTの研究成果は、次世代のAI技術開発に貢献。

  • 大規模言語モデル「tsuzumi」の運用コスト削減。

  • 環境負荷軽減にも寄与。

  • AIコンステレーションの構想具現化。

  • ICLR 2024での発表を予定。

Related Videos

<br><br>

<div class="-md-ext-youtube-widget"> { "title": "Stable Diffusion\u3001\u751f\u6210AI\u3067\u30b2\u30fc\u30e0\u696d\u754c\u306f\u3069\u3046\u5909\u308f\u308b!?\u307e\u305a\u306f ...", "link": "https://www.youtube.com/watch?v=NImgD4hWyxA", "channel": { "name": ""}, "published_date": "Jul 30, 2023", "length": "" }</div>

<div class="-md-ext-youtube-widget"> { "title": "[Sakana AI\u6700\u65b0\u8ad6\u6587] AI\u304c\u79d1\u5b66\u8ad6\u6587\u3092\u81ea\u52d5\u751f\u6210\uff1f\u9a5a\u304d\u306e15\u30c9\u30eb\u3067 ...", "link": "https://www.youtube.com/watch?v=9Oa1ZY833jc", "channel": { "name": ""}, "published_date": "1 day ago", "length": "" }</div>