ＡＩを単なる計算機から
人間のように世界を理解できる賢いパートナーに！
「マルチメディア解析」の挑戦
関西大学 ビジネスデータサイエンス学部 教授
新田 直子 先生
画像、音、文章。複数の情報を組み合わせる
私の専門は「マルチメディア解析」です。これは画像や文章、音、位置情報など、さまざまな情報を組み合わせてコンピュータに解析させる研究分野です。人は目で見るだけでなく、音を聞いたり周囲の状況やこれまでの経験を踏まえたりして物事を理解します。同じように、コンピュータも複数の情報を組み合わせることで、より正確に状況を理解できるようになります。具体的には、映像と音楽を組み合わせた自動編集、映像を見ている時の視聴者の反応からその人の潜在的な好みを推定する研究や、監視カメラの映像と気象センサなどを組み合わせて都市の環境変化を観測する研究、SNSの投稿と位置情報を組み合わせて地域の状況を把握する研究などに取り組んできました。現在は、生成AIを活用して「人が受ける印象」をコントロールしながら画像を生成する最先端の研究や、文章と画像が人に与える印象の関係を解析する研究にも取り組んでいます。１つの情報だけでは分からないことを複数組み合わせて明らかにし、人にとってより便利で信頼できる情報技術の実現を目指しています。
きっかけはスポーツ中継の映像解析
「面白そう」から「役立てたい」に
私がこの研究に興味を持ったのは、大学院でスポーツ中継の映像を解析する研究を選んだことがきっかけでした。画像だけでなく、実況中継のテキストを組み合わせて、試合の流れをコンピュータに理解させるという内容です。最初は「面白そうだから」という軽い気持ちで選んだテーマでしたが、研究を進めるうちに考えが変わりました。画像だけを見るより、文字や音など異なる情報を組み合わせた方が、より正確に世界を理解できるという考え方に強く惹かれるようになったのです。人間が物事を総合的に判断するように、コンピュータにも複数の情報から理解させることができれば、より賢く役立つシステムが作れるのではないかと考え、今日までこの研究を続けています。
情報の結びつきが新たな発見を生む
この研究の面白さは、関連した複数の種類の情報を結び付けることで、一種類の情報では分からなかった新たな発見につながるところです。各メディアの解析にはAIの機械学習などの技術を用いますが、その技術は時代とともに大きく変わっていきます。私が研究を始めた頃は、ノイズ（不要な情報）を含むデータから、いかに工夫してAIに適切な学習をさせるかが重要でした。しかし現在は、すでに高性能な「学習済みAI」をどのように活用するかが重要になっています。それでも、「異なる情報を組み合わせて、コンピュータにより深く世界を理解させる」という研究の本質的な考え方は変わっていません。新しい技術が次々に登場する中で、それらを柔軟に取り入れながら新しい可能性を探っていけることが、この研究の面白さだと思っています。
失敗を恐れない挑戦と、自らの言葉で伝える力が武器になる
私が大学で一緒に学びたいのは、「なぜだろう」と考え、自ら行動できる学生です。大学では、まだ誰も答えを知らない問題に取り組みます。すぐに答えを求めるのではなく、自分なりに考え、アイデアを出して試してみる姿勢が大切です。研究に失敗はつきものですが、それも新しい発見につながる貴重な経験ですから、ぜひ恐れずに挑戦してください。こうした「自ら考え、行動する力」を育むためにも、高校時代から興味を持ったことには積極的に挑戦してほしいと思います。
また、人と協力する経験も大切です。大学では周囲に相談する場面が多くあります。その際、「ここまではできたが、ここが分からない」と状況を整理し、相手に分かりやすく説明する力が求められます。生成AIで簡単に文章を作れる時代だからこそ、自身の言葉で考え、伝える力を身につけてください。それは社会に出てからも大きな武器になると思います。
新田先生からのメッセージ
受験勉強をしていると、この教科は将来何の役に立つのだろう、と思うこともあるかもしれません。しかし、高校での学びは全て、自分の中にさまざまな「引き出し」を増やす作業です。後になって思わぬかたちで役に立つことがありますから、「使えるか、使えないか」を気にせず、人生の土台を作るつもりで学んでください。大変なことも多いと思いますが、今の苦労は決して無駄にはなりません。
大学は、異なるバックグラウンドを持つ同級生や、専門知識を持つ先生など、多様な人と出会う場です。いろいろな考え方や価値観に触れながら、自分の興味や可能性を広げていってください。応援しています。
社会科学系
自然科学系
総合系
