近日,，新西蘭工程院院士Ruili Wang教授應(yīng)邀來(lái)我校電子與信息工程（大數(shù)據(jù)）學(xué)院,，并作了題為“Progress in Video Captioning”的學(xué)術(shù)報(bào)告。講座由學(xué)院院長(zhǎng)張石清教授主持,，吸引了多位教師和研究生前來(lái)學(xué)習(xí)交流,。

學(xué)術(shù)報(bào)告現(xiàn)場(chǎng)

王教授介紹了他們團(tuán)隊(duì)在人工智能領(lǐng)域的研究進(jìn)展，以及未來(lái)的研究方向,，特別介紹他們?cè)谝曨l描述方向的最新研究成果,，基于知識(shí)增強(qiáng)與解糾纏學(xué)習(xí)的視頻字幕生成方法。該方法通過(guò)引入大型語(yǔ)言模型作為即插即用的知識(shí)源,，將視頻中的視覺(jué)對(duì)象詞與語(yǔ)音轉(zhuǎn)錄信息整合為通用語(yǔ)義標(biāo)記,，并利用任務(wù)提示激活大型語(yǔ)言模型的推理能力以生成豐富多樣的文本知識(shí)；同時(shí)設(shè)計(jì)模態(tài)共享解糾纏學(xué)習(xí)模塊,，通過(guò)分離模態(tài)共享特征與模態(tài)特定特征,，增強(qiáng)視覺(jué)與文本信息的語(yǔ)義對(duì)齊,。會(huì)后，師生們踴躍提問(wèn),，就視頻描述方向的技術(shù)細(xì)節(jié),、未來(lái)發(fā)展方向等問(wèn)題與Ruili Wang教授展開(kāi)了熱烈的交流探討，現(xiàn)場(chǎng)學(xué)術(shù)氛圍濃厚,。

專家簡(jiǎn)介

Ruili Wang教授,，博士生導(dǎo)師，新西蘭工程院院士,，畢業(yè)于華中科技大學(xué)（學(xué)士）,、東北大學(xué)（碩士）、都柏林城市大學(xué)（博士）,，擔(dān)任新西蘭梅西大學(xué)數(shù)學(xué)與計(jì)算科學(xué)學(xué)院科研副院長(zhǎng),。目前從事的研究包括人工智能、機(jī)器學(xué)習(xí),、機(jī)器視覺(jué),、語(yǔ)音處理和自然語(yǔ)言處理等多個(gè)方面。曾獲得多個(gè)新西蘭國(guó)家級(jí)重大和重點(diǎn)項(xiàng)目的資助,。擔(dān)任多個(gè)SCI期刊的編委,，包括IEEE Transactions on Multimedia(TMM)，IEEE Transactions on Emerging Topics Computational Intelligence(TETCI),ACM Transactions Multimedia On Computing,Communications,and Applications(TOMM) Knowledge and Information Systems(Springer),Applied Soft Computing (Elsevier),Neurocomputing (Elsevier).