報(bào) 告 內(nèi) 容 簡(jiǎn) 介 |
報(bào)告內(nèi)容簡(jiǎn)介: 多模態(tài)學(xué)習(xí)旨在學(xué)習(xí)模型以連接來(lái)自不同模態(tài)(如視覺(jué)、語(yǔ)言,、聽(tīng)覺(jué))的數(shù)據(jù),,并在此基礎(chǔ)上進(jìn)行協(xié)同理解和推理,。得益于大模型技術(shù)的迅速發(fā)展,多模態(tài)大模型的研究受到工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注,,各大科技公司的代表性多模態(tài)大模型產(chǎn)品如OpenAI的GPT-4o,、谷歌Gemini-flash、阿里Qwen-VL,。這些多模態(tài)大模型的依賴海量數(shù)據(jù)和高昂算力,,大部分中小企業(yè)和高校都難以負(fù)擔(dān)。本報(bào)告聚焦受限資源下的輕量化多模態(tài)學(xué)習(xí),,并圍繞“輕量化模型”和“模型輕量化”這兩條研究思路分享團(tuán)隊(duì)在相關(guān)領(lǐng)域的一些嘗試和思考,。 報(bào)告人簡(jiǎn)介: 余宙,杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院教授,,博士生導(dǎo)師,,計(jì)算機(jī)學(xué)院副院長(zhǎng)、國(guó)家級(jí)青年人才,、浙江省計(jì)算機(jī)學(xué)會(huì)副秘書長(zhǎng),。研究方向是多模態(tài)理解與推理、發(fā)表CVPR,、ICCV,、AAAI、MM等高水平論文50余篇,,總引用4900余次,,獲浙江省自然科學(xué)一等獎(jiǎng)(排2)、ACM杭州新星獎(jiǎng)等,。 |