這是一則智能問答領(lǐng)域技術(shù)牛人的招募帖:如果你天賦異稟,擅長鉆研尖端智能問答課題,想找到更大的施展平臺(tái);如果你癡迷智能問答研究,想結(jié)識(shí)更多志同道合之士,一塊切磋技藝、挑戰(zhàn)技術(shù)難題;如果你是一個(gè)“佛系”研究者,僅僅想獲取更多真實(shí)數(shù)據(jù)集,讓研究課題取得突破性進(jìn)展。
搜狗搜索誠邀你參加日前正式啟動(dòng)的CIPS-SOGOU問答比賽“非事實(shí)類問答子任務(wù)”,這里將是你施展身手、結(jié)識(shí)同行、獲取真實(shí)數(shù)據(jù)集的絕佳舞臺(tái)!
CIPS-SOGOU問答比賽,是搜狗搜索舉辦的國內(nèi)首檔基于大規(guī)模真實(shí)用戶問答數(shù)據(jù)集的問答評測任務(wù)。此次問答比賽分為“事實(shí)類問答”和“非事實(shí)類問答”兩項(xiàng)子任務(wù),分別對應(yīng)事實(shí)類問題和非事實(shí)類問題。去年9月,伴隨著“事實(shí)類問答子任務(wù)”的啟動(dòng),CIPS-SOGOU問答比賽已正式拉開戰(zhàn)幕。
相較“事實(shí)類問題”而言,“非事實(shí)類問題”的問答內(nèi)容形式更加廣泛,包括列舉(list)、定義(definition)、方式(how)、原因(why)、假設(shè)(hypothetical)等等。
根據(jù)賽制,參賽者需基于搜狗搜索提供的問題以及相對應(yīng)的若干候選答案篇章,設(shè)計(jì)算法,從候選篇章中抽取合適的詞語、短語或句子,作為問題的預(yù)測答案,正確、完整、簡潔地回答該問題,答案文本長度限定在500字內(nèi)。每個(gè)問題,參賽者只需提供一個(gè)預(yù)測答案。“非事實(shí)類問答子任務(wù)”將針對該預(yù)測答案與標(biāo)準(zhǔn)答案計(jì)算ROUGE-L和BLEU值,再以測試集上兩個(gè)指標(biāo)的平均值作為最終指標(biāo)。
大賽將采用排行榜機(jī)制,適時(shí)對所有提交的結(jié)果進(jìn)行自動(dòng)評價(jià)和排名,針對事實(shí)類和非事實(shí)類子任務(wù)分別設(shè)置一等獎(jiǎng)、二等獎(jiǎng)、三等獎(jiǎng)。比賽將在2018年11月CIPS年會(huì)上舉行頒獎(jiǎng)儀式,授予獲勝者獎(jiǎng)金和榮譽(yù)證書。
數(shù)據(jù)顯示,截至目前,參加CIPS-SOGOU問答比賽“事實(shí)類問答子任務(wù)”的隊(duì)伍已經(jīng)達(dá)到200多個(gè),其中,有128支隊(duì)伍來自北京大學(xué)、哈爾濱工業(yè)大學(xué)、中山大學(xué)等高校,12支來自中科院計(jì)算機(jī)所、中科院自動(dòng)化所等科研機(jī)構(gòu),41支來自騰訊、Rokid、云知聲等科技企業(yè),25支來自其他業(yè)內(nèi)研究者及機(jī)構(gòu)。
這些大規(guī)模數(shù)據(jù)集,不僅能給參賽選手帶來參賽和實(shí)踐的便利,還使智能問答技術(shù)的研究迎來了發(fā)展良機(jī)。眾所周知,數(shù)據(jù)是智能問答科研方面最寶貴的資產(chǎn),尤其是反映真實(shí)用戶問答需求的中文數(shù)據(jù)集非常稀缺。在這方面,學(xué)術(shù)界和創(chuàng)業(yè)團(tuán)隊(duì)所能獲得的數(shù)據(jù)資源通常遠(yuǎn)少于產(chǎn)業(yè)界的企業(yè)。
在此前的“事實(shí)類問答子任務(wù)”以及去年4月份搜狗搜索舉辦的“面向智能問答的篇章排序”評測比賽,搜狗搜索就曾公開數(shù)百萬真實(shí)用戶問答數(shù)據(jù)集。此次再度公布的這些寶貴的科研數(shù)據(jù),將會(huì)繼續(xù)推動(dòng)智能問答技術(shù)的研究,并為參賽選手帶來更大的挑戰(zhàn)及展示的舞臺(tái)。
搜狗搜索CIPS-SOGOU問答比賽“非事實(shí)類問答子任務(wù)”報(bào)名已經(jīng)啟動(dòng),智能問答領(lǐng)域的高手和牛人們,快快舞動(dòng)你們的手指,通過
“搜狗實(shí)驗(yàn)室”官網(wǎng)(http://task.www.sogou.com/cips-sogou_qa/)提交個(gè)人信息,報(bào)名參賽吧!