|
搜狗搜索CIPS-SOGOU問答比賽啟動新任務(wù),是時候展示真正的技術(shù)了! 這是一則智能問答領(lǐng)域技術(shù)牛人的招募帖:如果你天賦異稟,擅長鉆研尖端智能問答課題,想找到更大的施展平臺;如果你癡迷智能問答研究,想結(jié)識更多志同道合之士,一塊切磋技藝、挑戰(zhàn)技術(shù)難題;如果你是一個“佛系”研究者,僅僅想獲取更多真實數(shù)據(jù)集,讓研究課題取得突破性進展。 搜狗搜索誠邀你參加日前正式啟動的CIPS-SOGOU問答比賽“非事實類問答子任務(wù)”,這里將是你施展身手、結(jié)識同行、獲取真實數(shù)據(jù)集的絕佳舞臺! 比賽難度加碼 挑戰(zhàn)無極限 CIPS-SOGOU問答比賽,是搜狗搜索舉辦的國內(nèi)首檔基于大規(guī)模真實用戶問答數(shù)據(jù)集的問答評測任務(wù)。此次問答比賽分為“事實類問答”和“非事實類問答”兩項子任務(wù),分別對應(yīng)事實類問題和非事實類問題。去年9月,伴隨著“事實類問答子任務(wù)”的啟動,CIPS-SOGOU問答比賽已正式拉開戰(zhàn)幕。 相較“事實類問題”而言,“非事實類問題”的問答內(nèi)容形式更加廣泛,包括列舉(list)、定義(definition)、方式(how)、原因(why)、假設(shè)(hypothetical)等等。 根據(jù)賽制,參賽者需基于搜狗搜索提供的問題以及相對應(yīng)的若干候選答案篇章,設(shè)計算法,從候選篇章中抽取合適的詞語、短語或句子,作為問題的預(yù)測答案,正確、完整、簡潔地回答該問題,答案文本長度限定在500字內(nèi)。每個問題,參賽者只需提供一個預(yù)測答案!胺鞘聦嶎悊柎鹱尤蝿(wù)”將針對該預(yù)測答案與標準答案計算ROUGE-L和BLEU值,再以測試集上兩個指標的平均值作為最終指標。 (圖:CIPS-SOGOU問答比賽任務(wù)說明) 大賽將采用排行榜機制,適時對所有提交的結(jié)果進行自動評價和排名,針對事實類和非事實類子任務(wù)分別設(shè)置一等獎、二等獎、三等獎。比賽將在2018年11月CIPS年會上舉行頒獎儀式,授予獲勝者獎金和榮譽證書。 數(shù)據(jù)顯示,截至目前,參加CIPS-SOGOU問答比賽“事實類問答子任務(wù)”的隊伍已經(jīng)達到200多個,其中,有128支隊伍來自北京大學、哈爾濱工業(yè)大學、中山大學等高校,12支來自中科院計算機所、中科院自動化所等科研機構(gòu),41支來自騰訊、Rokid、云知聲等科技企業(yè),25支來自其他業(yè)內(nèi)研究者及機構(gòu)。 (CIPS-SOGOU問答比賽“事實類問答子任務(wù)”報名機構(gòu)分布) “非事實類問答子任務(wù)”的啟動,意味著此次比賽的難度和挑戰(zhàn)性將進一步升級,勢必將會吸引更多、更廣泛的高校隊伍及業(yè)界精英參與進來。屬于搜狗搜索CIPS-SOGOU問答比賽的“高光時刻”,才剛剛開啟,正待你的參與! 公開百萬真實數(shù)據(jù)集 行業(yè)研究迎重大利好 值得期待的是,此次“非事實類問答子任務(wù)”中,搜狗搜索將公開百萬級真實用戶問答數(shù)據(jù)集,包含10萬個非事實型問題,代表了最真實廣泛的網(wǎng)民信息需求,以及100萬個對應(yīng)問題的候選篇章及答案標注(每個問題對應(yīng)給出10個候選答案篇章),候選篇章都是從搜索引擎檢索真實網(wǎng)頁結(jié)果中抽取的文本。 這些大規(guī)模數(shù)據(jù)集,不僅能給參賽選手帶來參賽和實踐的便利,還使智能問答技術(shù)的研究迎來了發(fā)展良機。眾所周知,數(shù)據(jù)是智能問答科研方面最寶貴的資產(chǎn),尤其是反映真實用戶問答需求的中文數(shù)據(jù)集非常稀缺。在這方面,學術(shù)界和創(chuàng)業(yè)團隊所能獲得的數(shù)據(jù)資源通常遠少于產(chǎn)業(yè)界的企業(yè)。 在此前的“事實類問答子任務(wù)”以及去年4月份搜狗搜索舉辦的“面向智能問答的篇章排序”評測比賽,搜狗搜索就曾公開數(shù)百萬真實用戶問答數(shù)據(jù)集。此次再度公布的這些寶貴的科研數(shù)據(jù),將會繼續(xù)推動智能問答技術(shù)的研究,并為參賽選手帶來更大的挑戰(zhàn)及展示的舞臺。 搜狗搜索CIPS-SOGOU問答比賽“非事實類問答子任務(wù)”報名已經(jīng)啟動,智能問答領(lǐng)域的高手和牛人們,快快舞動你們的手指,通過 “搜狗實驗室”官網(wǎng)(http://task.www.sogou.com/cips-sogou_qa/)提交個人信息,報名參賽吧!
|