類人智能的幾個啟示

3352153404_4bbb97fcd2

一、“勿忘有機組成”

很多人可能還記得哲學課中的一個關鍵詞“有機組成部分”,意指很多部分通過比較恰當的方式組成在一起,就會提供各個部分無法提供的功能,比如一輛汽車,缺少一些核心部件,就無法實現他的功能,比如輪子,方向盤、發動機,等等。
在處理人工智能問題時,同樣需要重點關注這個基本原則,這個原則提醒我們,很多時候可能我們離成功只差一步,我們可能還缺少一個關鍵部件,比如,有了自稀疏編碼器、有了層次化結構模型、但缺少attetion machanism,即注意力機制,可能也會無法實現我們想要的智能,從另一個角度,很多東西可能又不是必要的,比如神經支撐物、蛋白質、血液。 Read more

神經網絡圖靈機(Neural Turing Machines, NTM)

近期,Google Deep Mind團隊提出了一個機器學習模型,并起了一個特別高大上的名字:神經網絡圖靈機,我為大家翻譯了這篇文章,翻譯得不是特別好,有些語句沒讀明白,歡迎大家批評指正 ??

原論文出處:http://arxiv.org/pdf/1410.5401v1.pdf。

版權所有,禁止轉載。


 

神經網絡圖靈機

Alex Graves [email protected]
Greg Wayne [email protected]
Ivo Danihelka [email protected]

Google DeepMind, London, UK

摘要

本文通過引入一個使用注意力程序進行交互的外部存儲器(external memory)來增強神經網絡的能力。新系統可以與圖靈機或者馮·諾依曼體系相類比,但每個組成部分都是可微的,可以使用梯度下降進行高效訓練。初步的結果顯示神經網絡圖靈機能夠從輸入和輸出樣本中推理出(infer)簡單的算法,如復制、排序和回憶。

Read more

香港最快报码开奖结果