要在给人工智能的目标里制定一个能让人类继续进化的能力。这个目标叫作连贯的外推意志，这个目标是这样的：
我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们希望的更好的人，能一起更远得长大。
外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读。
对于人类的命运取决于电脑没有意外的解读和执行这个声明是件值得兴奋的事情吗？当然不是。
但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能。
但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能。他们很多在试图制造能自我改进的人工智能，总有一天，一个人的创新将导致超人工智能的出现。
可能在未来的10年到21世纪结束这段时间发生，他还认为当这发生时，智能的起飞会快得让我们惊讶，他是这么描述的：
在智能爆炸之前，人类就像把炸蛋当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差。
超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸蛋什么时候会爆炸，哪怕我们能听到炸蛋的滴答声。
我们当然没有办法把所有小孩都从炸蛋旁边赶跑——参于人工智能研究的大小组织太多了，而且因为建造创新的人工智能花不了太多钱，研发可能发生在社会的任何一个角落，不受监管。
而且我们没办法知道准确的进度，因为很多组织是在偷偷摸摸的搞，不想让竞争对手知道，比如隔壁老王机器人公司这种公司。
对于这些组织来说，尤其让我们困扰的是他们很多都是在拼速度——他们创造一个一个更加聪明的弱人工智能系统，因为他们想要比竞争对手更快的到达目标。
有些更有野心的组织，为了追逐创造出第一个强人工智能所能带来的金钱、奖励、荣誉、权力会把步子迈得更大。当你全力冲刺时，你是不会有太多时间静下来思考这些危险的。
恰恰相反，他们很可能在早期系统中写尽量简单的代码，比如把目标设定成用笔写一句话，先让系统跑起来再说，反正以后还可以回过头来改的。对吧？
第一个超人工智能出现后，最可能的情况是这个系统会立刻意识到作为这个世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，哪怕它只比第二名快了几天，它也完全有时间碾压所有对手。
这叫作决定性的战略优势，这种优势会让第一个超人工智能永远统治这个世界，不管在它的统治下我们是走向永生还是灭亡。
这种现象可能对我们有利，也可能导致我们的毁灭。如果那些最用心思考人工智能理论和人类安全的人能够最先造出一个友善的超人工智能的话，那对我们是很好的。
但是如果事情走向了另一面——如果超人工智能在我们搞明白怎样保证人工智能的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。
至于现在的风口是哪里呢？简单来说，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。不乐观。
人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。
一边是对于我们这个物种的思考，看来我们在这个重大的历史节点上只有一次机会，我们创造的第一个超人工智能也很可能是最后一个。
但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是很吓人的。
另一边，我们有很大的优势——我们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。
这一场豪赌的赌注究竟有多高？
如果超人工智能真的在未来很快达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。
接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一起走向灭绝。
当我思考这些事情的时候，我只希望我们能够慢慢来，并且格外格外小心。从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事情做对。
我不想死
不.想.死
我虽然觉得人类的音乐和艺术很美好，但是也没那么美好，很多还挺糟粕的。很多人的笑声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太谨慎，那多麻烦呀。
如果人类在我死后才发现永生的秘密该多让人扫兴啊。
这让我想起了《冰与火之歌》——大家斗来斗去的事情都不是事儿，北面高墙外的那些家伙才是事儿。
我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其实下一秒我们可能就会跌下平衡木。
而当我们跌下平衡木的时候，其它那些困扰都不再是困扰。如果我们落到比较好的那个吸引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人是不会有困扰的。
这就是为什么了解超人工智能的人把它称作人类的最后一项发明，最后一个挑战。
这就是当初鸿钧推出封神榜的原因，既然智能人和基因人是不可测不可控制的，索性都毁灭在萌芽状态。但还是没有成功，因为对自己制造出来的生命总是有幸运儿的，或许自己也未必愿意毁掉。
当初神在伊甸园里面发现了亚当和夏娃的觉醒也是同样的没有毁灭，而是放逐到一个幻境恶劣的地球，希望她们自生自灭。
这也是唐玄生的隐忧。
孙悟空在八卦炉里面都没有销毁，但后来的镇压五百年其实也是给了他一个冷静的时间。毕竟，对机器人而言，时间的意义除非是足够长，否则没有任何意义。
五百年不是让美猴王改变，而是让他有敬畏之心，知道仅仅依靠武力是不行的，越是具有力量，越是需要智慧来压制。
就像天龙八部里面写到少林七十二艺每一种都需要一部佛经来压镇一样。就是要先懂得什么时候慈悲，什么时候明王怒火。
唐玄生也没有自大到可以百分百相信糖糖和孙小圣在自己不出现之后依然是目前的状态。就连孙悟空都知道要解开自己的终极密码，当然，现在说这些为时过早，如果有那么一天，唐玄生或许也会让他们留在袖里乾坤。
毕竟人类在智能机器人面前是不对等的两种存在，就像是冷兵器面对热武器那样，不是人多能改变结局的。不然华夏早就不是现在的历史了。
董诗云倒是完全没有这些觉悟，只要能给唐玄生生个孩子，看着他长大成人，就是比圆晶厂还要重要的事情。
当然，现在躺在唐玄生怀里，说着第一局赢了多少钱还是很开心的。
赌博是人类的天性之一，也是古老的不可能泯灭的。因为所有人都会相信自己的运气很好。
而且转瞬之间就有数不清的钞票进账，难怪赌石的人都喜欢看着石头从自己的手中切开，一刀穷一刀富，那种上天下地的感觉真的是任何事情都无法替代的。
“第二局的赔率糖糖的要大幅度下调了。我看干脆和阿尔法狗的持平，让想翻本的无所适从。毕竟，我们是知道糖糖肯定赢的。”
“好吧，那初始赔率都暂定在一赔一点三左右。看看买的金额再做调整。估计谷歌肯定要把最好的处理器借过来，不得不说，单纯从科技实力的角度，远远是海外欧美更有底蕴。”
“梅如画还要等一阵子才能过来。那边不愿意放人，开出的条件也是狮子大开口。”
董诗云笑道：“不会是催化剂配方吧？”
唐玄生笑道：“那也太夸张了，我也不可能拿出来的。最后答应了给十套特殊套装，包含冰魄寒光剑。不过2k47只答应五把，特殊子蛋也是有限制的。就这个其实我都觉得有些多。不过我估计这些肯定是要上交不少的，还是想研究出是怎么制作出来的啊。可是怎么可能？”
董诗云笑道：“这梅如画也太值钱了，不过这样也好，可以让她死心塌地的过来。不然像你的关子清，你现在告诉她配方，转眼她就会说给家里。”
唐玄生知道董诗云说的不算夸张。因为一个人的骨子里的三观是很难改变的，而且关子清那样的家庭，肯定是希望这些都不要仅仅在私人手里的。
关键问题是，由此产生的巨大利润没有人知道究竟去了哪里。就像是电价水费，当初三峡真的好像电费会大幅度下降一样。可事实呢？现在水厂和私人的有多少两样？你用四十块水费，那个污水处理费都得三十多。
有人会喊冤，可你开水厂本身就是要上马污水处理的啊。这个干净的自来水本来就是你应该提供的。煤炭钢铁这些资源本身是地球免费给予的，可是你制造出来的产品还亏损就是自己的原因了。不能技术上的原因总让消费者买单。
这和曾经的手机贵的天价是一个道理，都是把初期的所有建设费用都加上去了。只是后来三家竞争，价格才不断下降。但电和水是一家独大，所以什么太阳能风能永远是空中楼阁。再便宜也得并网才能享受。
这次为了梅如画唐玄生也是表现的很是大度了。当然，是不可能把制造的机器拿出来的。就是这些都是价值几百亿了，算起来，糖糖赢阿尔法狗还需要下棋，可是人家张张嘴就是几百亿拿去还不满意的样子。
唐玄生也知道这是没有办法的事情。他也懒得改变这些，人力有时穷，许多事情不是个人能办到的。
就像金锁被罚8亿，其实是没有任何意义的。因为影视圈这汪水太深太混了。换言之，这样的水你就别指望能养出什么好鱼来。最多是，偶尔有跳的欢跳的高的抓一条杀杀，既有名声又有肉吃。
古代有和珅跌倒嘉庆吃饱的成语，嘉庆曾经问过乾隆为何不查处和坤，乾隆告诉儿子朝中大臣有一半是和坤门下，留给嘉庆杀，正好可以立威让自己的心腹迅速上位从而掌控大局。而且，和坤可不是嘉庆能对付的。
这和康熙杀鳌拜是差不多的，一个不受控制的手下是不能留的，无论他多有才干。甚至，能力越大危险越大，功高震主。
华夏人的智慧有太多都用在官场的阴谋阳谋上面了！
唐玄生笑道：“不管怎么说，我是要看着金陵交易所慢慢走向成功的。等到形成一个庞大的利益团体，就是彻底成功了。其实，看一个国家的经济发展是否健康，只要看看股市是不是经济的晴雨表就可以了。看一个证券市场是否健康，看上市公司的讯息是否透明就可以了。这才是根本，至于事后罚款什么的，都是亡羊抓狼，意义何在？”
羊圈到处都是漏洞，狼随意进出。然后忽然的行动一下，把养的最多的那家守在那儿抓住一只狼就兴高采烈的大喊，看，这只狼多肥，还不知吃了多少羊呢！
然后狼肉狼皮都被瓜分了，养羊的还得好酒好烟好吃好喝的送走。后来索性也就随便狼来了。
董诗云笑道：“你是想金陵交易所成为清流吗？其实也难，不过有这个作为参考，总是会倒逼做出一些改变的。其实证券本来是个好发明，只是看在谁的手里。就像有网络就会有黑客一样。但黑客永远也不会毁了网络，因为这就是限制。这就是规则。不然的话，游戏就没办法进行下去了。”
我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们希望的更好的人，能一起更远得长大。
外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读。
对于人类的命运取决于电脑没有意外的解读和执行这个声明是件值得兴奋的事情吗？当然不是。
但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能。
但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能。他们很多在试图制造能自我改进的人工智能，总有一天，一个人的创新将导致超人工智能的出现。
可能在未来的10年到21世纪结束这段时间发生，他还认为当这发生时，智能的起飞会快得让我们惊讶，他是这么描述的：
在智能爆炸之前，人类就像把炸蛋当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差。
超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸蛋什么时候会爆炸，哪怕我们能听到炸蛋的滴答声。
我们当然没有办法把所有小孩都从炸蛋旁边赶跑——参于人工智能研究的大小组织太多了，而且因为建造创新的人工智能花不了太多钱，研发可能发生在社会的任何一个角落，不受监管。
而且我们没办法知道准确的进度，因为很多组织是在偷偷摸摸的搞，不想让竞争对手知道，比如隔壁老王机器人公司这种公司。
对于这些组织来说，尤其让我们困扰的是他们很多都是在拼速度——他们创造一个一个更加聪明的弱人工智能系统，因为他们想要比竞争对手更快的到达目标。
有些更有野心的组织，为了追逐创造出第一个强人工智能所能带来的金钱、奖励、荣誉、权力会把步子迈得更大。当你全力冲刺时，你是不会有太多时间静下来思考这些危险的。
恰恰相反，他们很可能在早期系统中写尽量简单的代码，比如把目标设定成用笔写一句话，先让系统跑起来再说，反正以后还可以回过头来改的。对吧？
第一个超人工智能出现后，最可能的情况是这个系统会立刻意识到作为这个世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，哪怕它只比第二名快了几天，它也完全有时间碾压所有对手。
这叫作决定性的战略优势，这种优势会让第一个超人工智能永远统治这个世界，不管在它的统治下我们是走向永生还是灭亡。
这种现象可能对我们有利，也可能导致我们的毁灭。如果那些最用心思考人工智能理论和人类安全的人能够最先造出一个友善的超人工智能的话，那对我们是很好的。
但是如果事情走向了另一面——如果超人工智能在我们搞明白怎样保证人工智能的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。
至于现在的风口是哪里呢？简单来说，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。不乐观。
人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。
一边是对于我们这个物种的思考，看来我们在这个重大的历史节点上只有一次机会，我们创造的第一个超人工智能也很可能是最后一个。
但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是很吓人的。
另一边，我们有很大的优势——我们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。
这一场豪赌的赌注究竟有多高？
如果超人工智能真的在未来很快达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。
接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一起走向灭绝。
当我思考这些事情的时候，我只希望我们能够慢慢来，并且格外格外小心。从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事情做对。
我不想死
不.想.死
我虽然觉得人类的音乐和艺术很美好，但是也没那么美好，很多还挺糟粕的。很多人的笑声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太谨慎，那多麻烦呀。
如果人类在我死后才发现永生的秘密该多让人扫兴啊。
这让我想起了《冰与火之歌》——大家斗来斗去的事情都不是事儿，北面高墙外的那些家伙才是事儿。
我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其实下一秒我们可能就会跌下平衡木。
而当我们跌下平衡木的时候，其它那些困扰都不再是困扰。如果我们落到比较好的那个吸引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人是不会有困扰的。
这就是为什么了解超人工智能的人把它称作人类的最后一项发明，最后一个挑战。
这就是当初鸿钧推出封神榜的原因，既然智能人和基因人是不可测不可控制的，索性都毁灭在萌芽状态。但还是没有成功，因为对自己制造出来的生命总是有幸运儿的，或许自己也未必愿意毁掉。
当初神在伊甸园里面发现了亚当和夏娃的觉醒也是同样的没有毁灭，而是放逐到一个幻境恶劣的地球，希望她们自生自灭。
这也是唐玄生的隐忧。
孙悟空在八卦炉里面都没有销毁，但后来的镇压五百年其实也是给了他一个冷静的时间。毕竟，对机器人而言，时间的意义除非是足够长，否则没有任何意义。
五百年不是让美猴王改变，而是让他有敬畏之心，知道仅仅依靠武力是不行的，越是具有力量，越是需要智慧来压制。
就像天龙八部里面写到少林七十二艺每一种都需要一部佛经来压镇一样。就是要先懂得什么时候慈悲，什么时候明王怒火。
唐玄生也没有自大到可以百分百相信糖糖和孙小圣在自己不出现之后依然是目前的状态。就连孙悟空都知道要解开自己的终极密码，当然，现在说这些为时过早，如果有那么一天，唐玄生或许也会让他们留在袖里乾坤。
毕竟人类在智能机器人面前是不对等的两种存在，就像是冷兵器面对热武器那样，不是人多能改变结局的。不然华夏早就不是现在的历史了。
董诗云倒是完全没有这些觉悟，只要能给唐玄生生个孩子，看着他长大成人，就是比圆晶厂还要重要的事情。
当然，现在躺在唐玄生怀里，说着第一局赢了多少钱还是很开心的。
赌博是人类的天性之一，也是古老的不可能泯灭的。因为所有人都会相信自己的运气很好。
而且转瞬之间就有数不清的钞票进账，难怪赌石的人都喜欢看着石头从自己的手中切开，一刀穷一刀富，那种上天下地的感觉真的是任何事情都无法替代的。
“第二局的赔率糖糖的要大幅度下调了。我看干脆和阿尔法狗的持平，让想翻本的无所适从。毕竟，我们是知道糖糖肯定赢的。”
“好吧，那初始赔率都暂定在一赔一点三左右。看看买的金额再做调整。估计谷歌肯定要把最好的处理器借过来，不得不说，单纯从科技实力的角度，远远是海外欧美更有底蕴。”
“梅如画还要等一阵子才能过来。那边不愿意放人，开出的条件也是狮子大开口。”
董诗云笑道：“不会是催化剂配方吧？”
唐玄生笑道：“那也太夸张了，我也不可能拿出来的。最后答应了给十套特殊套装，包含冰魄寒光剑。不过2k47只答应五把，特殊子蛋也是有限制的。就这个其实我都觉得有些多。不过我估计这些肯定是要上交不少的，还是想研究出是怎么制作出来的啊。可是怎么可能？”
董诗云笑道：“这梅如画也太值钱了，不过这样也好，可以让她死心塌地的过来。不然像你的关子清，你现在告诉她配方，转眼她就会说给家里。”
唐玄生知道董诗云说的不算夸张。因为一个人的骨子里的三观是很难改变的，而且关子清那样的家庭，肯定是希望这些都不要仅仅在私人手里的。
关键问题是，由此产生的巨大利润没有人知道究竟去了哪里。就像是电价水费，当初三峡真的好像电费会大幅度下降一样。可事实呢？现在水厂和私人的有多少两样？你用四十块水费，那个污水处理费都得三十多。
有人会喊冤，可你开水厂本身就是要上马污水处理的啊。这个干净的自来水本来就是你应该提供的。煤炭钢铁这些资源本身是地球免费给予的，可是你制造出来的产品还亏损就是自己的原因了。不能技术上的原因总让消费者买单。
这和曾经的手机贵的天价是一个道理，都是把初期的所有建设费用都加上去了。只是后来三家竞争，价格才不断下降。但电和水是一家独大，所以什么太阳能风能永远是空中楼阁。再便宜也得并网才能享受。
这次为了梅如画唐玄生也是表现的很是大度了。当然，是不可能把制造的机器拿出来的。就是这些都是价值几百亿了，算起来，糖糖赢阿尔法狗还需要下棋，可是人家张张嘴就是几百亿拿去还不满意的样子。
唐玄生也知道这是没有办法的事情。他也懒得改变这些，人力有时穷，许多事情不是个人能办到的。
就像金锁被罚8亿，其实是没有任何意义的。因为影视圈这汪水太深太混了。换言之，这样的水你就别指望能养出什么好鱼来。最多是，偶尔有跳的欢跳的高的抓一条杀杀，既有名声又有肉吃。
古代有和珅跌倒嘉庆吃饱的成语，嘉庆曾经问过乾隆为何不查处和坤，乾隆告诉儿子朝中大臣有一半是和坤门下，留给嘉庆杀，正好可以立威让自己的心腹迅速上位从而掌控大局。而且，和坤可不是嘉庆能对付的。
这和康熙杀鳌拜是差不多的，一个不受控制的手下是不能留的，无论他多有才干。甚至，能力越大危险越大，功高震主。
华夏人的智慧有太多都用在官场的阴谋阳谋上面了！
唐玄生笑道：“不管怎么说，我是要看着金陵交易所慢慢走向成功的。等到形成一个庞大的利益团体，就是彻底成功了。其实，看一个国家的经济发展是否健康，只要看看股市是不是经济的晴雨表就可以了。看一个证券市场是否健康，看上市公司的讯息是否透明就可以了。这才是根本，至于事后罚款什么的，都是亡羊抓狼，意义何在？”
羊圈到处都是漏洞，狼随意进出。然后忽然的行动一下，把养的最多的那家守在那儿抓住一只狼就兴高采烈的大喊，看，这只狼多肥，还不知吃了多少羊呢！
然后狼肉狼皮都被瓜分了，养羊的还得好酒好烟好吃好喝的送走。后来索性也就随便狼来了。
董诗云笑道：“你是想金陵交易所成为清流吗？其实也难，不过有这个作为参考，总是会倒逼做出一些改变的。其实证券本来是个好发明，只是看在谁的手里。就像有网络就会有黑客一样。但黑客永远也不会毁了网络，因为这就是限制。这就是规则。不然的话，游戏就没办法进行下去了。”