董诗云不是很理解唐玄生所说的涵义，但她也明白，这些几乎只能在科幻大片里面看到的智能机器人却活生生的就在自己身边。
“像黑客帝国那样的真的可能有吗？”
唐玄生笑道：“那只是未来的一种可能。就像是，譬如你看那些重生穿越小说，有穿越秦朝有穿越唐朝的，重生也是各种身份时间段都有。这些都是一种假设，但到底现实会如何，却不是电影里面写的那样。曾经的二战还不是有人假设假如不偷袭珍珠港如何，但这些都毫无意义的。”
董诗云道：“那你办学教这些的话，会不会将来也有人研制出糖糖孙小圣这样的机器人？”
唐玄生笑道：“这个我倒是不担心，因为现在的科学家已经有了惰性思维。糖糖或许有可能，但孙小圣不可能。就是糖糖以现在的科技水平，或许子子孙孙都未必能见到呢。智能，不是那么简单的。哪怕是老美北极熊也烧不起这个钱。其实谷歌推出阿尔法狗，也是希望借此筹募资金的意思。”
智能机器人的研究其实所有国家都在进行中，但也是非常谨慎的。因为这个比当初的网络概念股票需要的资金简直是不可同日而语。哪怕是最富有的公司也承担不起这个天量海量费用。
资本都是逐利的，资本宁愿花一百亿买一个被研制开发出的成果，而不愿意投入一百亿赌一个一百年可能有一万亿回报的研发。
譬如像唐玄生现在手里的催化剂，其实许多实验室并没有真正的赌身家，或者像他的无线充电技术，这些都是只要收购就可以立刻看到利润的，所以再贵也有人买单。
这也是为什么今年的诺贝尔奖都是和生物，也就是和人的健康息息相关。
2018年诺贝尔奖生理学或医学奖揭晓，詹姆斯?艾利森和本庶佑共同获奖，以表彰他们“发现负性免疫调节治疗癌症的疗法方面的贡献”。
2018年诺贝尔奖诺贝尔物理学奖揭晓，阿瑟?阿什金、热拉尔?穆鲁和唐娜?斯特里克兰共同获奖，以表彰他们“在激光物理领域的突破性发明”。
2018年诺贝尔奖诺贝尔化学奖揭晓，弗朗西丝?阿诺德、乔治?史密斯和格雷戈里?温特共同获奖，以表彰他们在酶的定向演化以及用于多肽和抗体的噬菌体展示技术方面取得的成果。
今年的物理和化学奖都是和健康相关的。其实主要就是可以很快转化为效益利润的。
健康本身就是蕴含着极大的利润，特别是现在人类一方面在破坏环境造成各种千奇百怪的病菌，一方面又拼命研究可以延缓衰老的药物。
自己制造出新的可以致命的疾病，又研制可以攻克疾病的药物。譬如各种肿瘤癌症艾滋等等。
先破坏再改善就是这样的一个怪圈。
假如唐玄生把黄金茶砖拿出去肯定是天价拍卖，但这个是不可以量产的。都需要时间的积淀，就像蟠桃五千年一开花，五千年一结果，五千年一成熟，真正的好东西都是需要时间的。
唐玄生可没有自大到自己可以长生不老，只要能活个一百岁还能吃能走就已经很满足了。
哪怕是吃了人参果和蟠桃唐玄生也不是十分自信。除非是自己培育的黎山老母留下的大红袍真的长出各种奇异的果实。
想到这个唐玄生有些羡慕糖糖和孙小圣。他也不知道当自己的生命结束时糖糖和孙小圣会怎样。
很多人会误以为机器人可能毁灭人类会是因为他们厌恶人类或者说对人类失去好感。其实不然。
就像我们随手灭掉一窝蚂蚁并不是我们非要对蚂蚁厌恶一样，理性是基于人类基因而言的。
为什么霍金会说超人工智能会毁灭人类？为什么比尔盖茨会不理解为什么有人不为此担忧？为什么马斯克会担心我们是在召唤恶魔？
为什么那么多专家担心超人工智能是对人类最大的威胁？这些站在焦虑大道上的思想家，不认同对于人工智能的危险的粉饰。
他们非常非常担心人工智能革命，他们不关注平衡木下比较有趣的那一个吸引态，而是盯着平衡木的另一边，而他们看到的是可怕的未来，一个我们未必能够逃离的未来。
我想了解人工智能的一个原因是“坏机器人”总是让我很困惑。
那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗？
我们难道不能设立很多安全机制吗？再不济，难道我们不能拔插头吗？而且为什么机器人会想要做坏事？或者说，为什么机器人会“想要”做任何事？我充满疑问，于是我开始了解聪明人们的想法。
首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。
科学家danny hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——生存危机。
可以想见，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：
自然——大型陨石冲撞，大气变化使得人类不能生活在空气中，席卷全球的致命病毒等。
外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。
人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能。
1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。
3则让我们很害怕，这些可以比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。
每次人类发明一些新东西，就相当于从罐中取出一个玻璃球。
大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规模杀伤性武器——这是那些红色玻璃球。
还有一些发明是可以让我们灭绝的，这就是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是不久的未来摸到一个黑色玻璃球不是完全不可能的。
比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。
一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”
他们已经有几款产品上架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字。
“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——
等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。
为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。
工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价。
每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”
让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来就像人写的了。
它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。
隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。
有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。
工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。
但是，隔壁老王是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。
而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。
于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。
一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。
同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校。餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。
而在隔壁老王机器人公司，隔壁老王正在忙着工作。之后的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。
隔壁老王开始了它的下一步，它开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……
人工智能和电脑的思考方式一样。
我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类智能程度的只有人类。
要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。
我们来做个比较。如果我给你一个小白鼠，告诉你它不咬人，你一定觉得很好玩，很可爱。
但是如果我给你一只狼蛛，然后告诉你它不咬人，你可能被吓一跳。但是区别是什么呢？两者都不会咬人，所以都是完全没有危险的。我认为差别就是动物和人类的相似性。
小白鼠是哺乳动物，所以在生物角度上来说，你能感到和它的一定关联。但是蜘蛛是昆虫，有着昆虫的大脑，你感觉不到和它的关联。
狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试，比如给你两个小白鼠，一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你。
“像黑客帝国那样的真的可能有吗？”
唐玄生笑道：“那只是未来的一种可能。就像是，譬如你看那些重生穿越小说，有穿越秦朝有穿越唐朝的，重生也是各种身份时间段都有。这些都是一种假设，但到底现实会如何，却不是电影里面写的那样。曾经的二战还不是有人假设假如不偷袭珍珠港如何，但这些都毫无意义的。”
董诗云道：“那你办学教这些的话，会不会将来也有人研制出糖糖孙小圣这样的机器人？”
唐玄生笑道：“这个我倒是不担心，因为现在的科学家已经有了惰性思维。糖糖或许有可能，但孙小圣不可能。就是糖糖以现在的科技水平，或许子子孙孙都未必能见到呢。智能，不是那么简单的。哪怕是老美北极熊也烧不起这个钱。其实谷歌推出阿尔法狗，也是希望借此筹募资金的意思。”
智能机器人的研究其实所有国家都在进行中，但也是非常谨慎的。因为这个比当初的网络概念股票需要的资金简直是不可同日而语。哪怕是最富有的公司也承担不起这个天量海量费用。
资本都是逐利的，资本宁愿花一百亿买一个被研制开发出的成果，而不愿意投入一百亿赌一个一百年可能有一万亿回报的研发。
譬如像唐玄生现在手里的催化剂，其实许多实验室并没有真正的赌身家，或者像他的无线充电技术，这些都是只要收购就可以立刻看到利润的，所以再贵也有人买单。
这也是为什么今年的诺贝尔奖都是和生物，也就是和人的健康息息相关。
2018年诺贝尔奖生理学或医学奖揭晓，詹姆斯?艾利森和本庶佑共同获奖，以表彰他们“发现负性免疫调节治疗癌症的疗法方面的贡献”。
2018年诺贝尔奖诺贝尔物理学奖揭晓，阿瑟?阿什金、热拉尔?穆鲁和唐娜?斯特里克兰共同获奖，以表彰他们“在激光物理领域的突破性发明”。
2018年诺贝尔奖诺贝尔化学奖揭晓，弗朗西丝?阿诺德、乔治?史密斯和格雷戈里?温特共同获奖，以表彰他们在酶的定向演化以及用于多肽和抗体的噬菌体展示技术方面取得的成果。
今年的物理和化学奖都是和健康相关的。其实主要就是可以很快转化为效益利润的。
健康本身就是蕴含着极大的利润，特别是现在人类一方面在破坏环境造成各种千奇百怪的病菌，一方面又拼命研究可以延缓衰老的药物。
自己制造出新的可以致命的疾病，又研制可以攻克疾病的药物。譬如各种肿瘤癌症艾滋等等。
先破坏再改善就是这样的一个怪圈。
假如唐玄生把黄金茶砖拿出去肯定是天价拍卖，但这个是不可以量产的。都需要时间的积淀，就像蟠桃五千年一开花，五千年一结果，五千年一成熟，真正的好东西都是需要时间的。
唐玄生可没有自大到自己可以长生不老，只要能活个一百岁还能吃能走就已经很满足了。
哪怕是吃了人参果和蟠桃唐玄生也不是十分自信。除非是自己培育的黎山老母留下的大红袍真的长出各种奇异的果实。
想到这个唐玄生有些羡慕糖糖和孙小圣。他也不知道当自己的生命结束时糖糖和孙小圣会怎样。
很多人会误以为机器人可能毁灭人类会是因为他们厌恶人类或者说对人类失去好感。其实不然。
就像我们随手灭掉一窝蚂蚁并不是我们非要对蚂蚁厌恶一样，理性是基于人类基因而言的。
为什么霍金会说超人工智能会毁灭人类？为什么比尔盖茨会不理解为什么有人不为此担忧？为什么马斯克会担心我们是在召唤恶魔？
为什么那么多专家担心超人工智能是对人类最大的威胁？这些站在焦虑大道上的思想家，不认同对于人工智能的危险的粉饰。
他们非常非常担心人工智能革命，他们不关注平衡木下比较有趣的那一个吸引态，而是盯着平衡木的另一边，而他们看到的是可怕的未来，一个我们未必能够逃离的未来。
我想了解人工智能的一个原因是“坏机器人”总是让我很困惑。
那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗？
我们难道不能设立很多安全机制吗？再不济，难道我们不能拔插头吗？而且为什么机器人会想要做坏事？或者说，为什么机器人会“想要”做任何事？我充满疑问，于是我开始了解聪明人们的想法。
首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。
科学家danny hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——生存危机。
可以想见，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：
自然——大型陨石冲撞，大气变化使得人类不能生活在空气中，席卷全球的致命病毒等。
外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。
人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能。
1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。
3则让我们很害怕，这些可以比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。
每次人类发明一些新东西，就相当于从罐中取出一个玻璃球。
大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规模杀伤性武器——这是那些红色玻璃球。
还有一些发明是可以让我们灭绝的，这就是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是不久的未来摸到一个黑色玻璃球不是完全不可能的。
比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。
一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”
他们已经有几款产品上架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字。
“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——
等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。
为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。
工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价。
每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”
让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来就像人写的了。
它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。
隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。
有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。
工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。
但是，隔壁老王是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。
而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。
于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。
一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。
同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校。餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。
而在隔壁老王机器人公司，隔壁老王正在忙着工作。之后的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。
隔壁老王开始了它的下一步，它开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……
人工智能和电脑的思考方式一样。
我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类智能程度的只有人类。
要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。
我们来做个比较。如果我给你一个小白鼠，告诉你它不咬人，你一定觉得很好玩，很可爱。
但是如果我给你一只狼蛛，然后告诉你它不咬人，你可能被吓一跳。但是区别是什么呢？两者都不会咬人，所以都是完全没有危险的。我认为差别就是动物和人类的相似性。
小白鼠是哺乳动物，所以在生物角度上来说，你能感到和它的一定关联。但是蜘蛛是昆虫，有着昆虫的大脑，你感觉不到和它的关联。
狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试，比如给你两个小白鼠，一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你。