大数据（一）
先得谢谢葡萄，与葡萄在其他帖子中的讨论有收益和启发。应葡萄之邀，开大数据贴。这个是它山之石。
贝尔纳·斯蒂格勒，法国当代哲学家。“技术哲学”的代表人物。其《技术与时间》系列重新确立了技术在哲学领域的地位。
这位老兄就是抢银行的那位法国学者。在国内做过多次讲座。我没有参加，同事和朋友都参加。讲座涉及到了许多技术领域。现在把他的关于大数据内容观点归纳如下：（茶友们也可以在网上查到）
▲ 当前我们正处在一个全球范围的大规模高速毁灭中，其方向必须被颠倒过来，如果大数据依旧是促使人类快速做决定，依旧是资本大爆炸、技术大爆炸，那么人类是没有未来的。
▲ 无产阶级是一个过程，一个把人民同他们的知识、学识分离的过程。资本主义就是让所有属于人的知识、认知被机器所抢夺。
▲ 信息和技术的发展，使得资本不再是一个简单的血汗工厂就能概括的概念。
▲ 大数据是完全自动化的数据分析，它产生自动化的、高速的理解系统，这个系统如果是在非理性的情况下，将是非常危险的。机器的处理其实是非理性化的，它没有人的加入。
▲ 我认为大数据是理解，而人类的理性是综合和做决定。
▲ 资本在高速运转，大数据的海量处理推动了资本运转更加快速地进行。那么会不会形成资本的大爆炸？19世纪，人类学理论认为人类处于无序的状态之下。到了20世纪，人类开始寻求人类内部有序的组织。重要的是，要将大数据推动资本运转的无序，变为有序。
▲ 大数据高效的自动分析，如果说有积极作用的话，那么并不是促使人去光速地做决定。而是使人有更多的时间，看人类与技术共存的更好的方向在哪里。是减慢，是给人类时间。
很明显，贝尔纳·斯蒂格勒在这里述说的大数据，与《大数据时代》一书中所描述的技术层面的大数据是不同的。
不知道理解的对不对，他这个理解有些太机械了，我的理解：大数据是灵活的变动的，是归纳是预判。 世界已经步入多元，还拿社会主义和资本主义出来划分，理论先天就不足，结论很可能谬以千里 最后一条听起来很打动人。世界进入快消时代后，如果还能再慢下来，必定是要找到社会不以资本扩张为进步推动的道路。 大数据对于人类就相当于刀对于人类一样，看怎么用，掌握在谁手里。 本帖最后由 我不吃青椒 于 2015-3-14 19:53 编辑
我的理解是《苍穹之下》死于大数据。
每年年底或者次年年初，企业们的生产计划会上，各部门头头脑脑聚在一起，以自己的知识和经验为基础，对下一个年度计划讨价还价。但是最终不免回到罗列数据，比如最大生产能力，产品价格历史数据，成本核算结果……而总经理们并不用对诸如“CJK6408型机床伺服电机的清洗”等细枝末节有深刻理解。只凭借部门主管的专业知识和罗列出来的数据进行决策。无疑，精通专业知识，有实践经验的决策者，在生死存亡关头做出卓越判断的可能性更高。但是大部分情况下，不是本行业科班出身的职业经理人一样可以使相对繁琐的生产企业运转如常。
以决策过程为引导的数据收集和分析，直至最终做出决策的体系出现了。
如果不是互联网如此深入我们的生活，我们大部分人终其一生都不会对这样的决策过程有任何体验。而当每个人都能从互联网上获得海量信息，当我们注册个号码就能当个小老板，动动手指就会被奸商骗哭的时候。决策问题就出现了。我们不得不调动我们可怜的知识积累去应对几乎无限的信息轰炸，并迅速作出决策。依靠碎片化知识进行分析判断这件事几乎让所有的人难以招架。人们就像电影里试图人工破译恩尼格码的语言学家——换句话说被骗惨了。
事情总有转机，随着互联网进一步深入到生活的方方面面。大部分理智的人再也不会轻信网上流传的各种所谓“不转不是人”之类的消息。而是寻求对重点信息进行调查，分析利弊。
我认为，形如现代企业决策过程的，依靠数据综合分析的决策体系。当这个决策体系依靠互联网提供数据，并且决策过程可以使用的样本空间大大超出决策本身所需样本的时候，就可以被称为大数据。
PS:回到开头的《苍穹之下》。这样一个策划周密的片子，以伪纪录片的形式在两会时推出是要造成轰动性舆论的。但是社会反映各异，讨论趋于理性。人们更多的是把目光放到了片子中所说问题的真实背景（包括柴静本人）然后各自把屁股坐在自己的位置上讨论。这本身就说明，有意无意间人们在用大数据的方式做决策了。 守望大西瓜 发表于 2015-3-14 18:41 static/image/common/back.gif
不知道理解的对不对，他这个理解有些太机械了，我的理解：大数据是灵活的变动的，是归纳是预判。
守望大西瓜：你好！
他的讲座是非常生动的。我这里只是罗列了他的观点，他的解释和论述是比较严谨的。机械是我的原因。
大数据是，灵活的，变化的。你这个理念非常非常正确！有的时候，我们看到大数据就像有生命一样的呼吸，在脉动。就像一条生命的河随着时间向前流淌。像河，就会湍流，有浪花，还有回流，等等。也就是大数据会产生絮乱，甚至异化。这是大问题。
归纳和演绎是一对范畴，在预判中都有作用，但是，两者还是有差别。归纳长于抽象，演绎长于再现和预判。
谢谢你的回复，谢谢！ 本帖最后由 西溪老槐 于 2015-3-15 07:58 编辑
wild007 发表于 2015-3-14 19:02 static/image/common/back.gif
世界已经步入多元，还拿社会主义和资本主义出来划分，理论先天就不足，结论很可能谬以千里
wild007：你好！
用社会主义和资本主义的视角，不是这多元世界中的一元吗？包容，是多元世界存在的前提。不是吗？
更何况，这位抢银行的老兄对马克思主义的认识与我们教科书中的马克思主义可是相差很远的呢。
有可能你找找当年小布什的财政当家人保尔的回忆录，也许你会有收获的。
谢谢你的回复，谢谢! ariadne 发表于 2015-3-14 19:19 static/image/common/back.gif
最后一条听起来很打动人。世界进入快消时代后，如果还能再慢下来，必定是要找到社会不以资本扩张为进步推动 ...
ariadne：你好！
马克思主义的一块基石：人与自然的矛盾，是人类社会的第一矛盾。人们从自然获得资源是有限的。当人们不为资本所驱使时，一定是这个社会的运行是用有限的资源满足人们的需要。而实现这个愿景的最有效方法，就是社会性的计划。
大数据的发展，为实现这个愿景提供了可能。
谢谢你的回复，谢谢! shanhai 发表于 2015-3-14 19:20 static/image/common/back.gif
大数据对于人类就相当于刀对于人类一样，看怎么用，掌握在谁手里。
shanhai：你好！
从目前大数据的水平看，它的工具性还是占主导地位。
谢谢你的回复，谢谢! 我不吃青椒 发表于 2015-3-14 19:44 static/image/common/back.gif
我的理解是《苍穹之下》死于大数据。
每年年底或者次年年初，企业们的生产计划会上，各部 ...
我不吃青椒：你好！
“我认为，形如现代企业决策过程的，依靠数据综合分析的决策体系。当这个决策体系依靠互联网提供数据，并且决策过程可以使用的样本空间大大超出决策本身所需样本的时候，就可以被称为大数据。”
我补充一项，就是数据的“采样”。采样的标准和时间，它需要人们对观察对象的深入了解，理解，对其发展的趋势有明确稳定的把握。
谢谢你的回复，非常喜欢你的举例。谢谢你:handshake 西溪老槐 发表于 2015-3-14 20:50 static/image/common/back.gif
我不吃青椒：你好！
“我认为，形如现代企业决策过程的，依靠数据综合分析的决策体系。当这个决策体系 ...
我的理解：尽管数据分析可以做到类似于人的“去粗取精、去伪存真、由此及彼、由表及里”，但人的作用在于对过程的理解、对现象的综合、概括、升华、引申，而这个理解也是多元的，最后的选择也可能是多样性的。
数据并不是一切。 请问是 《未来媒体/艺术高级研修班》http://i.youku.com/u/UMjk0NDI0MDI2NA== 这个系列演讲吗？ 大数据是另一种收割的工具，也是知识进化的必然结果，人类进化还在进行，并且加速，生产力会越来越高，但知识的分化以及知识被资本掌握后的工具化，使社会的分层越来越明显，单个人难以对抗和挑战。好在大数据再神奇，带来的利益及控制再有效，金子塔尖的人有时还是会感到无聊，众乐乐与独乐孰乐？如果没车衬托和对比，光是自己一个人或少数人享受也会无趣吧！贵人们有时也会到大排档随喜的。 本帖最后由 一九合十 于 2015-3-15 00:36 编辑
大数据，是人类的一个工具。
既然是工具，它就是“人类控制工具”而不是“工具控制人类”。
就不应该本末倒置。
越是厉害的工具，作用力越大，反作用力也越大。对于人类来说，能不能驾驭，怎么驾驭，就是关键问题。
在人类前进的道路上，就如同河流里面的水的流动，当它还能够流得走的时候，肯定是要往前走的，当出现了走不通的时候，出问题的时候，就要自动寻找拐弯的方向，朝着能够流得走的方向再次前进。
如果是四面都碰壁了，到处都走不通的时候，就必然是停留在那里，汇聚更多的水流，总有一天，决堤而去，再次冲出一个能够突破的口子。
而对于人类的未来来说，这个前进，所面对的永远都是一片未知的区域。 曾经看过一个片子，讲的是一个小孩生下来就比别人长得快，1年长4岁，结果中学毕业就白发苍苍了。
其实长得太快有什么好？同样的道理，社会发展太快，只不过是在加速耗尽自然资源而已。只不过落后就会挨打，所以大家都拼命发展。 不好说点什么，感觉大家和葡萄说的都不是一回事情。
葡萄说的似乎是：
1、大数据配置资源是高效的。接近共产主义，
2、大数据学习是高效的，所以人神分野。及统治阶级和被统治阶级基本无法流动。
3、大数据是高效的，所以生产力发展加速，整合资源能力超强，一些国家将永无出头之日。
这些是跟读葡萄帖子的理解，错了请葡萄不要在意哈。 {:4_255:} 本帖最后由 我不吃青椒 于 2015-3-16 08:09 编辑
西溪老槐 发表于 2015-3-14 20:50 static/image/common/back.gif
我不吃青椒：你好！
“我认为，形如现代企业决策过程的，依靠数据综合分析的决策体系。当这个决策体系 ...
当具备真实交易的事项被计算机完整记录以后，整个数据收集和分析过程是不需要人工的。比如在火车运输领域我们个人能做到的采样非常有限。而如果直接使用12306的数据，就像你雇佣了一个超级运输部经理，他精确的罗列以前各期铁运数据，并且还能预测出任何时间段任何线路的客流趋势，期间所用到的统计学和数学技巧让你望而生畏。但这一切都不重要，重要的是你可以开始依托数据检查所面临决策的各个环节。
再比如，如果检查今天晚上网络中出现频次最高的词，恐怕就是缅甸了。那么接下来检查出现频率次高的词会是什么？出现排名前十的词和缅甸之间有直接逻辑关系的有哪些？对于媒体来说，可能意义非凡。
我的意思是在数据如何使用上，各取所需。接下来，归纳总结工作交由计算机来做，优秀的演绎推理才是人的工作。 本帖最后由 黎明の瞳 于 2015-3-16 00:55 编辑
tnq 发表于 2015-3-15 15:59 static/image/common/back.gif
不好说点什么，感觉大家和葡萄说的都不是一回事情。
葡萄说的似乎是：
我看呀，当技术比较成熟的3D打印和信息化相结合的时候，恐怕是有质的飞跃。就如同我们现在借打印机打印一些文章一样，我们可以借X地的3D打印机打印东西，接着让顺风快递直接送到X地的朋友家。而不需要现在这么依靠大厂的限制，必须到某些工厂里面做完后再从很远的地方送给朋友。大意就是，可能3D打印和信息技术集合会释放出一定量的生产资料，让生产资料接近自由化，而不是固定在某些人的手上。完成了信息 - 物质的转换。 黎明の瞳 发表于 2015-3-16 00:53 static/image/common/back.gif
我看呀，当技术比较成熟的3D打印和信息化相结合的时候，恐怕是有质的飞跃。就如同我们现在借打印机打印一 ...
这种生产资料（3d打印的原材料）也不是一般人能生产的吧，如果所有的生产工具都能这样打印，那生产原材料的工厂就是生产资料的掌握者，如果生产原材料也不是秘密，那社会形态确实完全变化，只是这种费效比还得比传统的便宜才能推广。 大数据不可能“是完全自动化的数据分析，”必然要有人工干预。
大数据是人工智能的应用，而人工智能的数学模式的建立和修正都是需要人工干预的。
在建立了经过验证的数学模拟之后，可能会有一段时间里可以放手让计算机做完全自动化的数据分析。但是经济世界和生物世界一样，都是是动态的，随着的世界复杂性的增加，还是需要再认识、再修正，所谓认识世界、改造世界，认识与实践的统一。
有一种数学模式的建立和修正看起来是不需要人工干预的，就是把数据不断的feed到计算机里，让计算机把结果反馈到修正程序里面去，最后得到正确的数学模拟。但是最初的数学假设和反馈的方法还是需要人工干预的。
我现在的工作与“大数据”无关，但是我以前做过一点人工智能的研究，忍不住要信口开河，说错了，大家可以辩论。
{:4_264:}
感谢老槐，暂时没世界和你娓娓道来。
今天俄罗斯启动战略力量了，在他退出俄欧安全条约之后。这个世界在发生深刻改变，你我讨论更触及这个世界改变后的诺干安排。但是眼下，我想起了三年前一个朋友和我提过的话，这是一个国家数目会不断减少的时代。眼下，这个新时代就在启动的过程了，不过后面是不是战争我已经不在焦虑或者去揣测。做好我自己。等一些事情告一段落，我们继续我们的话题。
另我们对这些大数据的讨论，目的或者本质之一是要参与讨论的人或者看我们讨论愿意独立思考的人思考一下，在这样时代变迁与社会变革中我们将如何自处将如何选择。而就大数据本身而言，我在既往的讨论中发现很多人不以为然或者认为重要和自己生活没有直接关系。如果这样的人比例超过社会的三分之一，我几乎可以算出来最后这个社会百分之九十以上资源会集中在多少人的手里，并在几年内完成。我去年尝试过用大数据管理流程梳理股票筛选工作，当时月复合收益超过百分之40，那之后我公开了我部分思路，有人结合自己优势重组了自己的操作流程最好的收益是四个月8.9倍。我曾经和西西河大牛讨论过这种收益，他说这种收益不可复制。而同时我在自己群里做大数据同步率的尝试，发现一个单位时间段对应财富再分配的同步率，很短时间内会被自然淘汰的至少是三成。这虽然是一个初步的样本，我实际在试图说明，当大数据进入固定资产的立法阶段，哪怕仅仅是进入立法阶段，这不可避免导致社会的激烈重组。而这种激烈，现在的社会中层已经在拼命抵抗。我今天和一个朋友说，这种抵抗在大数据重组带来的经济效益面前，那些抵抗几乎没有任何意义。我实际说了那么多实际想说的是，我相信主席相信只有这些新技术新工具掌握在多数人手里，才能符合多数人的发展需要。这个认知需要很多年来实现，所以我才说在这个帝国时代我可以等一千年。但是，在这个数字化社会崛起之处，我能做的是帮助愿意和时代共同进化的人跟上变革的脚步，那是我希望的种子。就目前看，我所提及的新技术新社会组织形式会不可避免甩开很多人。毕竟时间不等人，我们的社会问题积累也到了不能不正面回应的阶段了。还是当年在当年西西河写很多同步信息的初衷类似，看明白一个或许活一个。现在信息同步的尝试不会继续，我只想说明我在接触新生事物中发生的部分规律性的东西来加以讨论。其他各安天命。
不好意思说了那么多废话，争取早日一一回复你，多谢。
.
羽笛 发表于 2015-3-16 09:37 static/image/common/back.gif
大数据不可能“是完全自动化的数据分析，”必然要有人工干预。
大数据是人工智能的应用，而人工智能的数学 ...
一个图灵机做不到的事情，或者算法上一个图灵机组不可能做到的的事情，现在通过图灵机组来尝试。起码，过去先于算法的局限不可能做到的事情正在新突破中实现。这个新突破边界在哪里暂时不好说 黎明の瞳 发表于 2015-3-16 00:53 static/image/common/back.gif
我看呀，当技术比较成熟的3D打印和信息化相结合的时候，恐怕是有质的飞跃。就如同我们现在借打印机打印一 ...
欧洲人今年有个一个很重要的实验，这个时间做了几十年了，2015年可能会在原有基础上有所突破。就是把光直接转化为物质的尝试。
我为什么现在不做信息同步的尝试，而转向说事物发展的新规律及其本质问题也在这里，我们今天讨论的基础也许明天就开始过时。
同样的时代有类似的，当年蒸汽机上轮船后，我们在第一次鸦片战争第二次鸦片战争面对的还是列强的风帆船。而不久之后，李鸿章引进的是当时世界上最先进的铁甲船组建了北洋舰队。在黄海海战中，北洋舰队采用了风帆与蒸汽混合动力动力船时代最后一次大规模海战胜利一方的队形在进攻中惨败。当时，北洋舰队和日本联合舰队各自代表的造舰技术时代的趋势却是北洋舰队的一方：巨舰重炮。
我不吃青椒 发表于 2015-3-16 00:15 static/image/common/back.gif
当具备真实交易的事项被计算机完整记录以后，整个数据收集和分析过程是不需要人工的。比如在火车运输领 ...
你在讲人未来的分工和发展中不被替代的可能。:lol qli872 发表于 2015-3-15 14:24 static/image/common/back.gif
曾经看过一个片子，讲的是一个小孩生下来就比别人长得快，1年长4岁，结果中学毕业就白发苍苍了。
其实长 ...
关键是有多个竞争对手，你不发展，别人发展，然后是资源的从新分配。
无解。极致就是不可再生资源自身的数量上限。 我今天在自己群对一个朋友这样说
我今天在茶馆有个初步的结论
一旦数据纳入固定资产范畴哪怕进入立法程序
完成我们过去三十年那样的社会财富再分配只需要五年时间
我说法比较绕，小圈子里很习惯通过一个关键节点的突破点一点，然后圈子内的人各自通过自己的专业范畴展开讨论。由于长期讨论的同步性，这样对一些节点以及相关术语的歧义就很小。我上回复你那么多，实际说的就是这个。
最后补充的是，我和朋友们就技术上实现这样的再分配，结论是实际不需要五年甚至不需要三年，只要这个确定进入立法阶段。五年还是便于多数人接受的表达方式，因为这本身是立法程序的实现。联系到立法法的修正，这些到临界点的时间不简单。
对了我有时候说一件事，不过是在陈述我看到的我关心的我判断的关键节点出现了关键突破。至于这么评价，我很少说。这需要一个系统性的世界观来对应。不然陌生人看我文字很难理解我实际在说什么。
本帖最后由 海因杰 于 2015-3-16 20:34 编辑
葡萄 发表于 2015-3-16 17:55 static/image/common/back.gif
感谢老槐，暂时没世界和你娓娓道来。
今天俄罗斯启动战略力量了，在他退出俄欧安全条约之后。这个世界在 ...
我记得你说过，在工业时代，尤其是大机器生产时代，随着分工的不断深入，人对自身的价值越来越模糊，而且面对大机器“压迫”感到无力，所以异化。
现在说中层的抵抗，是不是因为面对未来大数据社会，他们自身的价值已经降低了？
可是人工智能发展这么快，未来社会的很多工作都要被代替，那普通人的价值也降低了？所以会爆发抵制新机器运动？
我很不解，人的价值要怎么衡量？
知识？金钱？或者说掌握数据的多寡？
海因杰 发表于 2015-3-16 20:33 static/image/common/back.gif
我记得你说过，在工业时代，尤其是大机器生产时代，随着分工的不断深入，人对自身的价值越来越模糊，而且 ...
:lol 我觉得中层的抵抗 是他们被剥夺了权利的分配 普通人么应该毫无提升空间，10年前你干这样的活，10年后你还是干一样的活 坏的总结是 活的无趣 好的总结是 活的平凡