大数据（三）
本帖最后由 西溪老槐 于 2016-2-13 05:23 编辑挖大数据这个坑已经有一段时间了。早该填上。只因工作上的事多，也有许多事得再等一等，再看一看，便拖到现在。今天盖上这个坑。
彼得·圣吉在《第五项修炼》中有一个重要的思想：当我们认为某一系统是按照某种规律运行时，其实真正影响该系统运动的却是我们眼光之外的另一个系统。这个另外一个系统与我们关注的系统之间的关系，才是具有真正的规律性。
从分析几家知名电商、智库以及相关单位利用大数据预测的经济活动失败的案例来看，失误证明了彼得·圣吉的这个思想。
当下流行市场决定论，认为只要是市场化，就会成功。这些失误的预测，都是假设市场一定是有效的，是一条颠扑不破的规律。并以此作为大数据处理数据的标准。而没有注意到决定市场是否有效依赖于集合条件充分必要。“约束条件成立，市场有效”才是真正的因果关系。市场有效是有前提条件的，非常苛刻。
市场有效的前提条件，比较共识的有五个：
一、市场解决效率问题，不能解决公平问题。
二、消费者是理性的。消费者明确知晓自己为什么要消费某个商品，也清楚在诸商品中间，为什么首选这个商品，次选那个商品，……以此类推。用术语说，就是即每个消费者能清晰地把握自己的偏好排序。
三、消费者的偏好是“局部非饱和的”。“局部非饱和”是指，消费者对商品的需求没有顶，是一种“多多益善”的状态。偏好，是一种心理状态，是非常主观的。需要，相对应分为使用价值和价值的表达体现。比如，馒头能填饱肚子，价钱尽可能便宜。
四、围绕商品的信息对买卖双方者是透明的。
五、不存在垄断势力。这里的“势力”是指有垄断主体实施的垄断行为。“垄断局面”并不属于该条件的势力范畴。
只有当这个五条件同时具备时，这个市场才会是有效的，才能合理的分配资源。那么，如今的市场真的具备了这样的条件了吗？
关于第一条，公平问题。我们眼光扩展一下，这个世界上，人人生来就是平等的吗？不！人，生来就不平等。生理，性别，心理，职业，技能，社会地位，等等都是处于不平等的状态。所以，社会发展的一个很重要的动力就是追求公平。而不是平等。
关于第二条，茶友们比较熟悉的。诺奖已经说明，消费者的决策并不是每次都理性的。
关于第三条，在不同市场中，有些商品满足消费者使用价值是有饱和点的。比如，房地产市场，房子满足消费者居住的使用价值是有饱和点的。三口之家，最少一套，孩子长大分家，两套；家庭解体，最多三套。四套，多了一套，就会出现资源配置的浪费。出现浪费的市场是无效的市场。
有的人把房产作为投资，自然偏好投入产出差越大越好。这里，房产已经异化了它的使用价值——满足居住。房产作为投资品，投资收益会掩盖其作为商品使用价值基础属性。消费者产生投资幻觉，被有心人促成庞氏骗局。
关于第四点，信息互相透明，随着网络信息技术和其他信息技术的发展，信息互相透明程度有提高。在大数据条件下，有可能达到某一时段，时点上的局部透明。但是，全域透明目前不可能全部实现，比如，最近热闹的网络金融，就是时点、时段和局部透明带来的欺骗和全域不透明带来的灾难。
关于第五点，垄断，是市场竞争的一种结果。垄断分为垄断局面与垄断行为。两者意义是不同的。下面以微软为例说明两者差别。
微软是PC操作系统软件的垄断企业，形成这种市场垄断的局面，是微软针对个人信息处理要求发展节点的把握，在满足个体电脑发展上做到了先人一步而形成的。这种垄断局面是有进步意义的，垄断利润是对那些满足社会需求曾经的努力的奖赏。如果对这种垄断局面进行打压，那么，社会便没有进步的动力。
微软借助WIDOWS操作系统软件的垄断局面，限定WINDOWS操作系统上只能绑定自己的IE浏览器软件，而不准其他浏览器软件运作，并在技术上做出限定。这是垄断行为。如果不对这种行为进行打击，那么，这个社会同样会没有后续的进步动力。
那么，是不是所有的经济领域都不能有垄断行为呢？不是的。在某些公共产品的领域，是必须垄断的，比如，军工。还有一些产品领域，必须有政府指导下的某一企业的某些垄断行为出现后，才能更好的控制其他参与者的垄断行为，防止恶性竞争带来的资源极大浪费。比如，网络的基础建设领域，等等。
通过上面的这些简约分析，我们可以知道，一个有效市场存在着时间上的间断的，效率的波动。总体上对社会资源的优化配置是短暂有效的，长期不平衡的。海外有些学者甚至认为，从长期效率上讲，市场是无效的。
借市场是否有效来说大数据，是想说明大数据的运用是人的智力的拓展。当人的认知偏差，能力局限，或者动机不良，大数据就会出现贝尔纳·斯蒂格勒所说的：
“如果大数据依旧是促使人类快速做决定，依旧是资本大爆炸、技术大爆炸，那么人类是没有未来的。”
我们关注大数据和利用大数据的时候，要时刻自省自己的出发点，要告诫自己大数据实际运行的规律，很可能不是“我以为”的那个状态。这是本贴的第一个意思。
第二点是聊操作层面的，更接近心理影响。内容比较多，下次另开“信息处理中的社会心理效应”贴来说。由于大数据（一），大数据（二）的回复中有相当多的层贴是关于股市的，就借这段时间的股市而论之。作为这个内容的引子。
由于种种种种原因，在股灾到来的后的一天，“有人”希望公司介入救灾行动。作为市场分析部门自然就要为公司提供市场信息和竞争情报。一个不介入证券交易市场的公司，自然证券信息信息积累不足。在基本上“两眼一摸黑”的情况下，不得不选择技术派的路线介入。
证券技术派认为，市场所有的信息都存在于K线的运行之中。其哲学理念为，把证券运作看成一个黑箱，只需要了解“输入”“输出”，模拟出其外在的行为反应就可以进行操作。
实战结果十分良好。但是问题不在这里。而在对技术派信息收集过程中有一个非常有意思的情况：网络上有相当一批技术派人士，在一年至一年半以前就预测到这次大跌的时间和幅度！
是偶然的吗？自然就对他们的历史博客组织阅读讨论。发现他们有这样几点：1.他们是草民；2.他们的实战记录诚实；3.他们成长过程跌宕蹉跎；4.他们持之以恒，长期征战股市；5.他们不相信任何消息；6.他们有各自一套的技术分析方法。结论，他们的成功不是偶然的，是其自成一派的技术理念支撑着的。
我不是技术派。由于历史的原因，倾向于技术派。我认为公司的成功是有一定的偶然性。而那些技术派人士就有一定的必然性了。
在部门分析总结过程中，大家逐步形成这样一个疑问：为什么拥有最权威数据的管理部门，拥有比那些技术派人士更多数据优势的机构们，却没有出现比那些技术派人士更好的长期预测！
除了前面聊的市场有效性认识上的问题之外，大数据操作上同样有问题。那些技术派的预测都提前一年以上公布，公开挂在网上。那么，为什么没有进入大数据的法眼呢？问题在数据收集上，在分析的权重分配上。
大数据首先在大，大，就是多，就是详细。做到了这一点，才能有大数据的分析基础，才能全面透彻地分析。其次，大数据的分析，除了“穷尽不兼容”之外，还得“一视同仁”。这样，在操作上才不会掉进方向性的陷阱。
因此，从所谓“大数据”应对股灾来看，目前的大数据运作还是停留在十多年前的《信息管理学》的阶段。超越这个现实的操作，就会被大数据带到沟里。
没有革命的理论便没有革命的运动。在“大数据运动”进行到一定阶段后，没有“大数据理论”的指导，就不得不原地踏步，或者不进则退。这就是根据股灾得出的一个关于大数据的阶段性结论。
关于大数据的讨论就到这里了。如果有新的进展和领悟，我再开新帖与茶友们讨论。非常感谢茶友们的参与和真知灼见的讨论。这些讨论对我厘清思路，坚持问题所在非常有帮助。在这里，我向关注和参与讨论的茶友们说声：非常感谢！
说白了，所谓大数据的数据采集面和采集量还是不够大 大数据真正要起效，必须基根于矢量数据集，否则光是数据堆积，一个小小的分析师都能预测，大数据也就成了脱裤子放屁多此一举。总之一句话：数据要能变“活”。 关于市场经济的部分把我所看过的经济分析都清晰的解释完了！赞！
槐叔新年快乐！ 辛苦了，新年快乐！ “如果大数据依旧是促使人类快速做决定，依旧是资本大爆炸、技术大爆炸，那么人类是没有未来的。
这句话是针对市场经济制度而说的。
市场经济制度把人假设成纯粹的经济动物，人人都是理性的经济人，仅仅追求自我经济利益最大化，完全剥离了人的社会功能，彻底破除个人对社会秩序、习俗、以及其他规则的依附关系，这是完全错误的。
在市场经济制度形成以前，市场一直存在，市场是镶嵌在社会制度中的，与多种生活方式、习俗和规则共同维系社会和经济的和谐存在，经济呈现多种形态，并非以营利为唯一的目标：
对称性的互惠行为，类似人情分子红包的短期集资。农村原来还有这种习俗，我家建房时，你来帮忙做小工，管饭不给钱，等到你家建房，我也去帮忙做工。
集中化的再分配，类似中国传统的族产、族田用于办家族学堂和赈济。
自给自足的家庭经济，不为逐利而生产。
而市场经济制度却把社会镶嵌在市场制度中，市场独大，一切向钱看，彻底颠覆了社会关系：没有小工，我要出去赚钱，你只有出钱雇佣的建筑工；没有家族赈济，只有国家救济；没有妈妈味道的饭菜，只有工业化种植养殖。
最近出来的“乡愁”，正是对市场经济制度破坏传统社会关系的反思，还好不是反抗。历史上，市场经济每前进一步，就伴随着反抗，起初是农民，后来加入了封建地主，再后来是工人、工会，最后形成了包括社会主义在内的各种反抗运动。
只重经济，无视社会关系，就出现楼主所说的——“当我们认为某一系统是按照某种规律运行时，其实真正影响该系统运动的却是我们眼光之外的另一个系统”。彼得•圣吉举了个例子，啤酒热卖，只因与啤酒同名的歌一时走红，完全不是经济原因。
如果大数据继承市场经济制度的假说，完全无视人的社会属性，继续把人看作一种单纯的经济性资源，并以此来描绘、预测、塑造、强化理性的经济人，破坏力集聚到一定程度，只有革大数据的命了。
玩钉耙的悟空 发表于 2016-2-13 00:00 static/image/common/back.gif
这句话是针对市场经济制度而说的。
市场经济制度把人假设成纯粹的经济动物，人人都是理性的经济人， ...
一切向钱看，意味着经济方面国家的控制力更强了！国家可以发更多的货币！
大师兄新年快乐！ 玩钉耙的悟空 发表于 2016-2-13 00:00
这句话是针对市场经济制度而说的。
市场经济制度把人假设成纯粹的经济动物，人人都是理性的经济人， ...
大师兄的提示也是发人深省 预测本次股灾的草根人士，能举几个例子吗
作为外行，最近看了一些复杂科学的介绍，个人感觉他们把经济视为复杂适应系统的观点远比那些主流经济学的线性模型，经济人假设什么的符合现实，有意思的是复杂科学这个学科好像喜欢用基于主体的建模（Agent Based Modelling）的方式来研究社会领域的系统，这个说白了就是电脑模拟，正好这些年计算能力突飞猛进，以后或许会有更有意思的成果出来？ 期待下文。 大数据用在行业上推动行业运营会不会是现阶段里，最能起到催化作用 老槐说的对，大数据的应用需要理论引导 生如过客 发表于 2016-2-12 20:28 static/image/common/back.gif
说白了，所谓大数据的数据采集面和采集量还是不够大
生如过客：你好！
的确如此。现在的大数据的基础建设在某些小的局部可以做到尽可能的收集，但是，在稍为大一些的时空上就出现残缺现象。除了对数据本身特性的认识之外，数据提取和存贮技术还有待提高。
非常感谢你的参与，谢谢！ wild007 发表于 2016-2-12 21:18 static/image/common/back.gif
大数据真正要起效，必须基根于矢量数据集，否则光是数据堆积，一个小小的分析师都能预测，大数据也就成了脱 ...
wild007：你好！
“矢量数据集”很棒的概念。看来你也大数据的数据有思考和研究。如果没有麻烦的话，能展开一下吗？
非常感谢你的理念和参与，谢谢！ tnq 发表于 2016-2-12 23:17 static/image/common/back.gif
关于市场经济的部分把我所看过的经济分析都清晰的解释完了！赞！
槐叔新年快乐！
tnq：你好！
也祝你新年快乐！
这些观点不是我的。西方对市场经济的研究要比我国深入的多，流派也多。“市场有效前提论”是其中的主流派，与新自由主义市场派是“两大冤家”。把它们的观点应用到我们的现实中，可以获得一个看清问题的视角。
非常感谢你参与。谢谢！ feahu 发表于 2016-2-12 23:38 static/image/common/back.gif
辛苦了，新年快乐！
feahu：你好！
谢谢你的鼓励。现在中国经济在走市场化思潮带来的动荡苦渡。市场分析部门的事就特别地多，杂，烦。许多事还要“让子弹飞一会儿”才能看明白。在节假日才有时间填上这个坑。也好换换脑子。
谢谢你的关注和鼓励，谢谢！ 玩钉耙的悟空 发表于 2016-2-13 00:00 static/image/common/back.gif
这句话是针对市场经济制度而说的。
市场经济制度把人假设成纯粹的经济动物，人人都是理性的经济人， ...
玩钉耙的悟空：你好！
谢谢悟空的唱和！
如果说，近代市场经济在依赖于物质，货币等物化的价值载体的话，那么，当代市场经济已经基本上依赖信用。信用已经成为当代市场经济的基础。马克思曾经这样说过：信用可以使买和卖的行为可以互相分离较长的时间，因而成为投机的基础。
以零八年美国金融危机为背景的电影《大空头》用艺术形象说明了这种信用与投机关系。去年的股灾同样说明了这种关系。现实中这类关系形成的经济难题还有许多。当大数据成为投机的帮手，而不是避免经济危机报警器的话，那么，所谓大数据运用的越广泛，如层主说的革大数据命的时刻就会越早到来。
大数据是信息革命化中的一个台阶。希望我国能以此台阶登上新时代，而不是在这个台阶上踏空跌落下来。
非常感谢你的参与和阐述。非常感谢！ dkgeki 发表于 2016-2-13 17:29 static/image/common/back.gif
作为外行，最近看了一些复杂科学的介绍，个人感觉他们把经济视为复杂适应系统的观点远比那些主流经济学的线 ...
dkgeki：你好！
我国经济学家中有相当一部分是早期在海外学习过的。不知道是什么原因，他们基本上都是拿了一些西方已经淘汰的东西回来。一些像茅汉奸和张代理这类，是动机问题。大多数是与动机无关，而是西方人让他们学了什么。这有点像阴谋论。但是，事实在那里，这个偶然性也大了一些。
像你说的复杂科学理论，在西方早已应用到经济学领域。像市场有效前提论学派，就是应用复杂科学理论来研究市场的。并且有比较好的危机预测。
至于电脑模拟是属于人工智能领域。它目前还有许多拦路虎。有待于“大脑科学及认知科学”的突破性革命到来。大数据技术目前的这个状态，也与这个没有突破直接有关。
谢谢你的参与，谢谢！ loy_20002000 发表于 2016-2-13 18:14 static/image/common/back.gif
期待下文。
loy_20002000：你好！
关于这次大数据讨论本身，就到这里结束了。关于信息处理的心理影响，另开。不知道是放在那个版块为好。等成文后再看吧。
谢谢你的关注和参与，谢谢！ 路漫漫 发表于 2016-2-13 21:18 static/image/common/back.gif
大数据用在行业上推动行业运营会不会是现阶段里，最能起到催化作用
路漫漫：你好！
行业运营的催化作用，要看指什么。现在大数据基本上还是《信息管理学》的框架下。很难把它作为一门工程科学来看待。尝试的多，假定性研究的多，自以为是的建模多……
不过，从报道来看，有一个企业的数据信息运作有大数据运作的“模样”。三一重工。它似乎并不是着眼于产品本身的市场分布状态，而着眼于产品在市场中的时间，空间及流动。可以跟踪这个企业信息管理的动向。
谢谢你的问题和参与，非常感谢！ 当我们认为某一系统是按照某种规律运行时，其实真正影响该系统运动的却是我们眼光之外的另一个系统。这个另外一个系统与我们关注的系统之间的关系，才是具有真正的规律性。
这个好有哲理。{:1_1:} 本帖最后由 skywalker007 于 2016-2-14 11:45 编辑
西溪老槐 发表于 2016-2-14 10:24 static/image/common/back.gif
玩钉耙的悟空：你好！
谢谢悟空的唱和！
我一直以为，资本主义市场经济理论，首先在政治上是实现了在金钱面前人人平等这个理念，不管怎么说，这是一种进步。应当予以肯定。
但是市场的最大问题在于信息不对称，信息拥有者或更快取得信息者对于没有信息者或比较慢的信息取得者是有极大优势的。现代自由资本主义，天天市场决定一切，对信息不对称闭口不谈，就是整个资本主义己经走向反面的标志，包括用大数据来投机也是一样，资本家和技术员们搞出大数据原来只想搞出个新的投机工具，但是大数据迟早有一天会反噬自由资本主义，因为大数据，越大越有力，你收集数据能力强，就没有比你更强的了吗？
再进一步。
相比金钱只是一种比较狭义的权力，信息获取权是一种很广义的权力。一个人获取金钱只考验他某一方面或某几方面的能力，而信息获取是对一个人整体能力的考验。对一个人是如此，对一国更是如此。
以前政府控制财政和货币就可以控制一国的总体发展，未来政府要控制一国的发展，就要学会如何获取并控制信息。另一方面，一国获取并控制信息的能力越强，其整体效能自然就会越高。同时，制信息权会成为大国小国之间，强组织与弱组织之间的真正鸿沟。 受益良多，三叉路口的第三部分要提前写了。 谢谢老槐和葡萄！ 谢谢老槐和葡萄！ 西溪老槐 发表于 2016-2-14 10:40 static/image/common/back.gif
loy_20002000：你好！
关于这次大数据讨论本身，就到这里结束了。关于信息处理的心理影响，另开。不知 ...
我期待你的“信息处理中的社会心理效应”。你对草根股评家的点评出乎我的意料，炒股的人可以从你提供的线索进行一些思考与实操。
你说“当下流行市场决定论，认为只要是市场化，就会成功”我不清楚是哪些人的言论，在我看来这似乎不是主流，社会主义阵营吃过唯市场化的亏。市场如果是万能的，就没有凯恩斯主义了，市场有效论是一百多年前的理论。这类讨论以我接触的资料看，西方也是非常多的，学过经济学基本常识的人过分强调市场决定论，有一种可能，装傻。
大数据这类话题太虚了，从技术层面讨论还可以谈出点收获，单纯以空对空说趋势真没多少意思。 可能方向有点岔，不过观察网的新文很有启发性，对于数据分析的局限也和LZ呼应：
人工智能与媒体未来
在传统的媒体公司，编辑团队和广告销售团队总会有矛盾和博弈。在头条一类的公司，则是算法团队对编辑团队占据绝对优势。这未必是好事。算法团队本身是较难产生风格的。头条、一点资讯和天天快报究竟有多少区别呢？
风格既人（布丰），风格即灵魂。鸡蛋个个不同但那不是风格，只是原始特征。风格是一种需要积极建构的气质，是生气灌注的行动。
传统媒体都是有风格的，没风格的不是死了，就是僵尸媒体。
算法和读者一起，沉沦于本我的漩涡。本我的欲望让你去点击了一条惊悚的社会新闻，但本我不是人性，对本我的自省和超越才是人性。反复涌来的社会新闻会让读者生厌。这个一直被人质疑的问题似乎没有得到透彻的说明和改善。
求证过员工自己对这个问题的看法，他们会告诉你不喜欢这样的信息就用手指划掉，系统就会减少此类信息推送。在我看来，这只是一种简单的线性思维。算法只计算异同关系，只机械地问你要还是不要，而没有计算诸如相对关系、主从关系等等复杂的关系。就像一个不太会恋爱的直男，听到对方说no的时候，并不善解对方真正的意思。
算法能否采用更好的策略，除了数学思维本身，还在于算法对人性的理解。非线性思维才能贴近人性——哪怕是庸常之辈，也会渴望有一只手能托起自己的头颅。假如用户多点击了几次惊悚社会新闻，算法可以继续推送同类资讯，但是一定要显出一种“我猜你其实也是个有高尚趣味的人”的姿态——可以于惊悚新闻信息流里突然插入一条洗眼资讯，可以是正能量，可以是对立面，可以是新闻分析。既然瀑布流里面可以插入广告，为什么不能插入和用户点击趣味相反的文章？
我不了解具体算法设计问题，也许需要更复杂的集合算法。每条资讯有自己对应的镜像，就像本我对应的超我，就像西斯武士对应的绝地武士。不甘做机器保姆的小编可以参与打造这样的集合，提升机器灵魂的同时提升自己，共同进化。彼此是对方的启蒙者，而不是做一个被动的仆人。也许会有偏差，会有博弈，但魅力就在这里。在《失控》看来，人机之间要有一定的对抗才能共同进化。也许算法在等待读者自己走出沉沦，但对抗就要求算法更弹性一点，更抢先一点，主动试探读者是否想要逆风而行。
用资讯测试读者，是把读者看作已完成的人格。而人性是永远在路上的未完成之物。人性和人类的创造物，需要彼此激发，螺旋上升。分类聚合算法只是把自己看作一个置身事外的观察者，正如科学试验里的观察者，以为自己不在事件之中。但这是不可能的，算法已然在参与人性的构建，只是采取了消极的方式——人以群分，每个人沉沦在自己的趣味里。后果是读者的极化，老死不相往来，像黑客帝国里的人茧。人茧衰弱的同时，系统的活性也在衰减。
看来作者可能看过葡萄在西西河的大讨论，又加入了自己的提炼引申。所言人性和AI/analytics 的互相过招进化，比黑客帝国又高了一个层次。
川之流 发表于 2016-2-14 11:08 static/image/common/back.gif
当我们认为某一系统是按照某种规律运行时，其实真正影响该系统运动的却是我们眼光之外的另一个系统。这个另 ...
《第五项修炼》主要是阐述学习及学习型组织的。然而，在讲到为什么的时候，这个理念是依据之一。
谢谢你的参与，谢谢！
本帖最后由 西溪老槐 于 2016-2-14 16:27 编辑
skywalker007 发表于 2016-2-14 11:37 static/image/common/back.gif
我一直以为，资本主义市场经济理论，首先在政治上是实现了在金钱面前人人平等这个理念，不管怎么说，这是 ...skywalker007：你好！
在与葡萄贴唱和，以及大数据（一），大数据（二）的回复中，讲到国家层面对信息的控制时，曾经讲到计划经济这个我国曾经实行多年，目前再也绕不过去的话题。
国家对信息控制、利用的体现，就是社会经济的计划实现。自从朱相取消了国计委后，我国的经济发展在总量上还在持续上升，在速度上，却再也没有超过计划经济时的强劲和整体性。还保留计划经济色彩那一元的那些国有企业集群，支撑起国民经济大半壁江山。向参加国际大分工大循环的另一元不断输血（通过政府行为）。就如这次网络金融危机中政府的种种输血。
所以，大数据给计划经济展现了一个新的操作平台，是实现你所说的制信息权实力的非常现实的途径。
谢谢你的参与和见解，非常感谢！