如何评价知乎的回答排序算法？

使用CN2/CN2GIA顶级线路，支持Shadowsocks/V2ray科学上网，支持支付宝付款，每月仅需 5 美元

## 加入品葱精选 Telegram Channel ##

知乎用户 雨亦奇 发表

@chenqin

@苏莉安

@Gary Wang

@曾加

的回答都很好，我希望从 social network 和 median voter theorem 角度略加补充，算是抛砖引玉。

不过首先，我想说知乎这次对排序算法的改变是很大胆的，也是有较好的理论基础的，作为数据控，I applaud you. 总的来说，我对这次改变的前景还是相对乐观的。虽然新算法会引发一些原有问题下的排序大地震，不过这其实一部分是因为原有的排序反映了大家在原有排序算法的框架下的投票心态和行为，而在这种框架下产生的高排名答案可能并不适应新的框架。不过一旦大家开始自动适应新的算法，大家的投票行为也会发生相应改变，而以后新问题下的排序应该不会像现在一些旧问题下的排序那样看不懂。另外，在接下来几个月里，相关算法应该还是会不断改进，最明显的比如公式里的

参数，这些改进也会体现知乎对自己的定位和期望。希望知乎能顶住开始几个月的举报投诉狂潮，不断完善算法，并适当指引和帮助用户们了解和适应新的框架。

好，开始正文。

我觉得新算法的一个潜在问题是对高票回答的惩罚可能会过于严重，而这个惩罚不仅是

参数层面的问题，还跟社会网络的内在属性和不同人群在社会网络中的分布规律有关。

简单地说，就是随着一个答案票数和曝光量的增加，这个答案也在社会网络中越传越广，而一个答案触及到的社会网络范围越广，看到这个答案的人群也会越多样，而赞同 / 反对比也几乎一定会下降（下面详细解释）。同时我们考虑到，在

比较低的情况下（其他几个回答也说了，旧的算法在一些层面有点像一个

比较高的算法，而根据大家的感觉，现在的

还是定得比较低的），赞同 / 反对比对排序相对更重要。也就是说一个答案的赞同数和曝光量越高，排名可能会越低，这个似乎会有些不合理。一方面作者会很受伤，一方面后来的用户会根本看不到这些高票回答。

接下来稍微详细说一下。

这里主要讨论的是那些有比较明显阵营、派别、正反方的话题，而一些所有人都喜闻乐见的话题受这方面影响较少。

知乎总的来说还是一个社交网站，大家关注、投票的回答大多数应该还是来自时间轴，而时间轴主要由用户关注的人组成（这里有两点要注意：1. 知乎的 “发现” 栏目、各类收藏夹、知乎日报等也提供了一些 alternative exposure 渠道，但时间轴应该还是最主要的渠道之一，当然这是个实证问题；2. 知乎的 “新版首页动态” 不完全是关注对象的内容，但考虑到背后的机制仍然是 homophily，因此不影响结论）。

而社交网络最重要的特征就是 homophily（同质化），说白了就是人以类聚：你在各种社交网络上的好友、关注你的人和你关注的人往往跟你在一些方面比较相像，比如年龄相近，三观相近，地域接近，兴趣相仿。在知乎上，这种趋势就体现在对同一领域感兴趣的用户间的关注量更高，密度也更大，而对不同领域感兴趣的用户间往往关注不多。同理，对同一话题持不同或对立观点的人群间一般也很少互相关注，比如中医粉和中医黑（或者任何的粉和黑），所谓的左派右派，女权支持者和反对者等等。也就是说，不同的人群在社交网络上的分布不是随机和平均的，而是高度集中的圈子，兴趣、三观等相近的人一般在社交网络上挨得更近，也更容易互相看到时间轴，而比较不同的人群很可能老死不相往来（最极端的例子当然就是拉黑了），互相圈子里的热门话题或回答很可能要过好久才能传到对方圈子。

那么这样的社会网络结构会对赞同 / 反对比和排序造成什么印象呢？

一个回答刚发表时，出现在了答主所有关注者的时间轴上，而这些关注者跟答主一般会比较相像，也更可能会点赞同，所以一个回答刚开始收到的一般都是自己圈子里的赞同，而很少会收到反对。不过一旦这个回答票数高到一定程度，它触及到的社交网络就像水中的涟漪一样扩散开去，并慢慢越过自己的小圈子，越过小圈子所属的父级大圈子，最终甚至会触及到持反对观点的那个圈子。在这个传播过程中，这个回答触及到的用户越来越多样化，与答主持相似观点的可能性也越来越低，而赞同 / 反对比也会逐渐下降，而当最终对立圈子的用户也开始大量关注和投票，这个回答的赞同 / 反对比就会开始迅速下降，如果对立圈子的人数够多，甚至可以把这个回答的赞同 / 反对比颠倒过来，而大家一般对高票回答是不会吝惜手中的反对票的。

这也就会产生一个枪打出头鸟的结果：最受欢迎的最火的回答，几乎一定会在某个时刻进入对立圈子的领地，然后就被爆头了。如果要排序高，最好就是有足够的曝光度，但又不至于曝光到被对立圈子发现…

下面用 YouTube 做个例子：

YouTube 每个视频下面都有类似赞同和反对的投票，与知乎不同的是，反对票的数量也是显示的。

每个视频作者有自己的频道，而用户可以订阅各种频道，每个频道发了什么新视频就会通知所有订阅者，相当于知乎的关注。很显然，用户订阅这个频道是因为喜欢和认同这个频道的内容，否则一般没人闲得慌去订阅自己看不惯的频道。这就是很明显的同质性趋势。

而几乎所有频道新发布的视频的前几十票到几千票（取决于频道的订阅数）基本都来自自己的订阅者，所以这时的赞同 / 反对比往往都是 50:1，100:1 甚至 500:1 级别的，因为这时基本还只是小圈子内部的自娱自乐，当然没人投反对票。不过一旦视频开始火了，被别的频道 like 了，被 YouTube 推荐了，被用户分享到其他平台了，看这个视频的人也开始多元化，反对票也就来了。

比如 YouTube 最好的科普频道之一 SciShow（换成其他科普频道也差不多），它的视频的前一千票左右的赞同 / 反对比一般高得惊人，往往可以 200:1 甚至 500:1，因为这时看这个视频的都是科普爱好者，或是比较有科学素养的人，或是作者的脑残粉，随着视频点击量上升，最终比例会稳定在 100:1 左右。但偶尔他们讲到演化论相关话题，然后个别视频不知怎么的视频被一些阴谋论团体、保守派宗教团体、反 “科学教” 团体发现了，对美国有些了解的人会知道这几个团体是多么憎恨演化论，然后我们就看到赞同反对比迅速下降，可能从 100:1 跌到 10:1。但奇怪的是，SciShow 讲演化论的视频其实很多，但只有其中几个被狂踩，但这几个被狂踩的在内容上跟其他一些幸免的相比没什么差异，但就是由于他们稍微太火了一点，到了反演化论阵营的领地，于是 “出头鸟” 就被 “爆头” 了。

接下来换个角度说同一个问题。

政治学在研究选举时有一个非常有名的理论叫 Median Voter Theorem (中间选民定理)，简单说就是假设所有选民在政治光谱上的分布近似于正态分布，那么在只有两个候选人的情况下（比如美国大选），两个候选人为了获得更多的票数，最理性的做法就是让自己的政见尽量向中间靠拢。推导过程和更严谨的前提假设请看 Median voter theorem。也就是说，理论上一个政治上完全中立，不偏左也不偏右的候选人会永远战胜另一个有倾向性的候选人。所以美国在上世纪五六十年代的许多选举中遇到最大的问题不是共和党民主党候选人互黑太严重，而是两个候选人实在太像了，因为他们都想尽量取悦中间选民。所以那时候媒体采访候选人时最重要的一个问题往往是 “你能不能说一下你跟 XXX 的区别在哪里”… 这在近几次选举中简直是不能想象的。关于为什么最近几十年中间选民定理似乎在美国越来越不适用，一个理论是说选民在政治光谱上的分布不再是正态分布，而更像是双峰分布，且两个峰值越差越远，所以两党候选人就开始尽量取悦自己这边的中间选民，导致两极分化越来越严重。

说回知乎的问题。一旦一个回答在社交网络上传播越来越广，其读者对相关话题的态度也越来越呈现正态分布，且均值越来越接近知乎整体的均值，而对于那些明显支持某一方观点的回答，这一趋势也意味着自己离 “中间选民” 越来越远。用极限法看，如果一个回答被知乎上所有人看到了，且假设每个人都进行了投票，那么赞同 / 反对率最高的很可能是最中立的回答，因为它既有一定质量能吸引到一定的赞，又不至于惹到两边阵营的反对票。更多关于 “中间选民理论” 对知乎的启示请看评论中

@黄涛

的留言。

一个相关的例子可能上过知乎日报的人会深有体会。往往一个在知乎内部很受欢迎的回答，在知乎日报的评论里会被骂得很惨，有时甚至会招来日报观光团在评论里排着队的谩骂攻击。这是因为知乎内部用户和知乎日报面向的更大群体在很多问题上的态度区别明显，是两个截然不同的分布曲线，而两个曲线的 “中间选民” 自然也不同，在知乎的中立答案到了日报就可能变成有明显偏向性的了。这一现象用之前的 “枪打出头鸟” 角度看的话，那么上日报就是被活活举到高处，当人肉靶子。所以在注重赞同 / 反对比的新算法下，上日报对于某些话题下的回答来说很可能会变成一件坏事…

总结

在新排序算法下，知乎的社交网站属性和高度同质性特征会对一些有明显站队倾向的问题下的高票回答产生更严重的惩罚效果。同时新排序算法也可能使 “中间选民” 效应更加明显。其中一个可以预期的结果就是一些话题下站队和极端对立的情况会少许多。

这些变化到底是好是坏还很难说，要看知乎对自己的定位到底是怎样，要看用户对新算法如何适应，同时对不同话题的影响也会有很大差异。

本文其实干货不多，许多地方只能靠猜，没法定量得到结果，也无法给知乎提出更有建设性的意见。希望更专业的人能够进行指点和补充。

以下是一些 caveats:

1. 知乎在多大程度上是社交网站？用户对某个问题的接触更多的是来自自己的 network 还是其他渠道？
2. 知乎各个人群的同质性趋势有多明显？不同圈子间距离有多远，联系有多紧密？
3. “枪打出头鸟”里 “出头” 的界限在哪？是什么决定了有些回答更容易“出头”？
4. 知乎的用户分布能看成是正态分布吗？
5. 对不同话题的影响到底差多少？
6. 知乎这次关于用户权重的改变会与以上这些趋势产生怎样的互动？

……

利益相关：性别平等、种族平等问题下的专业人肉靶子，宗教、中医问题也有回答。

知乎用户 黄涛 发表

了解知乎调整回答排序的背景可以看这篇专栏文章——

[黄涛：知乎如何对回答进行排序？你的一票很重要。​zhuanlan.zhihu.com

](https://zhuanlan.zhihu.com/p/19902495)

知乎使用的回答排序「威尔逊得分」算法表示为：

其中_u_为加权赞同票数，_v_为加权反对票数，

为参数

这个算法中用来做排序依据的得分的更严谨的名称是「二项分布样本的威尔逊置信区间下界」。计算公式是在 1927 年由数学家 Edwin B. Wilson 发展得到的 [1]，用来对二项分布进行参数估计。2009 年芝加哥的软件工程师 Evan Miller 提出 [2]，可以用威尔逊置信区间的下界对具有正负双向投票的系统进行排序。在我最初通过煎蛋的介绍 [3] 了解到这个算法时，便立即被它的很多优良特性所吸引：

• 投票总数增加时，得分趋向于正向反馈占总反馈的比例，对于内容质量有较强的解释性。

• 在总票数较少（个位数投票）和极端参数（真实比例接近 0 或 100%）的情形下，结果也能具有较高的准确性。

• 置信区间大小可以通过参数控制。

• 虽然二项分布是离散模型，但是由于得分表达式关于正负反馈次数的函数是连续的，因此可以引入非整数的投票（加权投票），同时不改变算法性质。

• 得分的取值范围是 (0,1)，与投票总数无关。因此可以间接地用来对不同问题下的回答做归一化的质量比较。

下面这两张图可以比较直观地显示威尔逊得分算法的几个重要特性。

为方便讨论，依次称左图中 up-vote, down-vote, score 对应的轴为 x,y,z 轴。右图为左图的等高线图。

左图的整体曲面形状，与通常理解中赞同票、反对票和回答质量的对应关系是相符的。固定反对票，赞同票越多得分越高；固定赞同票，反对越多得分越低；固定赞同与反对的比例，总票数越高得分越高。

总投票数较少时，回答如果获得投票，得分会快速增加，总票数越大增加速度越慢。体现为垂直 y 轴的平面截得的曲线斜率对 x 恒正且单调下降。同时，赞同数较高的回答，开始获得反对票时，得分会快速下降，总反对数越大下降速度越慢。垂直 x 轴的平面截得的曲线斜率对 y 恒负且单调上升。

对老版算法，对应函数 z = x - y，也不难画出上面两个图（这么简单的表达式，相信很多人闭上眼睛就已经把图画出来了）。老版算法的得分曲面实际为平面，因此各种截线都是平行直线（斜率为固定常数），右图等高线也是平行直线。

相对而言，新版算法对应的等高线图，等高线比老版更密集 [4]，因此跨越等高线更容易。这也是新排序机制的上线说明中，我们说新算法能够做到对单次投票更加敏感的根本原因。

另一方面，函数曲面连续光滑，使得这个算法可以很好的处理浮点数投票，支持知乎已有的用户话题权重机制。二者有机结合，让回答排序更符合真实的内容质量。

当然，使用威尔逊得分来决定排序也远非完善。不同的回答获得投票的能力不同，这一点受很多因素影响，包括作者的文风、内容是否属于专业领域等。这些差异目前还没有在算法中得到体现。

另一个问题是，算法在 x = 0 时函数取值收敛为 0，无法对赞同为 0 但有不同反对票数的回答进行排序。我们的处理方式是默认所有回答者对自己的回答投了一票赞同。这样不仅解决了这个问题，还能让回答者的权重参与到排序的计算中。

威尔逊得分是一个简单强大，但是价值还没有被充分发掘的算法。至今，世界范围内应用了这个算法的著名网站仍然寥寥无几 [5]。近几年开始见到一些应用较广的开源库支持威尔逊得分，关于它的讨论似乎也在逐渐增加 [6]，还是很让人开心的。我也希望借此次知乎排序算法升级，把这个算法介绍给更多国内的团队，希望能对大家有所助益。

注:
1. Binomial Proportion Confidence Interval - Wilson Score Interval - Wikipedia
2. How Not To Sort By Average Rating - Evan Miller
3. Reddit 的评论排序新算法 - 煎蛋
4. 新老算法的函数值域分别是 (0, 1) 和

，不能直接比较，此处表述不严谨但不影响结论。
5. 目前我知道的包括 Reddit, Yelp 和 Digg，欢迎评论补充。
6. wilson-score - npm, Wilson score interval on corp.ling.stats, Visualising the Wilson score for ratings

说明：本回答成文于 2014 年 12 月 5 日，之后只有链接补充和错别字修改，没有修改过内容。

知乎用户 chenqin​ 发表

看了一下这个算法，根据不同的

，只要一个答案能获得让赞同率开始起作用的赞同数，且他的赞同比例不低，这个回答就能排名靠前。

设置得越高，绝对赞同数就越重要，反之设置较低时，赞同率就越重要。当

等于 0 时，赞同率将起到全部作用。比如一个 1000 赞，100 反对的回答，当

等于 0.73 时，其分数将完全等于一个 1 赞 0 反对的回答。

当

增大时，绝对赞同数起的作用就开始增大。举一个例子，两个回答，前者 100 赞 30 反对，后者 70 赞 0 反对，那么当

小于 21 时，后者排名靠前，当

大于 21 时，前者排名靠前。

在这个算法下，假设我们有一个给定的接近于 0 的

，那么倾向于某一个有争议观点的答案将不会有机会排名靠前，无论左右，因为他必定会收获很多反对票。

比如对于 “如何评价” 之类的问题，如果恰好这个问题又比较有争议，那么强烈倾向某一方的答案必定排名靠后，取而代之的是相对「中立」，比较「不得罪人」，可能又有一些「干货」的答案。

比如这个问题：为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 批判性思维

原本的第一名是这个为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 知乎用户的回答，现在已经完全没法找到了。

排名第二的 13 票答案为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 匿名用户的回答，是一个上来就各打五十大板的回答；

排名第三的 8 票回答为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 憶记的回答，完全撇开了中医在讲哲学，有人会反对他吗？

排名第四的 1 票回答为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 枕水的回答…… 看来是一个完全没有人关注的回答。

但是很显然，这个无人关注的回答超过了排名第五的 326 票的回答为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 猪小宝的回答以及排名第六 473 票的回答为什么有些学科学的人对实证科学以外的体系（如中医）抱有敌意和忽视？ - 田吉顺的回答，只是因为后两者表达了明确的「态度」，因此收获了一堆反对票。

原本排名第一的

@王至

的回答，不评价其观点的话，整个答案确实提供了一些很有趣的思路。虽然他必然会收获一些反对，但因此就把他排到一个谁都找不到的位置上，比那些零票答案更靠后，是不是合理？

@田吉顺

自己身为医生，在医学领域应当有更高的权重，这个回答本身也包括许多有趣的内容，却因为在基本观点上表达了对中医的支持，就因为赞同率过低掉到了 1 票答案的后面，是不是合理？

类似的情况还有很多，比如如何看待 Fenng 微博中关于「吸毒」的言论？ - 法律，第一名的匿名答案应该是

@陳浩

的，他在分析论文里的图，没有直接表达观点，真正表达观点的回答在收获了对方辩友的一堆反对票之后，全排在后面。对那些容易引起争论的回答，大家可以自己搜索看看，比如韩寒方舟子文革什么的，十有八九第一名都发生了变化。

因此，排名是否合理，要看知乎想要展示什么答案。对大多数客观问题来说，正确的答案就等于赞同最高的答案也等于最适合向公众展示的答案。但对于一些有争议的问题，应该展示那些「安全无害」，不得罪谁的答案，还是展示那些确实表达了观点，但是有争议的答案？

之前按照净赞同来排序的方法，确实会导致一些煽动性较强但实际上错误的答案排名第一，这可能不是知乎想要看到的。但现在的算法，对中医这题来说导致的排序结果，是知乎想看到的吗？对于这个应该全局统一的

，是不是应该更加审慎，或者是干脆根据不同的领域设置不同的

？

当然，当知友们发现根据新算法在这些争议性问题里排名靠前的答案看起来有一些无趣的时候，他们可能会根据新的排名系统贡献一些「又理性又客观又中立又干货满满还十分有趣」的回答，既获得高赞同，又获得高赞同率。但要满足这些所有的要求，又谈何容易呢？人毕竟不是机器，如果每题都要照顾所有人情绪小心地写，是不是太吃力了。

知乎用户 苏莉安​ 发表

谢邀。新算法肉眼可见的效果就是加大了反对票的杀伤力，它对知识型答案影响有限，对世界观型的答案则很容易将正反双方的高票答案都打到下面去，留在顶端的往往是较为中立或平和的观点。
而且在争议热潮过去之后，新答案也比较容易冲到前列，可能会造成某个热门问题下的前排答案在不停滚动更新的情况，这是以前见不到的。

知乎官方所寄望的应该是靠新算法的排序机制打造一个更为平和的社区氛围，对激烈言辞和极端观点进行压制，顺带提升一下新答案的曝光率。实际效果如何嘛，我个人看法是三七开，也就是往好的方向发展的可能性略高。但新算法实施后的一两个月内是意见高发期，如果这段时间内能让有意见的用户（主要是自己答案被按到后面的）情绪稳定下来，之后的整体趋势应该一直会好转下去。

回到算法本身。

@曾加

做了结论分析，

@chenqin

关注参数

带来的影响，我则更在意「加权赞同数」和「加权反对数」对于不同用户的权值究竟有多大差距。一个三零用户和十万粉二十万赞的领域专家各投一票，影响力相差多少？是百分之几的差距还是几十倍的差距？
权重值不公开很正常，公开后负面影响比正面多。但它其实是整个排序机制里最重头的部分，以前也有权值，所以一些低票答案排前面不是因为后面的被反对了，而是点它赞的人里有领域专家。
更换算法后，权重的影响力似乎比以前更强了。
其实我希望知乎对以下几项数据进行对比分析，可能会在排序算法之外的地方提供一些改进思路：

1. 用户点赞的位置：首页时间线、其他用户主页、答案页、问题页；
   其中答案顺序只对后两者有影响，而如果前两者占比较高的话，如何对其施加影响？
2. 阅读深度：包括是否点击了其他答案、是否展开评论、是否有互动交流之类；
   不同深度的行为应该值得进行对比。
3. 曝光率与反对频率：
   对于反对数量较多的高票答案，应该对其反对票集中的趋势做分析：是被顶到高处后大家自发反对的行为，还是某个指名反对它的答案赞同票与此答案反对票同步增长呢？

知乎用户 曾加​ 发表

谢谢

@黄涛

的邀请，以及

@Mabel

和

@高飞龙

在另外两个类似问题下的邀请。

很明显的是，新的排序方式的确对一些低质量或高嘲讽的答案排在了后头，尤其是打压了自然科学区那些 “有趣” 但并无科学性的高票答案。
但同样地，部分话题的排序看起来完全乱了套。
这些话题包括但不局限于：影评，女权，中医，左右派之争。

后三者争议实在太大，暂且不论。我们来看一下影评：
如何评价电影《后会无期》？ - 如何评价 X
（这可能是知乎最火的影评问题）

这个问题下：原来前三名是很稳定的：
第一名是 采铜 的回答：1.2 w 赞同
第二名是 朱炫 的回答：1.3 w 赞同 （收到的反对票比 采铜 多）
第三名是 橙树花开 的回答： 9100+ 赞同

其中，采铜 和 橙树花开都对电影表示赞赏，朱炫 表示批评。

现在呢？
采铜 的答案 排名 第 24
朱炫 的答案 排名 第 30
橙树花开 的答案 排名 第 11

全部跌出了前 10！

现在的第一名 笑忘书 的回答只有 1700 赞同
第二名 的 匿名用户 的回答只有 110 赞同
第三名 的 Qi Ma 的回答只有 170 赞同

按照以前的算法，他们的排名都进不了前 10！后两个甚至在 30 开外！

这三个回答有什么共同特点呢？ 他们都没有给电影本身 作出一个 “好” 或者 “不好” 的评价。

以上说明了什么？

它说明在影评，尤其是有争议的影评中， 给电影 作出一个 “好” 或者 “不好” 的评价 是极其容易吃反对票的。

不是我黑知乎用户，实际上，我认为大部分点 “反对” 的人其实并没有仔细看完影评，他们来这个问题，有可能仅仅是来寻找认同感的。如果你的评价和他们的感觉不同，不管你说了啥，说得多么客观有理，只要你下了结论，“反对”就来了。

尤其是本问题下，采铜 和 朱炫 的答案，由于长期在前二，吃到的反对肯定更多。而在后面的答案，由于曝光度不够，吃不到那么多反对的。

那么，是不是说明，这种排序方式，似乎并不合理呢？

未必。

我们需要意识到一点： 采铜 和 朱炫 的答案，之所以收到如此多的赞同和反对，除了他们自身的粉丝多以外，还有一个重要的原因，那就是他们的答案长期在前两名，有着极高的曝光度。试想，一个排在 20 名以后的答案，除了你的粉丝会看，其他人大部分都不会有精力去一个个看过来。

有因才有果，如果因变了，果也会变。

如果在那个问题提出时，回答的排序方式就和现在一样，那么，采铜 和 朱炫 的答案由于容易吃到反对，一开始就不会高高在上，所以也不会有那么高的曝光率，自然也不会有那么多的赞同和反对。而那些现在排在前面的低赞同回答，由于有了更高的曝光率，它们也会吃到数量一定的反对票，因此也未必能一直在前面。
（另外 3 个话题也有类似的效果）

现在看上去很 “混乱” 的排序，或许也不会那么混乱了。

所以，关于这种排序方式是否合理，我们并不能通过过去问题的回答排序来评价，而是应该通过未来提出的问题的回答排序来评价，才更为客观。

从我个人的角度，我对这次改革是乐观的，具体可以参见我的专栏文章：
这次，我给知乎点 32 个「赞同」——浅析知乎新的回答排序算法 - 看！你身边有一只数学！ - 知乎专栏

让我们拭目以待。

最后，匿了。o(^▽^)o

知乎用户 鱼非鱼​ 发表

过去的知乎排序算法是会造成几个严重问题的，比如新的好回答基本没人看，大 V 用户优势太大等等。使得整体上问题页面的回答排序非常固化，缺少活力。新的算法很大程度上解决了这个问题。我个人的回答为什么知乎新手的门槛这么高？ - 鱼非鱼的回答里面也提了好多问题

新算法也确实存在一些态度鲜明的好回答因为反对较多排名较低的情况。不过个人觉得这不是什么问题。本来知乎就是一个讨论知识，分享思维的场所，不是用来政治站队的议会。新的算法鼓励大家更注重丰富回答的内容，而克制过于激烈的态度和观点。这没什么问题。对于有判断能力的阅读者，如果你对自己的证据、逻辑和表达能力有自信，应该相信对方阅读之后能够自行推导出正确的观点。好的回答应该是干货多而私货稍的。这正如好的电影，一定不会明显的说教一样。我作为一个自认还是有判断能力的阅读者，是很反感一些回答的人夹带太多情绪，或者流露出一种很强烈的要给我洗脑或者非要在言辞上压过别人的态度的。如果你觉得有很多阅读者达不到这样的判断能力，不能够通过阅读你的回答得出正确的结论，那么也没有必要通过态度去说服对方，真的说服成功了，你也属于胜之不武，而且你的粉丝低素质的人太多了，也只会拉低你个人的形象。（我个人觉得数卷残篇的粉丝就明显拉低了他本身作为一个高水平的史学学者的形象，这与他在豆瓣上的表达很多时候证据列举草率——尽管实际的理论支持未必那么草率，但观点耸动不无关系）

当然，也有很多时候我们在知乎回答就是很想表达自己的态度，而不是去搞科普。我自己也不例外。在这种情况下，应该话能说出口就可以满足了，何必一定要在意回答的排名呢？我们自己应该很清楚此时我们更多的不是在为知乎社区做贡献，而是在利用知乎社区发泄自己的感受，知乎也已经做到了没有去打扰你得到赞的好心情，还要要求什么呢？

另外，我个人不赞同『反对实名制』，因为很明显很多知乎用户包括很多很有见地的知乎用户在内是很玻璃心的（常人都是玻璃心的，少有人能够修炼的不被旁人的看法打击），让他天天看一堆人反对自己只会打击回答积极性。而我相信大部分知乎用户点了反对都是真反对，而不太可能是其实心里是赞同但就是看这个答主不爽，或者想让自己的答案排名高一些就要把他拉下来，所以也不存在反对成本太低不负责任的问题。相反，如果『反对实名制』，反对的成本就太高了，就会比赞同的成本高太多（毕竟赞同讨好人，而反对得罪人），反而使得排名不公平，一个答案如果非常偏颇偏激，认同这个答案的人会跟欢喜去点赞同，但反对这个答案的人倒有可能因为跟此人相识等等原因不敢去点反对。

总之，我个人对知乎的新排名算法非常支持，新知乎在这方面已经远远超过了 quora

知乎用户 孙竟 发表

手机上打字太累，见谅。

我个人认为知乎的回答排序可能会面临这些问题：
1 排名高的答案只是迎合了大部分用户的偏好（开玩笑、爆照、黑大家都讨厌的等），而没实际解决问题。
2 排名高的回答不靠谱，但因为大号和马太效应，更好的回答没得到足够的展示机会，于是被埋没。
3 有争议的问题，很难明确怎样的排序是公平的。
4 刷票。

这次的修改理论上有可能解决上述问题，并且在探索第三个问题的可接受方案。
在调整阶段，不可避免地会有 bad cases 出现。如果之前有 10% 的问题排序有问题，改版后变成了 1%，那么我实在想不出反对这次改版的理由。但毕竟知乎可能已有几千万个问题，1% 仍然影响巨大，所以知乎不可能一蹴而就一劳永逸地结论排序问题，而会不断改进。

例如有的问题争议本来就大，那么根据这些问题的平均赞同反对比，适当调整反对的影响力，也许就能解决呢？
至少，比没法解决多出了一种可能性吧。

最后，以上数据只是假设，我没去验证过，也并没提前知道这次改动。

知乎用户 Calon 发表

喜忧参半吧。

对客观型问题的排序质量应该会有好处。
但是在价值观分裂的社区，算法越是打压观点鲜明的回答，鼓励中庸的回答，最终的排序结果就越是无法令价值观对立的双方或多方满意。
我倒是挺希望能够看到不客观的回答排序算法，比如对每个用户来说，他拉黑的人的投票不计入排序得分，他关注的人的投票权重提高，这样对每个人来说，排序的结果都不一样，争议也就少了很多。
不过相应的性能开销会大幅增长吧……

还有就是其实可以把赞同数也隐藏了（可以只对回答者开放）。
读者只关心排序，显示赞同数但又和排序完全对不上号，只会使人疑惑。

知乎用户 匿名用户 发表

知乎的问题在于排序方式选项单一

应该学习 reddit，加入比如：

按赞数排列

按争议程度排列（赞同反对数量最接近的或者评论数最多的）

按字数排列（可以把认真回答的长答案让更多人看到）

按时间排列（可以把新出现的好回答有机会让更多人看到）

等等

给大家多个选项，与现在的默认排列并存即可。

知乎用户 棍棍 发表

既然找到这个贴，浅谈几点。

0. 在我看来知乎最重要，最根本的心脏功能，就是答案排序机制。这是能够让知乎长生不老的法宝，重要性等同于 G 的搜索排序算法，YOUTUBE 的顶页推荐，等等。

1. 内容不到 100 字，并无图片，并且极其重复的机智回答，会让知乎迅速靠拢百度知道。真心话，这种回答基本不会解决任何问题，可以大数据统计一下。个人认为这种答案无论多少赞，都应该是最下优先级。奇怪的是，这种自误误人的答案竟然在三甲里频繁出现。

2. thumbs↓功能的比重可以在内部进行微调。然后小部分进行用户测试后推出。其实用经济学观点来看，过多的干涉可能会对

3. 三甲功能特别重要。用户体验上看，绝大多数对答案感兴趣的人也就会看前三个有料的回答。子曰三人行必有我师，三个不同声音，足够了。如果算法上对速度有要求，是否可以先用第一层公式预先加载 top3 答案，哪怕公式复杂一些？

3.1 如何定义 top3… 估计以下几个 factor 权重会高，按顺序排列就是：字数，篇幅长度大小，人的权威度，赞量，踩量，评论量。

须记住，过度的踩量，并不一定是坏事，如果按分数机制算的话，一个顶 10 分，一个踩也能值 1 分。一个踩贴被顶上去，让人看看逆向思维，反面教材，不也挺好。明星不怕绯闻，仰视鄙视好过无视。水军么，来吧，水能覆舟亦能载舟。真要能天天雇水军就为了混知乎大大搏出位的，我倒觉得并不是什么坏事。是媒体，反而要养着狗仔，养着水军。毕竟水至清则无鱼。我们无非就是把环境做得相对纯净些。

个人觉得 Youtube 的推荐视频排序是很有借鉴意义的，相关度极高。不妨 Reverse Engineering 一下。

3.2 关于最后回答时间这个 factor，个人推荐算入 top3 之外的第一优先级，或者如果产品研发周期不允许，直接放到 top4 试试看。

我进知乎，我会把它想成一个虚拟社会课堂，站在讲堂上，对大家最终受益的，还是有料的教授，行业大拿，或者江湖公认的大哥。小喽啰想混知乎，可以，要么从 top4 开始慢慢攒经验混成江湖大哥，要么自己就是牛逼大学教授，要么就是行业真正认证大拿。哪怕是 A 片的行业，也应该这么排序。过度的自由主义，过度放任，只会让知乎的环境成为百度知道，成为微信里七嘴八舌的群组，对长期发展其实并无益处。

知乎增加的扩展功能有目共睹，但真的不要舍本求末，希望知乎真的越做越好，超越 Quora。

知乎用户 qzqz​ 发表

感谢

@黄涛

的回答，看得出来知乎对新的回答排序算法还是下了一番功夫的，遗憾的是这个算法从原则上就不是最优的。

知乎的回答排序抽象来看属于统计学实验设计 (experimental design) 中的实时分配 (adaptive allocation) 问题。这类问题中最有名的一个叫做 multi-armed bandits（没有看到合适的中文翻译）。试想一个知乎用户在拉斯维加斯的赌场，看到了像这样的一排老虎机(图片 credit to Wikipedia)。

假设赌场老板决定在这天散财，有的老虎机的期望收益竟然为正！这位知乎用户虽然很讲风度，也不会放弃这样赚钱的机会。现在问题来了：在开始时对老虎机一无所知的情况下，什么样的策略是（在期望意义下）最优的？

解决这类问题的原则可以总结为两个词: explore(探索) ，然后 exploit(利用)。简单讲，我们需要先在每个老虎机上都玩上几把，然后选择 “最佳” 的那个一直玩下去。这个 “最佳” 的选择也颇有讲究，在 multi-armed bandit 问题中，这个 “最佳” 应该是当前对每个机器期望受益置信区间上界中最大的那个，注意是上界。严谨的论述在这篇著名的文章里：Asymptotically efficient adaptive allocation rules。

这个问题中描述的算法看起来固然不错，但用的却是置信区间的下界（参见

@黄涛

的回答）。即使使用的 Wilson 置信区间非常的 fancy，但是用下界在原则上是错误的。实际上如另几个回答 (比如

@chenqin

) 中提到的，这样做并没有很好的 explore 每个答案，回答的晚的答案还是很难逆袭，或者逆袭会来的比较晚。

稍稍讲的具体一点，当前的算法将每个答案的最终表现 “定义” 为
赞成数／（赞成数＋反对数）
是不恰当的。在和

@呆梨

的讨论中，她指出那些 “沉默的大多数” 其实非常重要。真正合理的评判标准应当是类似于
（赞成数－反对数）／回答总浏览次数
正是应为忽视了沉默的大多数，目前的算法才必须用置信区间下界来排序。如果用的是 binomial 分布中概率 p 的置信区间上界，那么一个 50 赞 0 反对的回答就会排到 500 赞 1 反对，看起来是不符逻辑的。事实上，如果这个回答只有 50 赞 0 反对 50 浏览，那么将它排到第一，其实更可能是正确的选择。PS：知乎如想继续改进算法可以联系我。虽然我也不算是 multi-armed bandit 的行家，但这个排序问题还真是挺有意思的。

@黄继新

知乎用户 pi1ot 发表

知乎应该对提问者，回答者，旁观者分别使用不同的答案排序算法，对提问者以保证权威性和参考投票为主，对回答者以提升回答积极性为主，对旁观者以保证内容新鲜度时效性为主。

知乎用户 泥泥狗 发表

忽然想到一个问题，“感谢” 这个选项在排序中并无作用，那它存在的意义是什么？有什么必要在赞之外多加一个感谢功能？对感谢数量有什么奖励机制？

知乎用户 猪鼻蛇 发表

对于客观的内容而言，这是个很好的方法。但是对于目前知乎的环境和主流的问答形式而言，这个算法的效果存疑。别人的答案我不好说，我自己还是有过几次弱智算法题然后发现赞同全给了明显错误答案的经历。

不过知乎有勇气来尝试解决这样一个困难的问题十分难得，要是排序的研究也可以对改良知乎搜索结果产生好的影响就好了 XD(论得陇望蜀

知乎用户 邓江平 发表

如果把一个问题下的答案排序：
表达明确态度的答案 - 很可能收到反对票，导致排名下滑
表达明确态度的、但是文采很好的答案 - 很可能原本想点反对的人、被其文采所折服，此答案会少收到一些反对票，导致排名上升
最终动态调整的结果是：排名第一的答案，是那种「很少会被点反对的答案」
这样的答案是啥特点呢？如果是对大众（而抛弃个人好恶）来说
首先，要有被赞同的理由：给了人们所需要的东西，比如有启发性、数据翔实
其次，要有不被大众反对的理由：降低了戳到某些人痛点的「疼痛感」 ， 比如用好文采掩饰了明确态度
-
相信本网站的团队一定是仔细分析了 『人们在赞同一个回答时，分为哪几种情况』 才会得出这个回答排序算法。这个问题细思很有趣，不展开了。
-
我一直有一种感觉：本网站是一个巨型信息流动场，在这个流动场里，人们有自己的判断。
因此点赞的情况也不同。
我预计：算法改进后的、最终的 高排名答案 —— 虽说是对某个问题的回答，但其实是启发。
也就是因为有启发性而被点赞的回答（这是点赞的情况之一），会靠前。
- - - 私货的分割线 - -
答案重要还是启发重要？以下是私货了
有些回答看着很爽（ “凤头”、“猪肚”、“豹尾” ）、有很多回答者个人情绪的抒发（ 以至于 有时我更希望它出现在专栏里）。
但考虑到答案的有用性，如果它真的是对一个问题的答案，那么每个人的问题都不同，每个人的答案都要自己去得出。
但启发值得赞同的，值得感谢的。因为它是有用的。
==
对于一个信息过载的人来说，这种回答排序算法的实现，我感觉很酷很有用

[1]: 是谁出的题这么地难？到处都是正确答案
[2]: 如何评价电影《后会无期》？ - 如何评价 X 文采友好的答案 真的排名很靠前诶

知乎用户 懵的人 发表

威尔逊得分好像也可以用来在 steam 上找遗珠类游戏，可以说这个堪称是「遗珠算法」，我用这个公式在豆瓣上匹配了一下，基本上结果符合这些电影的风评，可惜豆瓣并没用「遗珠」来表示这些电影，用的是「冷门佳片」的标签，以用来和「豆瓣高分」进行区分，因为我们知道高分并不等于是佳片，而佳片很多时候得不到高分，PS 一下，豆瓣评分™已经是注册商标，所以他更是一个商业性指标，当然知乎赞同™什么时候会注册只是个时间问题了：）

知乎用户 SadaHaru 发表

一个答案是否优秀，在于有多少人肯定，而非有多少人否定。

不请自来了。
但是我必须实话实说，这个新的投票机制，带来的不是更加清新的空气，而是一团糟的乱麻。
所谓 “威尔逊得分”，我认为这种比例根本没有任何意义。

很多不切题却没有得到很多反对的答案高居第一，并且很多高票却有许多反对的答案一层层的下跌。
而且人们点反对＋没有帮助的概率比点赞同高很多很多！
单从这种比例来定义回答的优劣，是不是比光看赞同更无效？
而且多数人点反对或者赞同，许多时候不是因为内容而是因为情绪。很多优质答案语气不佳但是内容字字珠玑，却遭到许多无谓的人的反对，因为这种比例不见天日，这样对吗？有些答案打着太极，说不到重点，却因为态度温和，谁也不招惹，看着也挺有道理却身居高位，这样对吗？

那么新的投票机制，到底是选出最符合大众情绪，最不容易犯众怒的答案，还是选出质量最好的答案呢？

赞同不能说明一切，但是起码代表了大多数投票人的看法。
反对＋没有帮助，就更不能说明一切了。所有网站，奇奇怪怪充满戾气的人，永远比正常网民要多得多。
ps 我甚至在一个问题上看见一个 0 票的排在许多几十票的答案前面，这是 bug，还是 0 票就是 100% 的支持率呢？这就是知乎要的比例？

我不知道我的回答在这个问题下会被折叠还是会被赞同。
但是我必须要让投票机制的负责人知道：
**知乎用户，点赞同都很谨慎。**因为要赞同一个答案，除了自己觉得有道理，这个答案本身所表达的态度也要符合自己的情绪，顾名思义，同气连枝。
**但是知乎用户，点反对和没有帮助太平常了。**一个看不爽就反对，一个觉得答案在抖机灵就没有帮助。且不说内容如何，光是情绪这点就对不上号，不点赞同已经是客气，点个反对＋没有帮助简直信手拈来。

而且知乎用户和其他网站的网络用户没有什么区别，除了一部分用户更有知识、更有素质、更为理性，大部分依然是普通的网民。
这种 “普通”，普通在情绪，普通在素质，普通在混乱，普通在不理性。

知乎的名声和优质是被一群又一群优秀的用户支撑起来的，但他们也仅仅是所有用户中的一小部分。
知乎把决定权交给了大多数人并放大了他们手中的权利。
比例？
在我看来，多数情况，赞同代表了一切。

一个答案是否优秀，在于有多少人肯定，而非有多少人否定。

知乎用户 刘卿 发表

哦，很简单地说，就是把 “反对” 的权重大大加强了。
于是我现在总会偷偷把排在我前面的答案点个 “反对”，还偷偷开了个脑残粉 Q 群，叫他们帮我给我上面的答案刷 “反对”，这样我的答案就能一直排在最上面了。
这个必须匿，否则我以后就没脸在知乎做人了……

知乎用户 克劳德 发表

感觉没有心力和精力去深究算法到底是细节还是理念出了错误，但是其给我带来的用户体验是极其糟糕的。

需要耗费我成倍的时间去找到高票的答案，排在前面的反而是些似是而非的，那些庸碌的人写出的，一眼就看得出很努力但也很平庸的答案。（其实这句话我自己中枪了。）
**
一个问题下面答案的顺序也是这个问题的一部分，而这个既成的顺序并没得到应有的尊重而是被无声无息的改变了，随之而来的是后来者的困惑**（反对 “排名第一” 的答案，排名第一的到底是哪个呢？）。
如果高票答案排不到前面甚至反而因为其真知灼见而排在 20-30 名以后的位置，那**我们的赞同又有何意义呢？**这里对反对的权重调整很明显是矫枉过正了。

edit: 既然反对票如此有用，那么我找到利用这个算法的办法了：当你的答案和别的答案非常接近的时候，你只需要 downvote 别人的答案，就很容易让你的答案排在前面，一旦你的答案排在前面，在某些情况下，那就无可逆转的优先于别的答案然后得到更多的赞。（我太猥琐了哈哈哈）

知乎用户 匿名用户 发表

嗯说的非常我像我知乎小透明刚玩不久说真的都没有答题的动力，很容易就淹没在大海之中，我自认为的回答的比一些抖机灵的要好结果那，几十个赞而已，无非就是我看到这个问题的时候已经晚了

知乎用户 匿名用户 发表

把感谢数也加进去，可能能部分减轻

@chenqin

指出的问题。另一个建议，将两种排序做成选项，交给用户选择——放在每一个问题的设置选择下拉列表中。

知乎用户 匿名用户 发表

预测一下，会出现调整答案顺序的浏览器脚本（userscript），虽然只从网页上得不到充分的信息（只能得到赞同数）。

知乎用户 娄萌萌 发表

看到自己某个问题的答案从三楼升到了一楼

• 原一楼是个某大 V，观点激进，粉丝不少，口水众多，716 赞，现在掉到 4 楼

• 原二楼是反对某大 V 的头号领袖，据理力争，494 赞，掉到 2 楼

• 原三楼是伦家，具体问题具体分析，不和大家拌嘴，老好人有好报，290 赞，升到 1 楼咯

• 原四楼在抖机灵，183 赞，升到 3 楼

知乎用户 被窝 发表

建议知乎设置几种不同的排列回答方法，每个人可以根据自己需要来选择。
例如
1. 所谓威尔逊排序
2. 赞同票绝对值排序
3. 最新发布时间排序
4. 评论人数最多排序
……
最闹心的就是自己关注的问题即使有新状态，每次也只能看到哪些看了好多遍的回答。
知乎甚至可以有反对票最多排序选项，通过不同排序方法，看到不同观点的碰撞，各取所需，何乐不为。

知乎用户 Jim Wang 发表

说知乎好话的排在前面，说坏话的排在后面。

知乎用户 匿名用户 发表

高手说的

知乎用户 慈元阁 发表

好复杂的样子

知乎用户 qishaohe 发表

这种排序，在后期霸榜之后还是同样会马太，至于引入了大 V 的加权投票不知道是否真有效果，是否还是继续一样霸榜

知乎用户 fsdg 发表

我宁愿看到那些有自己观点的回答，也好过那些观点模糊的废话

知乎用户 Vanic 发表

用户们反映的算法不足基本是收敛速度造成的，很多尚未收敛的新答案被排在了已经收敛的老答案的前面。
如果问题是新提出的，这个不足并不是很严重，因为每个答案的收敛速度都几乎是相同的。而对于一些不断有新人回答的老问题，那么上面指出的现象就会不断出现。

在现有的框架内改善的方法是调节参数以达到一个合适的收敛速度，但显然，知乎已经仔细地调节了参数达到一个他们认为比较合适的结果。

而更为建设性的做法是根据问题类型，给予 n,u,v 不同的权重，从而挑选出用户最感兴趣的答案

知乎用户 hjz15k6 发表

建议增加按旧算法排序选项，与时间排序选项并列，但默认使用新算法排序，以解决新旧算法交替过程中的诸多问题。

知乎用户 秦淮 发表

给用户一个自己选择看到的排序方式 既有最高票 又有反对后的修正答案 这样一道题可能会让看的人出现两种不同的体验 会不会更好？

知乎用户 青稞 发表

首先支持知乎的这次升级改变。
简单粗暴的点赞数最多就能排名到前头才是一种不负责的态度。
我不知道会不会有大 v 在扣扣群里对他的粉丝说，我回答问题了，你快来给我点赞。
这样刷票得来的荣誉感有何意义呢？
知乎是走出来很多大神 大 v，但是我也看到了一些大神在用知乎做营销，并非是单纯的来分享经验和观点。我个人是反感的。
新的计算规则把选择权给了我这样一个小网民的手里，我确实经常看到一个调侃的答案居然排名在第一。很不由自主的去点了反对 和没有帮助，但是这样对这个答案几乎是没有影响的，它依旧会排在很靠前的位置。
新规则下，我投出去的一票反对会把这个调侃的答案给挤下去。
我尊重那些认真答题的网友，他们不是大神，但是认真写的答案确实能够帮助提问者。
他们的答案更应该排在靠前的位置。
以上，这是我个人观点。

知乎用户 富兰克力 发表

知乎你的核心竞争力是分享价值的人，不是评论的人。由于现在知乎的普及，越来越多的人开始加入，将有很大可能拉低平均素质。辛辛苦苦写的答案，有的评论的人就是戾气重，随手就反对，看都不看。那么他的反对对于我就没价值的。你却要因为一个人的随手反对就降低整个答案的价值，这是不合理的。
知乎是新的互联网公司，希望能及时纠正，或者提供一个排序的选项，让我们用户自己来选。

知乎用户 没空的人 发表

文科生表示看不懂题目里的公式，那就谈谈对知乎排名的一点感受吧。
注册知乎之前，我在果壳问答呆了半年。
果壳问答的排序算法非常简单，公式是：总票数 = 支持数 - 反对数，如果票数相同，则按照发布时间来排序。
举例的话…… 我找了将近半个小时，把我的回答记录翻了一下，找到这两个能说明这样的算法的果壳问答：
狗狗救鱼是什么原因？
电脑桌面 刷新 F5 的作用是什么
果壳网的的秩序相对来说还是比较好的，高质量的答案总是靠前，抖机灵的，或者是乱说的答案往往靠后。
除了氛围之外，还有一个很重要的原因，那就是票数的透明化。
因为果壳网的赞同和反对票数是完全公开的，能让读者和答主非常清晰地看到某个答案的排序权重，因此，基本上不存在被冤枉的情况。
但在知乎就不一样了。
估计知乎（或者是其他类似的平台，包括知乎的国外原版）是出于保护答主的自尊心，鼓励答主在这个平台上待下去，于是只显示了赞同数，隐去反对数。但是这样一来，就出现了很多匪夷所思的情况：
现有 A、B、C 三个答案，发布时间是从前往后。
1、明明 A 答案得票最多，但是只有几个赞同的 B 答案却排在了第一。C 答案是鸭蛋，排在了最后。
2、B 答案的票数是个位数，却排在第一。C 答案是鸭蛋，排在第二。A 答案赞同数最多，却排在最后。
3、明明 C 答案是鸭蛋，却排在第一。A 答案的票数是个位数，排在第二，B 答案票数最多，却排在最后。
……
这样的怪事太多了。
包括我自己也是，在知乎的回答记录里面，得票比较高的回答，总是排在当前问题比较靠后的位置。可能我也是出场自带 N 个反对吧。
最明显的例子就是我回答过的几个关于 360 的问题的回答，抖机灵、乱说的总是靠前，我们这些用事实讲话的答案却相对靠后。外加某些大牛乱说，显得我们非常没有地位。
别说是什么新算法了，去年八月刚开始在知乎上面写东西的时候，我同样对知乎的排名感到非常奇怪，不过数字差得并不多。

要想解决这个问题，我的个人建议是公开反对票数的显示。但考虑到知乎用户的基数非常大，平台自身存在着刷票或者是恶意反对的情况（比如因为看某个答案很不爽，而去点击反对），或许这样做并不合适。因此，如何做到让答案排序使得每个答主满意，或许是一个难题啊。

最简单好用的 VPS,没有之一，注册立得 100 美金