"这次 QCon (北京)会议网站架构案例分析这个 Track ，虽然话题不多，但课程设计时候考虑覆盖的面还是比较广的。作为视频网站代表，优酷带来了一场包含不少实战经验的技术分享。邱丹(优酷网开发副总裁，核心架 构师)可能公司的事情比较忙，一直到第二天中午才赶到会场。还半开玩笑说，’怎么这么多人，还以为是小型的会议呢’…\n缓存\n缓存黄金原则：让数据更靠近 CPU。\nCPU--\u0026gt;CPU 一级缓存--\u0026gt;二级缓存--\u0026gt;内存--\u0026gt;硬盘--\u0026gt;LAN--\u0026gt;WAN 讲到了 Youku 自己的内部项目，针对大文件缓存的。目前开源软件中，Squid 的 write() 用户进程空间有消耗，Lighttpd 1.5 的 AIO(异步I/O) 读取文件到用户内存导致效率也比较低下。Youku 不用内存做缓存(避免内存拷贝，避免内存锁)。值得注意的是，缓存技术容易被滥用，也有副作用，比如接到老大哥通知要把某个视频撤下来，如果在缓存里是比 较麻烦的。\n数据库\n优酷对数据库 Sharding 做了不少尝试，而且实现效果应该不错。DB 读写分离上有比较丰富的经验。 …"

"传统的文件同步方案有rsync(单向) 和 unison(双向)等，它们需要扫描所有文件后进行比对，差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将非常耗时。而且正在发生变化的 往往是其中很少的一部分，这是非常低效的方式。\n之前看了Amazon 的Dynamo的设计文档，它们每个节点的数据是通过Hash Tree来实现同步，既有通过日志来同步的软实时特点(msyql, bdb等)，也可以保证最终数据的一致性(rsync, unison等)。Hash Tree的大体思路是将所有数据存储成树状结构，每个节点的Hash是其所有子节点的Hash的Hash，叶子节点的Hash是其内容的Hash。这样一 旦某个节点发生变化，其Hash的变化会迅速传播到根节点。需要同步的系统只需要不断查询跟节点的hash，一旦有变化，顺着树状结构就能够在logN级 别的时间找到发生变化的内容，马上同步。\n文件系统天然的是树状结构，尽管不是平衡的数。如果文件的修改时间是可靠的，可以表征文件的变化，那就可以用它作为文件的Hash值。另一方面，文 件的修改通常是按顺序执行的，后修改的文件比早修改的文件具有更大 …"

"这次beta沙龙请了高春辉的团队来讲他们的经验。本来我是 希望老高讲，不过他说最近的系统主要是许超前在带人开发，所以实际的演讲人是许超前。\n国内最早让大家意识到网站的发展阶段的文档大概就是于敦德翻译的LiveJournal发展历程的ppt。这次许超前的演讲非常类似 LiveJournal的那篇。\n手机之家用了7年时间，发展到1000万以上用户，3000万以上帖子，1.1TB附件，每天780万以上的PV这个规模。这个数字虽然比 不上大型互联网公司，但是对一个只有几个人的技术团队，已经是一个很令人骄傲的数字了。\nLiveJournal在发展中一边用着开源软件，一边造轮子，最后造出来了memcached这个简单而强大的工具，最终成了这一代网站开发离不 开的东西。\n这次演讲有意思的部分就是从memcached相关的事情开始的。\n一 关于memcached的应用和管理。\nmemcached确实是个简单，好用，见效快的东西。不过简单也有简单的问题，程序员各有各的习惯，结果导致key很不规范，用什么方式的都有。 这个问题恐怕用过memcached的人都深有体会。当然，用开发规范来限制程序员的行为是一 …"

"在 QCon 2008 (旧金山站) 上Facebook 做的这个技术分享有不少值得借鉴的东西。所 以，暂停对 QCon 北京的回顾，临时插播一贴。\n设计原则\n尽可能的使用开源软件，并且在需要优化的时候进行优化 Unix 哲学。包括，模块化原则；整合化原则；清晰化原则等 任何组件具备扩展性 最小化故障影响 简化，简化，简化！ 架构概览\nFacebook 是 LAMP 的坚定支持者，也差不多是用 LAMP (或许用 LAM2P 更适合) 实现的最大的动态站点。\n基础组件加上服务，中间用自己实现的一些工具进行粘合。其中关于运维细节的事情基本不会说出来的，这是很多公司的软实力所在。\nPHP 经验\n参见《 Facebook 的 PHP 性能与扩展性》\nMySQL 经验\n主要用于做 Key-Value 类型的存储操作，数据随机分布在多台逻辑实例上，访问多数基于全局 ID 。 逻辑实例分散在多台物理主机上(超过1800台)，负载均衡在物理层进行。 不做读复制。 尽量不做逻辑数据迁移(成本太高)。 不做 JOIN 操作 ( 豆瓣在 QCon 上也阐述了这一点)。数据是随机分布的，关联操作反而带来了极 …"

"根据Linda Rising的《Pattern Almanac》一书，已知的架构模式有七十多种。这是一个只多不少的统计，其中包括了很多通常认为是设计模式的模式，比如 Bridge，Facade，Interpreter，Mediator等模式通常认为是设计模式，但是在许多情况下，也可以作为架构模式出现，因此也常 常被当作架构模式。\nLayers架构模式\n在收集到用户对软件的要求之后，架构设计就开始了。架构设计一个主要的目的，就是把系统划分成为很多”板块”。划分的方式通常有两种，一种是横向的划分， 一种是纵向划分。\n横向划分将系统按照商业目的划分。比如一个书店的管理系统可以划分成为进货、销售、库存管理、员工管理等等。\n纵向划分则不同，它按照抽象层次的高低，将系统划分成”层”，或叫Layer。比如一个公司的内网管理系统通常可以划分成为下面的几个Layer:\n一、网页，也就是用户界面，负责显示数据、接受用户输入；\n二、领域层，包括JavaBean或者COM对象、B2B服务等，封装了必要的商业逻辑，负责根据商业逻辑决定显示什么数据、以及如何根据用户输入的数据 进行计算；\n三、数据库，负责存储数 …"

"切分是最基本，且最多变的思路之一，说基本，是因为在学习程序设计的第一天就应该知道，说多变，是因为在未来的很多年里，你会不停的应用这个方法来 解决问题。不幸的是，切分这个思路并没有得到应有的重视。\n大概是因为这个词比较土，说起来也比较普通，远不如并行，集群，负载平衡这些词听起来大。所以碰到一个问题的时候，往往被拿出来的解决方案会是以上 3个大词之一，很少有人去认真的考虑切分问题。但事实上，这3个大词所需要的技术，其实也是建立在良好可切分的系统之上的。\n最近碰到了2个项目，都是典型案例。\n案例1 ，小公司，发展的不错。一台服务器眼看不够用了，于是就买了第二台，希望能做一个”负载均衡”系统。很多人大概认为负载均衡，是类似自来水一样的技术，只 要打开笼头，清水就汩汩涌出。往往忘记了水龙头后面的水管和自来水公司。\n一个服务器上放了很多个服务，是很难应用负载均衡这种技术的。必须先要把服务拆开，找到性能薄弱的点，对这个点进行负载均衡，才能得到比较好的效 果。否则很可能用了80%的力气，但是只得到20%的结果。\n案例2，某外企。之前我们给他们做过咨询，解决了一次问题，上次我们找到了系统最慢的地方，去掉 …"

"最近和几个朋友在谈到时下流行的Web 2.0，也提到了其中最重要的角色——架构师。多方各有争执，不外乎是因为背景和视角的缘故，包括架构一词，本身就从建筑学借鉴而来，至于架构师，则可以 简单地从建筑学的设计师来引申，不外乎就是设计结构，设计一个大楼的结构。回到软件本身，那就可以简单地理解为负责设计软件框架的人了。\n我们没有讨论清楚架构师、软件架构师、系统架构师及其Web 架构师这些看似相同却有所区别的角色的关键，本身智者见智，仁者见仁，也不是一时半会能够说清楚的，最后我们讨论作为一个Web 2.0 网站架构师需要的一些基本的知识和能力，既然是个人看法，难免有失偏颇：\n熟知你的业务模式和目标人群\n这是最重要的，Web 2.0 本质上是以Web 作为平台的业务应用，如果不真正了解你的业务，不了解用户的核心需求，不了解你目标客户的典型行为，是很难做好网站的。从这个角度来讲，一个Web 架构师首先必须是一个出色的产品经理。大多时候，我们只要做到业务技术领先就足够了，一味地追求技术的先进性反倒会深陷泥潭。\n在技术和业务之间找到一个平衡，也就意味着必须明白整个业务核心的竞争力在哪？目标人群基本诉求在 …"

"Evan Weaver 是 Twitter 服务团队的总工程师，他的主要工作是 优化与伸缩性。在 QCon London 2009 上，他谈到了Twitter的架构，特别是在过去一年当中为提升Web站点性能所执行的优化。\nTwitter使用的大部分工具都是开源的。其结构是用Rails作前端，C，Scala和Java组成中间的业务层，使用MySQL存储数据。所 有的东西都保存在RAM里，而数据库只是用作备份。Rails前端处理展现，缓存组织，DB查询以及同步插入。这一前端主要由几部分客户服务粘合而成，大 部分是C写的：MySQL客户端，Memcached客户端，一个JSON端，以及其它。\n中间件使用了Memcached，Varnish用于页面缓存，一个用Scala写成的MQ，Kestrel和一个Comet服务器也正在规划之 中，该服务器也是用Scala写成，当客户端想要跟踪大量的tweet时它就能派上用场。\nTwitter是作为一个“内容管理平台而非消息管理平台”开始的，因此从一开始基于聚合读取的模型改变到现在的所有用户都需要更新最新tweet 的消息模型，需要许许多多的优化。这一改动主 …"

"从20台服务器到5000台服务器，应该说，校内网的IT基础设施的变迁是与其自身的业务发展成 正比的，而每一次的业务突破实际上也是对数据中心的一个挑战。传统的IT基础建设模式，现在、将来又当如何适应SNS类网站的发展？从Csdn记者此次与 校内网技术总监黄晶的对话中，也许我们可以了解一二。 从20台到5000台服务器\n作为校内网的CTO，黄晶对过去几年校内网IT基础建设的过程历历在目。\n“如果要把这个历程分成几个阶段，那么在我看来，校内网的IT基础设施建设目前经历了三个阶段”。\n黄晶对Csdn记者谈到，第一个阶段是校内网创业的阶段，那时候，校内网的主要推广对象是国内比较好的一些高校，但数量很有限，用户数不太多，访问量也不 大，因此，当时选择了一个IDC并租赁了20台左右的服务器。\n“随着业务的发展，校内逐渐把业务覆盖到了全国，与此同时，数据量可以呈现几何式的增大，带宽与存储迎来了瓶颈，因此在那时候，公司开始寻找新的IT基础 架构解决方案，并因此而找到了世纪互联做服务器的托管，几年的时间，服务器的数量从几十台上升到了近5000台。”\n“但问题也随之出现，虽然带宽够大，但是找IDC托管的这种 …"

"要设计良好的架构，必须做到关注点分离，这样可以产生高内聚、低耦合的系统，这是美丽架构的终极原则。\n文 / 王海鹏\n什么是架构？ 每个人可能都有自己对架构的定义。我比较喜欢的定义是：“架构是系统的组成部件及其之间的相互关系。”根据观察者的视角不同，架构 又可以分为业务架构和技术架构。一般来说， 功能性需求会对业务架构产生影响， 而非功能性需求会对技术架构产生影响。\n例如：“注册用户可以向自己的相册上传图片，并与好友分享”。这是一项功能性需求。它告诉了我们在系统的业务架构中，会出现“注册用户”“相册”、 “图片”、“好友”等组成部件，它们之间存在着相互关系。而“系统可以支持10万并发用户，并在需要时可以方便地伸缩，扩展到支持100万到1000万的 并发用户”，则是一项非功能性需求。它告诉了我们系统在性能、负载、吞吐量、可伸缩性方面的特性，目标系统的架构必须对这些特性提供支持。\n架构体现的是对复杂系统的分解设计。而如何进行分解，则是软件设计领域永恒的话题。实际上，架构体现的是关注点分离的原则和方法。经典的三层架构， 由展现层、业务逻辑层和持久层构成；其中体现了我们对用户界面、业务逻辑和数据持 …"