Twitter所使用的开源项目

  • Post author:
  • Post category:其他


以下是Twitter所使用的开源项目,简要浏览之后,我觉得是一个很好的关于分布式架构,大数据,异步网络传输(客户端,服务端)学习的list,做个备份,以便后用。


1.  分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询,其背后的开源项目包括:


  • Apache Cassandra

    :一套分布式NoSQL数据库系统,以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型,是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发,于2008开源并捐赠给Apache基金会。

  • Apache Hadoop

    :由Apache基金会所开发的分布式系统基础架构,可使应用程序充分利用集群的威力高速运算和存储,用户可以在不了解分布式底层细节的情况下,开发分布式程序。

  • Apache Lucene

    :一个全文检索引擎工具包,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。

  • Apache Pig

    :一个基于Hadoop的大规模数据分析平台,它提供的类SQL语言称为Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。


2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库,并推送给其他相关的用户。该过程用到的开源项目包括:


  • Linux

    :主要用于Twitter服务器。

  • Memcached

    :主要用于Twitter的缓存基础设施,作用是加速动态Web应用程序,减轻数据库负载。

  • Mysql

    :流行的开源关系型数据库,被Twitter大量用于存储Twitter消息。

  • Node.js

    :一套用来编写高性能网络服务器的JavaScript工具包,在Twitter中用于队列处理(接收推文并写入数据库),使服务器能处理每个连接而不会阻塞通道。


3.  Twitter工程师的工具箱


  • Apache Subversion

    :开源的版本控制系统

  • Git

    :一个分布式的版本控制系统

  • Eclipse

    :大名鼎鼎的Java IDE。

  • Gerrit

    :一个基于Web的代码评审和项目管理的工具,主要面向基于Git版本控制系统的项目

  • Jenkins

    :一个持续集成引擎,主要用于持续、自动地构建/测试软件项目,以及监控一些定时执行的任务

  • RSpec

    :一个BDD 测试工具


4.  Twitter背后的编程语言和框架


  • OpenJDK

    :Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。

  • Python

    :一种高效的动态解释型Web编程语言。

  • Ruby



    Ruby on Rails

    :Twitter最初主要由Ruby和Rails开发。

  • Scala

    :Twitter使用的主要应用编程语言之一,很多Twitter的基础架构都是用Scala编写。

  • Clojure

    :Clojure是一种运行在Java平台上的Lisp方言,在任何具备Java虚拟机的地方,都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。

  • Drupal

    :使用PHP语言编写的开源内容管理框架(CMF),由内容管理系统(CMS)和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。

  • Sinatra

    :一个轻量、快速的Ruby开发框架。


5.  Twitter的前端解决方案


  • jQuery

    :全球使用最广泛的JavaScript框架。

  • Less

    :一个使用广泛的CSS预处理器,通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。

  • MooTools

    :一个简洁、模块化、面向对象的开源JavaScript框架,为开发者提供了一个跨浏览器的JS解决方案

  • Zepto.js

    :一个轻量级的Javascript框架,主要用于移动开发


6.  Twitter服务开发框架


  • TwistedMatrix

    :一个Python 框架,用来开发非阻塞异步的网络服务和应用程序。

  • Netty

    :一个异步的、事件驱动的Web应用框架和工具,用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。

  • Apache Thrift

    :一个由Facebook开源的远程服务调用框架,采用接口描述语言定义并创建服务,支持可扩展的跨语言服务开发,所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。



Important remarks:

Thrift

这篇文章对Thrift做了综合性的介绍,值得我思考的是这篇文章:“

Thrift与其他框架的比较

”,以前对于分布式系统中的服务开发框架,我一直在想为什么不用rest或者webservice来进行通讯?而主流的却是选择RPC? 文章用图表来展示了Thrift在网络传输性能上与rest-jason,xml的优势。所以,是不是可以这样理解:Thrift从协议的定义上就使用了高效压缩数据格式

TCompactProtocol(就算不用压缩,只用

TBinaryProtocol 二进制流的数据格式,其传输性能也高于jason和xml

),

从而避免了传输,序列化jason或者xml 造成的代价。




Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处,而Twitter也在不断地回馈社区,开源了大量基础设施和工具,使得其他企业和开发者不必重新发明轮子,在这些开源项目的基础上更加快速地实现自己所需。


1.  大数据处理


  • scalding

    :一个用于

    Cascading

    的Scala API。Cascading是一个构建于Hadoop上的API,用来创建复杂和容错数据处理工作流,它抽象了集群拓扑结构和配置,允许开发者快速开发复杂分布式的应用,而不用考虑背后的MapReduce。

  • summingbird

    :允许开发者以类似于本地Scala或Java的方式编写MapReduce程序,并在大部分著名的分布式MapReduce平台(包括

    Storm



    Scalding

    )中执行它们。


2.  前端项目


  • Bootstrap

    :一个用于前端开发的工具包,包含了基本的CSS、HTML组件,包括排版、表单、按钮、表格、网格、导航等。

  • TwUI

    :针对Mac平台的、支持硬件加速的UI框架,受到了UIKit的启发。

  • typeahead.js

    :一个快速、全功能的自动完成库

  • hogan.js

    :一个

    Mustache

    模板语言的编译器


3.  后端服务


  • Twitter Mysql

    :Twitter的MySQL分支

  • Parquet

    :一种Twitter内部供Hadoop使用的列式存储格式,为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达,而且与数据处理框架、数据模型或编程语言无关。

  • Finagle

    :一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库,主要用于Twitter的后端服务。

  • iago

    :一个负载生成器,用来在产品正式发布前做流量负载测试。

  • twemproxy

    :一个快速、轻量级的memcached和redis代理服务器

  • zipkin

    :一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据,并提供查询接口。


4.  Twitter基础设施通用库


  • commons

    :Twitter的Python、JVM公共库

  • util

    :Twitter的一些可重用的代码库

  • cassovary

    :一个基于JVM的简单的大图形处理库