1.允许为任何类型的分布式数据源（非结构化、半结构化、结构化）收集信息的协议

2.使用不同协议从分布式源收集数据的框架

3.允许持久存储框架检索的数据的技术

大部分大数据采集在消息队列范式中进行，有时也称为流式范式、发布/订阅范式（Carzaniga et al.2000）或事件处理范式（Cugola and Margara 2012；Luckham 2002）。这里的基本假设是，多种不稳定数据源生成需要大数据处理平台捕获、存储和分析的信息。数据源生成的新信息通过实现预定义协议的数据采集框架转发到数据存储器。本节介绍获取大数据的两项核心技术。

协议

一些内部依赖大数据处理的组织设计了企业特定的协议，其中大多数尚未公开发布，因此本章无法对其进行描述。本节介绍数据采集常用的开放协议。

AMQP

开发高级消息队列协议（AMQP）的原因是需要一种开放协议，以满足大公司在数据采集方面的要求。为了实现这一目标，23家公司编制了一系列数据采集协议的要求。由此产生的AMQP（高级消息队列协议）于2012年10月成为OASIS标准。AMQP（美国银行等，2011年）的基本原理是提供具有以下特征的协议： 普遍性：AMQP的这一特性是指其在当前和未来数据采集架构中跨不同行业使用的能力。AMQP的普遍性是通过使其易于扩展和实现而实现的。实现该协议的大量框架，包括SwiftMQ、Microsoft Windows Azure服务总线、Apache Qpid和Apache ActiveMQ，反映了该协议的实现有多容易。 安全性：安全性属性在两个不同的维度上实现。首先，该协议允许消息加密的集成，以确保即使是截获的消息也无法轻松解码。因此，它可以用来传输关键业务信息。该协议对垃圾邮件的注入具有鲁棒性，使得AMQP代理难以受到攻击。其次，AMQP确保了消息的持久性，这意味着它允许消息传输，即使发送方和接收方不同时在线。 保真度：第三个特征与消息的完整性有关。AMQP包括确保发送方能够表达消息语义的方法，从而允许接收方理解其接收的内容。该协议实现了可靠的故障语义，允许系统在接收方存储信息之前，在发送方端创建消息时检测错误。 适用性：此属性背后的意图是确保AMQP客户端和代理可以使用开放系统互连（OSI）模型层的多个协议进行通信，如传输控制协议（TCP）、用户数据报协议（UDP）以及流控制传输协议（SCTP）。通过这些方法，AMQP适用于许多场景和行业，这些场景和行业并不需要并使用OSI模型层的所有协议。此外，该协议被设计为支持不同的消息传递模式，包括直接消息传递、请求/应答、发布/订阅等。 互操作性：该协议被设计为独立于特定的实现和供应商。因此，具有完全独立的实现、体系结构和所有权的客户机和代理可以通过AMQP进行交互。如上所述，来自不同组织的几个框架现在实施该协议。 可管理性：AMQP规范中的一个主要关注点是确保实现它的框架可以轻松扩展。这是通过确保AMQP是一种容错和无损的有线协议实现的，通过该协议可以传输所有类型的信息（例如XML、音频、视频）。 为了实现这些需求，AMQP依赖于一个类型系统和四个不同的层：传输层、消息传递层、事务层和安全层。类型系统基于数据库中的基本类型（整数、字符串、符号等）、编程中已知的描述类型以及协议用户可以扩展的描述符值。此外，AMQP允许使用编码来存储符号和值，以及定义由几个主要类型的组合组成的复合类型。 传输层定义如何处理AMQP消息。AMQP网络由通过链路连接的节点组成。消息可以来自（发送方），由（中继）转发，或由节点（接收方）使用。只有在以下情况下，才允许消息通过链接传播.