思维导图
物联网技术与应用
  物联网概述
    起源与发展
      中国人提出。是一个基于互联网、传统电信网等信息载体，让所有能被独立寻址的普通物理对象实现互联互通的网络。
      三个重要特征
        普通对象设备化
        自治终端互联化
        普适服务智能化
      “物”需要满足的条件
        可寻址：拥有可被识别的唯一编号
        具有数据收发模块
        具有数据传输通路
        遵循一定的通信协议
        具有数据存储功能
        具有（微）控制器
        具有感知和控制功能
        具有操作系统或控制程序
      物联网就是物物相连的互联网
      传感网in物联网，物联网in泛在网
      5G的3个应用场景
        eMBB：增强型移动宽带
        mMTC：海量物联网通信
        uRLLC：低时延高可靠通信
    分层架构
      综合应用层
        十大典型领域
          物流、交通、安防、能源、医疗、建筑、制造、家具、零售和农业
      信息处理层
        提供信息处理、计算等通用基础服务设施、能力及资源调用接口
      网络构建层
        实现信息的传递、路由和控制，可依托公众电信网和物联网
      感知识别层
        实现对物理世界的智能感知识别、信息采集处理和自动控制
    核心技术
      物联网是典型的交叉学科
      感知识别层
        最低端，最基础
        组成
          传感器
          RFID
          智能设备
          无线传感网
          定位系统
        挑战
          标准体系难制定
          安全性能难保证
          规模应用未达到
      网络通信层
        距离分类
          局域网
            WiFi、蓝牙、Zigbee
          广域网
            蜂窝网络、GPRS、3G、4G、5G
          低功耗广域无线网
        速率分类
          高速率业务
            4G、5G、WiFi
          中速率业务
            蓝牙、eMTC
          低速率业务
            LPWAN，也即NB-IoT、LoRa、Sigfox、Zigbee
          中国主要以发展NB-IoT（窄带物联网）为主
        新兴接入技术
          毫米波通信，可见光通信（Li-Fi）
      信息处理层
        解决数据如何存储、如何检索、如何使用、如何不被滥用的问题
        网络化存储
          直接附加存储（DAS）、网络附加存储（NAS）、存储区域网络（SAN）
        云计算
          基础设置即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）
        信息安全与隐私保护
          RFID安全
          位置隐私
      综合应用层
        就是具体应用啦
    主要特点
      联网终端规模化
      感知识别普适化
      异构设备互联化
      管理调控智能化
      应用服务链条化
      经济发展跨越化
    发展趋势
      更广泛的互联互通
      更透彻的感知
      更深入的智能
      规模化发展
      协同化发展
      智能化发展
      重点应用领域
    应用前景
      智能交通（最有前景的应用之一）、智能物流、智能建筑、智能家居、智慧农业
    标准化组织
      IEEE-电器与电子工程师协会
      IETF-国际互联网工程任务组
        IETF工作组
      ISO-国际标准化组织
      ITU-国际电信联盟
      CCSA-中国通信标准化协会
  识别技术
    自动识别技术
      光学符号识别技术（OCR）
        自动识别技术的先驱
      语音识别技术
      生物特征识别技术
        虹膜识别
        指纹识别
      IC卡技术
      条形码技术
      RFID的概念
        RFID技术利用射频信号通过空间耦合实现无接触信息传递，并通过所传递的信息，达到自动识别的目的
        优点
          无接触识别，识别距离比光学远
          改变条形码通过有形图案提供信息，通过芯片提供海量“无形”信息
          能够读写，可携带大量数据、难伪造、有智能，识别迅速
    RFID发展历史
      雷达的改进催生了RFID技术，1948年奠定了理论基础
    RFID技术分析
      系统组成
        发射器
        接收器
        微处理器
        天线
        标签
        介于前端RFID读写器硬件模块和后端数据库与应用软件之间，称为RFID中间件，中间件会提供API
        统称阅读器
          最重要最复杂的组件，又被称为询问器
          又被称为询问器
          一般包括射频模块和控制处理模块
          参数
            识别距离
              远距离（2-80米），只读
            防冲突
              同时识别200个
            通信机制
              基于HDLC的时分多址和同步通信机制
            寿命
              6-8年
      标签类型
        被动式标签
          由阅读器发出电磁波进行驱动
        主动标签
          携带电源
          体积大、价格昂贵
        半主动标签
          有电池，但是还是被动
      功率获取
        如果读写器发送功率Pt，间距为d处的标签能获取多少功率Pr
        根据信号不同传输方式，能量转换有不同效率
          近场感应（13.56MHz）
            Pr~1/d^6
          远场辐射（915MHz）
            Pr~1/d^2
      标签芯片
        功能
          标签信息存储
          标签接收信号的处理
          标签发射信号的处理
      存储方式
        电可擦可编程只读存储器（EEPROM）
        铁电随机存取存储器（FRAM）
        静态随机存取存储器（SRAM）
      与条形码相比的优点
        可重复利用
        数据安全性
        体积小形状多样
        环境适应性
      标签读取方式
        SDMA
        FDMA
        TDMA
        CDMA
      工作频率
        低频
          一般为无源标签
          电子防盗（EAS），主要用于商场超市
          通信范围一般小于1米
        高频
          不再需要线圈绕制
          典型频率为13.56MHz
          居民身份证、校园一卡通、电子车票
        超高频
          可以是有源或无源
          机动车辆自动识别
        从125kHz到5.8GHz都有
      EPC编码
        电子产品编码
        最终目的是建立全球的、开放的编码标准
        包含版本号、EPC域名管理、对象分类、序列号
      发展限制
        标签限制
          通信距离短
          标签成本
          读写可靠性
        阅读器限制
          体积大
          功耗大
          移动性差
    RFID物联网
      两个组成部分
        物联网名称解析服务（IOT-NS）
          负责将电子标签ID解析成对应的网络资源地址
        信息发布服务（IOT-IS）
          负责对物联网中的信息进行处理和发布
      RFID标签解析
        EPC中间件
        ONS对象名称解服务器
        PML实体表示语言服务器
        解析流程
          EPC编码经过ONS服务器戒子，找到EPC对应的IP地址，由IP地址找到存储产品信息的PML服务器，获取实物信息并作对应处理
    物联网RFID标准体系
      目前还没有单一标准
      ISO/IEC
        技术标准
          数据采集
          信息共享
        数据内容与编码标准
          规定了传输表现形式
        性能与一致性标准
          设备性能测试方法
          一致性测试方法
        应用标准
        其他标准
          软件系统基本架构
          实时定位系统
        国际标准
      EPC
        特点
          唯一性
          永久性
          简单性
          可扩展性
        美欧标准
      UID
        泛在识别码
        泛在通信器
        信息系统服务器
        Ucode解析服务器
        日本标准
      我国不知道
  传感器技术
    传感器的基本概念
      组成
        敏感元件
        转换元件
        基本电路
      目的
        把非电学物理量转换为易于测量、传输、处理的电学量
    传感器分类
      分类方法
        功能
        工作原理
        感知对象
        应用领域
      温度传感器
        热敏电阻
        半导体温度传感器
        温差电偶
      光传感器
        光敏电阻
        光电传感器
          光敏二极管和光敏三极管
    智能传感器和无线传感器的发展
      两条主线
        低功耗
        微型化
      制约因素
        功耗
        价格
        体积
      发展方向
        微型化
        智能化
        网络化
    无线传感网
      基本组成
        传感器
        微型处理器
        无线通信芯片
        供能装置
      目的
        监视环境而非通信
      特点
        节点规模大
        节点密度大
        拓扑变化
        节点处理能力十分有限
      支撑技术
        时间同步机制
        定位技术
        数据融合
        容错技术
        能量管理
        网络覆盖
        安全机制
    自组织网络
      为什么不直接用TCP/IP协议
        资源限制
        大材小用
      定义
        没有固定网络结构，网络设备需要在不依赖于中央控制设备的情况下实现自组成网，处理节点移动、加入和退出
      设计方法
        期望传输次数
        选路指标
      协议
        数据收集协议CTP
        数据分发协议Drip
      能量管理
        休眠机制
      同步机制
      数据融合
        三个要点
          数据融合是多信源、多层次的处理过程，每个层次代表信息的不同抽象程度
          数据融合过程包括数据的检测、关联、估计与合并
          数据融合的输出包括低层次上的状态身份估计和高层次上的总战术态势的评估
        主要内容
          多传感器的目标探测、数据关联、跟踪与识别、情况评估和预测
        基本目的
          通过融合得到比单独的输入数据更多的信息。这一点是协同作用的结果，即由于多传感器的共同作用，使系统的有效性得以增强
      大规模长时间部署设计要求
        低成本与微型化
        低功耗
        灵活性与扩展性
        鲁棒性
      发展挑战
        传感失谐
          传感与感知不匹配
        诊判失据
          网络管理困难
        模型失用
          模型过于理想
    非传感网感知
      传感感知问题
        部署和维护的成本太高
      WiFi感知是典型的无线感知
      特点
        利用已有的感知媒介，讲感知和通信合二为一
        三无
          无传感器
          无线
          无接触
    群智感知
      什么是群智感知
        大量普通用户使用手机等移动设备作为基本感知单元
        通过移动互联网进行协作，实现感知任务分发与数据收集利用
        最终完成大规模的、复杂的感知任务
      特点
        参与者无需是拥有专业技能的人士
        群智感知中的感知任务常是复杂的
      众包
        通过互联网将工作分配出去
      发展挑战
        数据质量管理
        多维数据融合
        用户协同感知
  定位技术
    位置服务
      位置信息内容
        地理位置（空间）
        处在该位置的时刻（时间）
        处在该位置的对象（身份）
    无线定位原理
      卫星定位
      无线网络定位
      技术分类
        覆盖范围
          室内定位
            WLAN定位、RFID、ZigBee、UWB、蓝牙
          室外定位
            广域网GSM、卫星定位、蜂窝
        定位原理
          基于标签ID定位
            移动通信网络定位、RFID
          基于几何定位
            TOA、TDOA、RTOF、POA、RSS、AOA
          基于位置指纹定位
            TOA、TDOA、POA、RSS、信噪比
    定位系统
      全球定位系统GNSS
        北斗
          5颗静止轨道卫星和30颗非静止轨道卫星
          功能
            定位
            导航
            授时
            通信
          94年银河号货轮停航、96台海DF-15
        GPS
          1973开始，一开始军用、后面逐渐取消了军民区别
          组成部分
            空间星座部分
              24颗，6轨道平面，每个平面不均匀分布4颗，任意时刻都有6颗支持定位
            地面监控部分
              1+5+3
              一个主控站、6（5）个监控站、4（3）个注入站
            设备用户部分
              GPS接收机
                导航型接收机
                  用于运动物体的导航
                测定型接收机
                  用于精密大地测量和精密工程测量
                授时型接收机
                  利用高精度时间标准进行授时
      定位原理
        考虑光速原因，需要至少四颗卫星才能完成定位
        位置信息不是卫星计算好之后发过来的，而是用户设备自己算出来的
      优缺点
        优点
          精度高（5米）
          全球覆盖，可用于险恶环境，任意角度都能同时看到6颗卫星
        缺点
          启动时间长（初次使用需要很长时间，但是基站定位速度很快）
          室内信号差
          需要GPS接收机
      A-GPS
        是GPS定位和蜂窝基站定位的结合体
        大幅缩短搜索卫星的时间，从而缩短卫星启动的时间
    定位技术
      蜂窝基站定位
        GSM蜂窝网络
        单基站定位法
          COO定位
            移动设备所属基站的位置是为移动设备的位置
            在基站疏松的位置误差巨大
            简单、快速、适用紧急情况
        ToA（时间）/TDoA（时间差）定位法
          与GPS定位原理类似
          基于到达时间和到达时间差定位
          需要三个基站才能定位
        AoA定位法
          没有三个基站，仅需要两个基站
          不能仅靠时间差，需要靠昂贵天线阵列测量无限信号的传播方向
        优缺点
          优点
            快速
            不需要GPS接收机
            穿透能力强，室内也行
          缺点
            定位精度较低
            基站需要造价昂贵的专门硬件
      室内精确定位
        多径效应
        对电磁波的阻隔作用
          室内应该选用短波信号进行定位
        利用已有设备和网络
          蓝牙、WiFi、ZigBee
          部署方便、成本低、精度有限
        利用专门设备和网络
          红外线、超声波、RFID、超宽带（UWB）等
          精度高、部署成本高
      WiFi基站定位
        很多达到毫米级，绝大多是米级
        位置指纹算法
          AP设备号唯一性
          AP定时发送信标
          AP设备只覆盖有限的地理范围
      基于距离的定位（ToA）
        问题
          接收端如何得知发出时间，如果不能，那么就要想办法消除掉这个信息
          方法1：利用电磁波和声波的波速差
          方法2：测量往返时间
            需要一个等待时间
              消除多路效应的影响
        位置计算方法
          多边测量（多点测量）
          超过三个参考点时，用最小二乘消除误差
        局限
          需要参考点和测量目标时钟同步
          需要接收端特殊装置
      基于距离差的定位（TDoA）
        距离差计算方法
        位置计算方法
        需要接收端特殊装置
      基于位置特征的定位RSS
        不需要额外设备
        利用信号强度随传播距离衰减的模型
        只是理论模型
        不能动态变化
      各种不同的定位技术
        定位系统是告诉我们信息，而定位技术则是告诉我们如何能把位置信息计算出来
    物联网对定位技术的新挑战
      网络异构
        如何让不同的设备在不同的网络下准确定位
      环境多变
        商场门店利用用户信息定位精准识别用户偏好
      信息安全与隐私保护
        位置信息包含位置、时间、身份
      大规模应用
  互联网和移动互联网
    互联网
      基本要素
        通信链路
        数据交换设备
      发展历程
        第一阶段（60-70s）
          数据交换策略的演化
        第二阶段（70-80s）
          私有网络和互联技术的变革
        第三阶段（80s至今）
          互联网扩张与爆炸
    TCP&IP协议
      一套开放的协议标准，可以运行于各种传输网上
      TCP特点
        可靠的面向连接的服务
        面向字节流的传输服务
        TCP支持数据全双工通信
      UDP的特点
        无连接服务
        不提供拥塞控制机制
      实时传输协议与容迟网研究
        对实时性要求较高
        实时传输协议
          RTP
        实时传输控制协议
          RTCP
        容迟网（DTN）
          也称地天协议
          适应了物联网中对传输层的长延时、间歇性链接、低信噪比与高误码
    移动互联网
      5G
        基本需求
          巨量终端接入
          超低时延
          高效连接
          低成本
          低功耗
          超可靠
          全地域覆盖
        目的
          使整个社会充分物联化和智能化
        关键技术
          大规模多天线技术
            天线数列的变化
            信号覆盖的维度方面
          高频段传输技术
          密集网络接入技术
            研究热点
              消除干扰、小区快速发现、密集小区间协作、基于终端能力提升的移动性增强方案等
          同时同频全双工
            全双工技术能够突破FDD和TDD方式频谱资源使用限制，使得频谱资源的使用更加灵活
          D2D
            D2D能够实现较高的数据速率、较低的时延和较低的功耗
          新型网络架构
            C-RAN基于集中化管理、写作时无线电和实施云计算构架的思想
        商业潜力最大
          能源
          制造
          交通
        互联网（移动互联网）是物联网的基础
        互联网和移动互联网是整个社会信息交流的基础设施
        蜂窝系统
          小区制特点
            小区制移动通信系统也叫蜂窝移动通信系统
            每个小区假设一个或几个基站
  无线接入技术
    无线接入技术简介
      组成元素
        无线网络用户
        基站
        自组网
          无线传感网是一种典型的自组网
        无线连接
      特点
        信号强度衰减
        非视线传输
        同频信号干扰
        多径传播
        隐藏终端问题
    WiFi：无线局域网
      也就是IEEE 802.11标准
        不同协议的差异主要体现在使用频段、调制模式和信道差分等物理层技术上
        但是上层架构和链路访问协议是相同的
      组成部分
        基本服务组
          基站模式
          自组织模式
        信道
        用户与接入点关联（基站模式）
        识别帧扫描方式
      介质访问控制协议
        目的
          避免多个用户同时访问信道
        采用带冲突避免的载波监听多路访问协议（CSMA/CA）
          原因
            冲突检测（CD）需要全双工，硬件代价过高
            无线信号的衰减特性和隐藏终端问题使冲突很难被检测到
          信道访问机制
        预留信道
          发送请求帧RTS和清除发送帧CTS实现
          RTS很短，冲突概率较小，但是同时会增加传输延时和降低信道利用率
          RTS和CTS机制适用于冲突发生概率较高的情境中，如无线网络用户每次都需传输较长数据帧时
      802.11数据帧结构
        三个地址域
          数据帧目的用户的MAC地址
          数据帧源用户的MAC地址
          与接入点相连的路由器的MAC地址
          在无线基本服务组和上层网络数据交换中起到了至关重要的作用，可以用于将802.11数据帧和以太网帧格式中的地址域进行转换
    蓝牙
      角色
        主设备
        从设备
        一个主设备最多可以同时和7个从设备通信
      缺点
        建立连接时间长
        功耗高
        安全性不高
      蓝牙4.0
        高速蓝牙
          数据交换与传输
        经典蓝牙
          信息沟通与设备连接
        低功耗蓝牙
          低带宽设备连接
        优点
          低功耗
            纽扣电池用几年
          低延迟
            3毫秒就可连接
    ZigBee
      目标
        实现类似于蜂群通信的低功耗、低复杂度、低速率、自组织的短距无线通信网络
      也就是IEEE 802.15.4标准的低功耗局域网协议
      需求
        需要低价格、低传输率、短距离、低功耗
        蓝牙售价高、建立连接时间长、组网规模太小
      特点
        低功耗
          传输速率低，发射功率仅为1mW
        低成本
        时延短
        网络容量大
          以星型结构为例，最多可以容纳254个从设备和一个主设备
          一个区域最多可以同时存在100个ZigBee网络，组织形式灵活且能够自组织
        可靠
        安全
      介质访问控制
        载波侦听多路访问（CSMA/CA）
        组件
          全功能器件
          简化功能器件
      MAC层如何降低能量消耗
        无线收发模块占据大部分能量消耗
        无线收发器件的三种状态
          发送，侦听和空闲
        空闲侦听
          指节点在侦听，但是什么都没听到
        低功率侦听协议
          采样侦听
          存在问题
            发送者在发送数据的时候，接收者不一定处于侦听状态，从而不能正确的接收数据
            解决方法
              发送时候持续一个采样周期的时间或略长
              采用合适的链路层调度
        设计的其他挑战
          不对称链路
          中间链路
          空间相关性
      网络层
        采用距离矢量路由协议
          体现了自组网路由的特点
      应用层
        组件
          ZigBee网络对象
            协调者
            普通终端设备
          应用对象组件
          应用支持子层
    毫米波与可见光通信
      60GHz通信的兴起
        优点
          丰富的频谱资源
          高传输速率
            支持高达7Gbps
          波长短
            元器件尺寸小
          高方向性
            采用波束成形技术
            重叠度小，不易产生干扰
          安全性
            能量衰减大大增加
            在短距离通信的安全性能和抗干扰性能上有得天独厚的优势
        缺点
          信号快速衰减，通信距离小
          方向集中，覆盖范围受影响
          穿透性差，易被阻隔
      可见光通信
        利用可见光光谱进行数据传输
        优点
          丰富的频谱资源
            是射频频谱的一万倍
            能够实现更高的传输速率
          低成本
            LED灯即可
          安全性
            无法穿过墙壁的安全性
          无电磁辐射
            允许高发射功率，对人体没有影响
          无电磁干扰
        缺点
          易被遮挡
          光源间断问题
          频繁切换
          环境干扰
          用户友好的反向通信
            玩手机得开灯
    低功耗广域网与无限物联世界
      不同网络技术的特点
        WiFi 注重提高网络带宽，通信距离通常来说相对较小，通信能耗相对较高。网络带宽是其最重要的需求
        ZigBee 网络协议标准带宽较小，通信距离也相对较短，其优势是协议灵活、能耗很小
        蓝牙协议折中了上述两者，带宽比 Wi Fi 更低，但是比 ZigBee 又更高一些。相应的能耗也
比 Wi Fi 更低，比 ZigBee 更高
        通信距离、通信带宽和通信能耗相互制约
      低功耗广域网技术
        特点
          远距离
          低功耗
          低带宽
        代表
          远距离通信（LoRa）
            特点
              传输距离可达3km，相较ZigBee远很多
            三种集中工作方式
              双向终端设备模式
                只能在有数据上传时下载数据
              有接受时隙的双向终端设备模式
                固定时隙内下载数据
              最大化接受时隙的终端设备模式
                拥有几乎连续的接收时隙
          窄带物联网（NB-IoT）
            国内使用多
  物联网中的信息安全与隐私保护
    物联网的信息安全与隐私
      网络信息安全的一般性指标
        可靠性
        可用性
          正常服务时间和整体工作时间之比
        保密性
        完整性
          未授权不能改变信息
        不可抵赖性
          参与者不能抵赖已经完成的操作
        可控性
          访问读写可控
      什么是隐私
        个人信息
        身体
        财产
        自我决定
    RFID安全与隐私
      安全功能组件
        灭活Kill
        锁Lock
        访问控制密码
      安全隐患
        主要发生在标签本身以及标签和阅读器之间的通信上
        窃听
        中间人攻击
          伪装，扒手
        欺骗
          基于已掌握的标签数据发送给阅读器
        重放
          将标签的回复记录并重放
        克隆
          将标签内容写入另一个标签，形成副本
        拒绝服务攻击
          通过不完整的交互请求消耗系统资源
        物理破解
          逆向工程
        篡改信息
          修改或擦除
        RFID病毒
        其他隐患
          电子破坏
          屏蔽干扰
          拆除
      隐私问题
        隐私信息泄露
        跟踪
      效率和隐私之间存在矛盾
    RFID安全与隐私保护机制
      早期物理安全机制
        灭活Kill
        法拉第网罩
        主动干扰
        阻止标签
          标签碰撞算法
        物理安全机制会牺牲标签的部分功能
      基于密码学的安全机制
        哈希锁
          优点
            初步访问控制
          威胁
            偷听，跟踪
        哈希链
          优点
            前向安全性
          威胁
            DoS
        同步方法
          优点
            高效Key-Search
          威胁
            回放，DoS
        树形协议
      新兴隐私保护认证方法
        PUF
          容易计算
          难以特征化
        掩码
          偷听者无法得知阅读器活标签发出的具体信息
          接收者可以利用网络掩码的原理得到发送者发出的信息
      如何面对安全和隐私挑战
        可用性与安全统一
          分级别管理，不必要都有安全和隐私
        与其他技术结合
          生物识别
          近场通信（NFC）
        法律法规
    位置隐私与个人隐私
      位置隐私
        用户对自己位置信息的掌握能力
          是否发布
          何种方式
          发布给谁
          详细程度
      面临的威胁
        通信
        服务商
        攻击者
    保护隐私的手段
      制度约束
        最基础和最根本的手段
        五条原则
          知情权
          选择权
          参与权
          采集者
          强制性
        优点
          一切隐私保护的基础
          有强制力确保实施
        缺点
          各国法规不同
          重要程度不同
          不能事先预防
          有滞后性
      隐私方针
        为不同用户指定针对性隐私保护
        分类
          用户导向型
          服务提供商导向型
        优点
          可定制性好
        缺点
          缺乏强制力
          只对采用的服务商有效
          只能依赖于政治经济方面的压力
      身份匿名
        隐藏位置信息中的“身份”
        K匿名
          引入可信中介，让K个用户的位置信息不可分辨
        优点
          不需要强制力保障
          对任何服务商均可用
          事先保护
        缺点
          位置精度越高，推断的成功率越高
          服务质量下降
          引入中间层开销不菲
          无法应用于需要身份信息的服务
      数据混淆
        三种方法
          模糊范围
            精确位置到区域
          声东击西
            偏离精确位置
          含糊其辞
            引入“附近”等词汇
        优点
          服务质量损失小
          不需要中间层
          支持需要身份信息的服务
        缺点
          运行效率低
          支持的服务有限
  数据库与典型的数据中心
    数据库
      数据库的起源与发展
        定义
          数据库是存储在一起的相关数据的集合
          结构化的
          存储独立于它的程序
        早期数据库系统：导航式数据库
          网状模型
          层次模型
          缺点
            数据存储结构依赖于数据的类型
            通过指针串联，访问代价大
            查找操作难度大
      关系型数据库
        定义
          一组具有不同名称的关系的集合
        优势
          高度的数据独立性
          开放的数据语义、数据一致性、数据冗余性
          灵活的自定义数据操作语言
        缺点
          缺乏对真实世界实体的有效表达
          缺乏对复杂查询的有效处理
          缺乏对WEB应用的有效支持
        查询过程的三个步骤
          应用程序将查询语句发给数据库前端
          数据库对查询语句进行语法解析和优化
          数据库按照执行计划查询数据文件并返回结果
        模型
          关系
            数据库中的表
          属性
            每一列的名称
          域
            具有相同数据类型的值的集合
          元组
            每一行叫一个元组
            元组排列的顺序不重要
          度
            属性的数目叫度（列数）
          基数
            元组数目叫基数（行数）
          模式
            关系的名称及其所含属性的集合统称为模式
            无序的
        关系代数
          操作数是关系
          四类操作符
            传统的集合运算符
            专门的关系运算符
            比较运算符
            逻辑运算符
      非关系型数据库
        键值存储数据库
        列存储数据库
        文档数据库
        图形数据库
        感知数据库
          面向工业自动化和物联网
          可以在线存储实时特性的时序数据
          提供实时数据的发布订阅
          满足企业级应用
        文件系统
          本地文件系统
            资源直接连接在本地节点上
            容易丢失
            难以协同
          分布式文件系统
            建立在本地文件系统之上
            通过网络相连
            优点
              简单配置即可轻松扩展集群
              并发控制，提高效率
              容错性高
              可靠性高
              吞吐量大
              支持大数据处理工具
            MogileFS文件系统
              四个角色
                调度器
                  核心部分
                数据库
                  文件系统元数据
                存储节点
                客户端
            Hadoop文件分布式系统（HDFS）
              最多最广泛！
              GFS的翻版
              内部机制
                数据读取
                  客户端请求文件系统打开文件
                  DFS获取文件最开始的几个块的datanode地址
                  第一个块读取完毕后，寻找下一个块的最佳datanode读取数据
                  数据读取完毕，客户端关闭流对象
                数据写入
                如何确定写到哪一个节点上
                  第一个副本要放在客户端相同的机器上，如果机器在集群之外，随机选择一个；
                  第二个副本随机放在不同于第一个副本的机架上
                  第三个副本放在跟第二个副本同一个机架上，但是不同的节点上，满足条件的节点中随机选择
        分布式数据库和关系型数据库的最大区别
          关系式数据库集中在一个主要的服务器上，遵循ACID，分布式数据库将数据分散在多个服务器中进行存储，遵循BASE模型。
          关系式数据库常用在结构化要求高的场景，而分布式数据库更能应用于大规模数据处理
        非结构化数据和结构化数据对应用的影响
          结构化数据
            必须数据
            一致性要求极高
            数据规模中等
          非结构化数据
            非必须数据
            一致性要求低
            数据规模巨大
      物联网与数据库
        传感器数据的特点
          海量性
          多态性
          关联性及语义性
        传感器数据的网络存储
          分布式存储
          集中式存储
            数据全部保存在sink端（汇聚点）
        传感器网络的数据查询
          查询
            快照查询
              查询一个时间截面
              查询不固定、数据不固定
            连续查询
              查询一个时间序列
              查询固定、数据不固定
          近似查询技术
            针对数据不确定
          查询优化
            针对查询固定
        传感器网络的数据融合
          互联网中数据流从丰富的网络资源流向终端设备， 传感网中数据流从传感器设备流向网络
    典型的数据中心
      Google数据中心
        独特的硬件设备
          定制的以太网交换机
          能源系统
        自行研发的软件技术
      研究热点
        如何在保证服务质量的前提下降低成本
      成本构成
        基础设施部分
        服务器
          实际利用效率低
          关键在于及时应对需求的动态变化
        网络设备
          主要来源于交换机、路由器、负载均衡设备
          研究热点在新的数据中心网络结构
        能源
          降低工作能耗
          减少降温能耗
      选址考虑
        廉价电能
        清洁能源
        靠近水源
        大面积空地
        与其他数据中心距离
        税收优惠
      我国大数据中心建在哪里
        中心
          北京
        南方
          贵州
        北方
          乌兰察布
  物联网数据处理
    云计算与虚拟化
      虚拟化的概念
        核心思想
          利用软件或挂件管理程序构成虚拟化层，把物理资源映射为虚拟资源
        优点
          将原来数据中心的物理资源进行抽象整合
          数据中心的虚拟化可以实现资源的动态分配和调度，提高现有资源的利用率和服务可靠性
          可以提供自动化的服务开通能力，降低运维成本
          具有有效的安全机制和可靠性机制，满足公众客户和企业客户的安全性需求
          方便系统升级、迁移和改造
      服务器的虚拟化
        定义
          将一个或多个服务器虚拟成多个逻辑上的服务器，集中管理，能跨越物理平台不受限制
        两个方向
          一个物理服务器虚拟成多个独立的逻辑服务器
          把多个分散的物理服务器虚拟为一个大的逻辑服务器
        优点
          灵活、稳定性高
          降低能耗
          节省空间和成本
          提高基础架构的利用率
        分类
          全虚拟化
          半虚拟化
          硬件虚拟化
      存储虚拟化
        传统存储技术
          RAID技术
            多个物理磁盘变成一个大容量虚拟磁盘
          NAS技术
            网络连接存储技术
          SAN技术
            存储区域网络技术
        概念
          将存储网络中各个分散且异构的存储设备按照一定的策略映射成一个统一的连续编址的逻辑存储空间，称为虚拟存储池，并将其访问接口提供给应用
        优势
          整合系统分散的存储资源
          通过使用数据镜像、数据校验和多路径等技术提高了数据的可靠性以及系统的可用性
          利用负载均衡、数据迁移、数据块重组等技术提升系统的潜在性能
          整合和充足底层物理资源
      网络虚拟化
        传统数据中心网络
          基本结构
            数据网络
            存储网络
            高性能计算网络
          存在问题
            拥塞丢包
            数据冗余
            传输效率低
        概念
          让一个物理网络能够支持多个逻辑网络，使得最终用户的体验和独享物理网络一样
        优点
          能够高效利用网络资源，如空间、能源、设备容量的等
      SDN
        概念
          软件定义网络，将网络设备的控制面与数据面分离开来
        颠覆网络架构模式体现在
          将网络分为控制层和数据层
          控制层的控制器软件，通过特定传输通道，统一下达给数据层设备
          数据层设备仅依靠控制层的命令转发数据包
        SDN与网络虚拟化的关系
          SDN不等于网络虚拟化，只是SDN非常适合实现网络虚拟化
    数据预处理与知识发现
      为什么要进行数据预处理
        不完整性
        噪音数据
        不一致性
      数据清洗
        定义
          删除数据中的重复记录，消除数据中的噪声数据，纠正不完整和不一致的数据
        产生的原因
          采集设备有问题
          与其他已有数据不一致而被删除
          因为误解而没有被输入
          在输入时，有些数据没有得到重视未被输入
          对数据的改变没有进行日志记载
        解决方法
          使用最可能得值填写空值，使用像贝叶斯公式或判定树这样的基于推断的方法
        处理过程
          填补遗漏的数据值
          平滑有噪声的数据
          识别或除去异常值
          解决不一致问题
      数据集成
        定义
          将这些数据源中的数据集集中放在一个统一的数据存储中
        作用
          减少或避免数据的不一致性，有助于提高数据挖掘的精度和效率
      数据转换
        定义
          将一种格式的数据转换为另一种格式的数据
        涉及大量数据的平滑、聚集、数据概化、规范化以及属性构造等内容
      数据归约
        定义
          指在尽可能保持数据原貌的情况下，最大程度地精简数据量
        途径
          属性选择
          数据采集
      知识发现
        定义
          选择和提取数据的过程
        广义
          数据立方体
          面向数据归约
        狭义
          关联知识发现
            反映一个事件和其他事件之间的依赖或关联
          分类知识发现
            反应同类事物共同性质的特征型知识
          预测知识发现
            以时间为关键属性的关联知识发现
    数据挖掘
      数据挖掘技术的产生背景
        每18个月数据量增长一倍
        无法发现数据中存在的关系和规则
      数据挖掘的定义
        技术角度
          从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程
            数据源必须是真实的、海量的、含噪声的
            发现的数据要是用户感兴趣的知识
            发现的知识要可接受、可理解、可运用
          近义词
            数据融合、数据分析和决策支持
        商业角度
          提取辅助商业决策的关键性信息
      数据挖掘的方法
        关联分析
          分析一起出现的属性-值条件元组
          Apriori算法
            思想
              任意频繁项集的子集都是频繁项集
            优点
              所产生的候选项集少，效率较高，关联规则挖掘的最经典算法
            缺点
              可能产生大量候选集以及可能需要重复扫描数据库
        分类分析
          通过分析一个类别已知的数据集的特征来建立一组模型，该模型可用以预测类别未知的数据项的类别
          过程
            构建模型
            使用模型
        聚类分析
          定义
            同质分组、无监督分类
          评价
            保证类间数据相似性尽可能小，类内数据相似性尽可能大
          常用聚类方法
            划分
              K-means
            层次
              凝聚法
                起初每个对象被认为是一个簇
              分裂法
                先把所有数据归于一个簇
            密度
              任意形状的簇
            网格
              速度较快
            模型
              潜在的概率分布生成
    数据检索
      文本检索
        定义
          文本数据知识所有的数据都是以某种文字的编码方式存储在文件里面，而文本检索是围绕相关度展开的
        三种方法
          向量空间模型
            每一维为一个特征（类似关键字）
          概率模型
            查询相关和不相关的概率
          统计语言模型
            从文档到查询
        基于结构的检索
          内部结构
            排版、文字位置、格式
          外部结构
            文档之间的关联
        基于用户信息的检索
          用户本身的信息参与检索
      流媒体检索
        图像的层次
          图像数据层
          物理特征层
          语义特征层
        基于内容的图像检索
          定义
            将视觉特征、如颜色、纹理结构和形状等最为图像内容抽取出来匹配查找
        基于语义的图像检索
        音频检索
          预处理
            语音处理
            音频分割
            特征提取
          查询方式
            主观查询
            示例查询
            拟声查询
        视频检索
          类别
            目标检测
            目标跟踪
            目标识别
            行为分析
            基于内容的视频检索
            基于颜色的检索方法
            基于形状的检索方法
            基于纹理的检索方法
    可视化——大数据分析结果
      便于发现隐含的规律与知识
      柱状图、折线图和饼状图是常用的数据可视化表现形式
      概述
        面积与尺寸可视化
        颜色可视化
        图形可视化
        地域空间可视化
        概念可视化
      技术
        单位关联规则可视化
          表格
        多为关联规则可视化
          水平等距
        决策树图形
        分类3D散点图
        聚类树图
  智慧交通
    概述
      愿景
        环保
        便捷
        安全
        高效
        可视
        可预测
      服务类型
        交通管理
        公共交通管理
        旅行者信息服务
        车辆安全
        商业车管理
        紧急情况管理
      架构
        车辆
        道路及路旁设施
        乘客和行人
      通信
        车辆与路旁设施
        车辆和基础设施
        车辆之间
        车辆内部
      机遇与挑战
        感知挑战
        通信挑战
        数据处理挑战
        软件安全挑战
        标准化和灵活性的矛盾
      物联网技术
        透彻感知
        全面互联互通
        深入智能
    应用
      电子收费系统
      智能停车管理
      交通监测与管理
      车路协同安全
      动态通行管理
      单车智能
      车路协同
      难题
        高精度传感器
        不同环境下大量部署和测试
        大量基础设施建设的支持
        人为因素
  智慧建筑
    特点
      层数大
      跨度大
      结构复杂
      人员复杂
      功能复杂
    定义
      建筑、设备、服务、经营最优化
    需求和功能
      建筑系统智能化
      办公智能化
      通信智能化
      安防和逃生智能化
      能耗监测和节能控制
      智能综合管理
    物联网技术
      自动识别
      通信技术
        异构通信
        短距离通信
        自组织网络
      室内定位
    应用
      绿色建筑运行性能监测
      建筑结构健康监测
      智能家居
      智能安防和应急逃生
      室内环境监控
    发展与展望
      需求
        安全
        生产效率
        提升生活品质和舒适程度
    挑战
      整体规划
      人才匮乏
      国产化
      用户需求
  智慧供应链
    概述
      供应链
        以客户需求为导向，以提高质量和效率为目标，以整合资源为手段，实现产品设计、采购、生产、销售、服务等全过程高效协同的组织形态
      特点
        协同化
        智能化
        可追溯
    物联网技术
      生产加工环节
      仓储管理环节
      物流运输环节
      销售管理环节
    应用
      新零售
      食品安全溯源
    发展与展望
      我们需要更多的物联网节点、更庞大的网络、更准确的信息采集、更多维度的数据
  智慧工业
    深层含义
      创新性工业数字生态系统
      网络连接技术
      数据
      平台集成技术
      信息安全技术
    特点
      互联
    应用
      5G+智能工业
      数字孪生
      无人监测
    发展与展望
      生产全要素之间更广泛的互联互通
        全生产系统
        全产业链
        全生命周期
  SLAM空间智能计算
    五大部分
      传感器信息读取
      前端视觉里程计
      后端（非线性）优化
      全局回环检测
      建图
  无源感知网络
    需要原因
      能耗和成本成为主要发展瓶颈
    能量获取
      将环境中普遍存在的信号作为激励源
      通过移动式供能的方式扩大覆盖范围
      协同多个激励源来达到对区域的全面覆盖
    挑战
      能源供给
      合理模型推断数据
    通信和组网
      能量提供不稳定
      充电速度缓慢
      低信道利用率
      并发解码技术
  毫米波感知
    优势
      高频率
      大带宽
      能够感知粒度更细，精度更高
    商用毫米波雷达
      特点
        体积小、易集成、成本低、易部署
      组成
        多个天线组成的天线阵列，数据收发模块以及信号处理模块
      测量
        距离、方向和速度
    60GHz WiFi
      定向通信
      正交频分复用
    应用
      工业测振
      语音识别
      手势识别
      环境感知
    发展与展望
      快速衰减，不能远距离通信
      实现微小粒度感知