f5-bigdata-engine-v3.0

Release Note:

1. Add the Travis automation test.
2. Update dashboard names.
3. Update the workflow description in document.
4. Remove the source package(.zip .tar.gz) from release page.

f5-bigdata-engine-v2.0

Release Note:

BigDataEngine

功能（视图）

LTM视图

• 信息收集
  • timestamp
  • client-ip
  • host
  • user-agent
  • cookie
  • method
  • uri
  • username
  • content-type
  • server-ip
  • latency
  • resp-status
  • sender
  • stdout
  • vs_name
  • client_remote_port
  • client_local
  • server_local
  • server_local_port
  • server_remote
  • server_remote_port
  • delay_type
  • delay_value
  • cdnumber
  • transmission.resource_name
  • transmission.resource_size
• 视图展示
  • L4
    • 服务器实时握手延迟
    • 服务器平均首包响应时间
    • 应用实时首包响应时间
    • 首包延迟热力图
    • 应用实施服务器连续响应延迟采样（每10包）
    • 服务器连续响应平均延迟采样（每10包）
    • 服务器握手延迟
  • L7
    • 访问者地理分布
    • 客户总请求数
    • 每条线路访问数
    • 全局实时访问延迟（最大、最小、评估）
    • 实施服务器响应延迟
    • 线路平均延迟
    • 关键API实时响应延迟
    • 应用历史响应趋势
    • URL平均延迟Top20
    • 热点URI请求Top20
    • 访问城市分布
    • 客户端IP Top20
    • 用户访问Top10
    • 关联页面访问逻辑统计
    • 在线用户数
    • 秒杀入口每秒访问数（隐藏）
    • 秒杀宝贝每秒访问数（隐藏）
    • 秒杀支付每秒访问数（隐藏）
    • 实时HTTP响应状态码
    • 浏览器类型分布
    • HTTP请求方法
    • 服务器延迟情况统计
    • 服务器响应传输带宽占比
    • 服务器响应资源大小
    • 服务器响应资源次数
    • 服务器响应宽带使用情况
• Summary: 同时兼容 L4 / L7

DNS视图

• 信息收集
  • clientip
  • clientport
  • listenerip
  • requestid
  • queryname
  • querytype
  • status
  • origin
  • f5hostname
  • responsecode
  • responseflag
  • answer
• 视图展示
  • 访问来源地理分布
  • 响应地理分布
  • 实时解析请求走势
  • 每线路请求数
  • 非智能解析Top10
  • 请求排名前10客户端
  • 总请求数
  • 总失败请求数
  • 总响应数
  • 失败请求时间及ID(Top50)
  • 响应域名Top30
  • 响应状态趋势
  • 响应城市Top30
  • 查询类型
  • 访问这来源城市Top30

自监控

• 信息收集
  • avail_size_m
  • es_data_size_m
  • fluentd.worker*
  • fluentd_size_bytes
  • kfk_data_size_m
  • total_size_m
  • usage_rate
• 视图展示
  • 日志数量统计
  • LTM 日志总量统计
  • ElasticSearch 及 Kafka 磁盘使用量（MB）
  • 磁盘当前使用量
  • Fluentd磁盘使用量（分线程）
  • 异常日志比例

文档

• 集成模板
  • l7 profile
  • l7 irule
  • l4 irule
  • dns irule
• 系统一键式拉起步骤
• 视图实例展示截图
• BIG-IP配置方法

性能

• 组件多节点，多索引分日期管理
• 各组件内多线程并行处理
• 全开源组件，ES 多节点部署
• 处理log能力 126GB/10-work-hour (3.5MB/s)

运维部署

• 版本发布管理
• 下载及部署量可跟踪
• 一键式容器化部署
• 磁盘空间自适应调整log 窗口
• 视图即用即得，无需对ELK过多了解
• 除docker 运行时 环境无其他依赖
• 配置、数据可持久化，方便导出备份

BDE-Over-BIGIP-v1.0

Change Notes:

1. Single-node container-based automated deployment and configuration.
2. Performance tuning to 3.5MB/s(~ 5000 ps * 700 Bytes/log) on VM configuration(CPU core: 16, MEM: 32GB).
3. Dashboards for BIG-IP LTM HTTP Request/Response, DNS Parsing.
4. Self-health check through health dashboard.
5. Time-Series Machine Learning with BYOL.
6. Data Rotation based on disk usage.