Awesome huzhi

学习心得，笔记，资源汇总等.

Author: huzhi

• Awesome huzhi

  • Python

  • Linux

  • MySQL

  • Docker/Kubernetes

  • 常见数据结构和算法

  • 邮件系统

  • Component

  • 分布式

  • PHP

  • go

  • Android 逆向

  • 机器学习

  • 计算机基础

  • JavaScript

  • Internet Awesome

  • Other

  • Book

python

• pool - Python 进程池，线程池，连接池等的实现方法

• python 多进程处理数据库操作

• python 数据库连接池实现--DBUtils

• 数据库 DB-API 2 标准实现

• Python并行编程（如何选择并行编程的模型？？）

• Python 源码阅读

  • Python 源码阅读最佳实践

  • Python 源码阅读列表

    • bottle
    • records
    • delegator.py
    • maya
    • flask

• 流畅的Python

• python-patterns - 常见设计模式UML类图说明-Python实现

• gevent 用法示例

• learn-wsgiref - wsgi规范UML说明和相关实现

• first-diy-framework - 自定义 Python 框架和asyncio实现

• lsbaws - 使用socket构建简单的web服务器

• learn_bottle - bottle框架中常见类的UML图

• 为什么 Flask 相对 Django 是一个轻量级框架

• data_analysis -Numpy、Pandas、Scipy、Matplotlib的使用方法(参考文档)

• records - 使用 UML 类图说明records设计架构

• SQLAlchemy example - SQLAlchemy示例说明 SQLAlchemy 的使用方法

• Python 技巧

  • 有趣实用的代码片段

• 布隆过滤器

• Python 脚本到打包项目的标准化指南

• Python 项目标准结构

• Python 线程安全，全局变量，局部变量

• Python 对象序列化

• python logging 实践

• Python 深复制和浅复制

• Python 弱引用

• Python 动态导入

• Python 函数定义规则

• yield_and_yield_from

• 魔术方法

• __slots__魔术方法说明

• new 和 init 代码示例、__new__() and __init__()

• getattr_and_getattribute

• Python 对象 hash

• exec-eval

• Python 函数重载

• Python 虚拟环境

  • 解决依赖包问题: virtualenv
  • 解决 python 版本问题: pyenv

• Python3 实例教程

• python 实现单例模式

• python 全局解释器锁和性能测试

• flask 启动脚本

• python 常见面试问题

• 常见正则表达式

• web请求参数验证

• 解析大的 XML 文件

  • 分段读取文件内容
  • 在文件内容中做数据冗余

• 爬虫相关问题

• Selenium

• Python 相关文章

• Python - Extension Programming with C

• 理解 Python 哈希表,本文详细讲解 Python 哈希函数的用法，然后用它实现一个简单的哈希表

• problem

Linux

• shell 编程

  • pure-bash-bible - shell 字符串，变量，循环，文件处理等的高效处理方法
  • shell - shell代码规范
  • Shell programming with bash: by example, by counter-example

• Linux 使用技巧

• linux 系统初始化

• Linux 网口相互绑定 bond

• 磁盘分区

• free 命令输出详解

• uptime 命令输出 linux 负载说明

• Linux常见命令使用示例

• Linux-Explore - 了解Linux服务器

• OpenSSL、gpg（gpg私钥免密码如何实现？？）

• firewall、iptables

• ip 指令常见用法

• nginx uwsgi flask

• 监控系统 prometheus 基本原理以及客户端的使用

  • Prometheus操作指南

• epel、elrepo

• http curl wget

• curl 帮助

• Linux 异步事件模型--以redis事件模型为例

• 使用 nginx 作为 yum 代理

• pcap 包示例

• 僵尸进程、清理僵尸进程的父进程

• page cache && buffer cache

• select、poll、epoll 异同

• C10K 问题

• 不下载文件但获取下载文件的大小

• nginx 直接在配置文件中切割日志

• nginx 内置变量

• nginx 增量部署添加新的模块（nginx -V）

• 进程间通信（IPC）：管道（包括无名管道和命名管道）、消息队列、信号量、共享存储、信号、Socket、Streams

• 服务端和客户端 SSL 链路

• haproxy 和 keepalived

• 获取 HTTP 响应时间

• OpenSSH Config File

• SSH ProxyCommand

• nc 命令示例

• syslog

• 网络性能测试工具 iperf3 工具使用方法

• 利用perf剖析Linux应用程序

• Linux网络知识集锦

• makefile 相关

MySQL

• MySQL 基础

• 事务特性

  • 原子性、一致性、隔离性、持久性（ACID）
    • 参考1
    • 参考2

• 事务并发时的问题

  1. 脏读

  2. 不可重复读

  3. 幻读

• 事务隔离级别(事务隔离级别测试准备工作) （为什么要有四种事务隔离级别？）

  1. 读未提交(read-uncommitted)

  2. 不可重复读(read-committed)

  3. 可重复读(repeatable-read)

  4. 串行化(serializable)

  5. MVCC, ReadView, 版本链

• buffer pool, change buffer, log buffer

• MySQL 锁

• 异步处理

• 错误日志、通用查询日志、慢查询日志、二进制日志、中继日志、DDL 日志

• InnoDB记录存储结构、InnoDB数据页结构、MySQL的索引

• 索引条件下推（Index Condition Pushdown)

• MySQL 外键约束

• 数据库分库分表方案

• 水平分表后页面分页处理办法

• MySQL的压测工具 - mysqlslap

• MySQL 协议

• MySQL 博客

• MySQL主从同步过程

• MySQL IO 过程

• MyISAM 和 InnoDB 的区别

• 安装 MySQL 5.7

Docker/Kubernetes

• docker 相关问题

• Docker 基础命令

• Docker 在单一主机上的网络原理

• docker 网络追踪

• Docker 跨主机访问原理

• Swarm mode 与 Docker Swarm 的差异及改进之处

• Linux 容器技术基础

  • DOCKER基础技术：LINUX NAMESPACE（上）
  • DOCKER基础技术：LINUX NAMESPACE（下）
  • DOCKER基础技术：LINUX CGROUP
  • DOCKER基础技术：AUFS
  • DOCKER基础技术：DEVICEMAPPER
  • DOCKER基础技术：overlayfs
  • understand-container-index

• Docker 的 Image 文件是分层的，本文简单介绍怎么查看每一层的内容，它们又是怎么组合成一个可以运行的 Image 文件

• 通过控制分层来缩小 Image 文件尺寸

• docker 的优点和缺点，反对声音

  • https://github.com/lanzhiwang/awesome-huzhi/blob/master/docker/Docker_Pros_and_Cons.md
  • http://apachebooster.com/kb/what-are-the-advantages-and-disadvantages-of-docker/
  • http://www.smashcompany.com/technology/why-would-anyone-choose-docker-over-fat-binaries
  • http://dockone.io/article/5520
  • http://www.smashcompany.com/technology/docker-is-a-dangerous-gamble-which-we-will-regret
  • https://thehftguy.com/2016/11/01/docker-in-production-an-history-of-failure/

• dockerfile 最佳实践

• 深入了解 Python的官方 Docker 映像，本文是一篇 Docker 教程，一步步介绍 Python 官方的 Docker 镜像是怎么制作的，详细解读 Dockefile 文件

• kubernetes

algorithm

• 算法分类
• sort
• tree
• 算法题

email

• IMAP/POP3/STMP 协议
• 邮件头信息解析规则和常见头字段
  • 如何区分并不同的MUA和MTA添加的头信息？？
• Python实现的简单邮件客户端实现获取邮件
• IMAP/POP3/STMP pacp 包
• smtp 响应状态码
• 实现高性能、安全邮件服务器？？
• 反爬虫？？
• 邮件服务器添加 SPF、DKIM、DMARC、PTR 提高送达率
• 通过头信息识别垃圾邮件的方法

Component

• Etcd

• Redis

  • Redis 目标分类
  • Redis 客户端与服务端通信协议
  • Redis 事件模型
  • redis-cli 常用命令
  • Redis 数据类型
  • bit 操作、过期时间、sort、管道操作、事务、发布订阅、在redis中使用lua脚本
  • Redis 复制
  • Redis 持久化 RDB 和 AOF
  • Redis 哨兵和集群
  • Redis 数据分片解决方案对比
  • Redis在实践过程中需要考虑的问题以及解决方案
  • redis 的缺点（主要是内存浪费、集群问题、Redis单线程对 CPU 的利用率不高）
  • Redis 实现分布式锁
  • Redis 中的乐观锁和悲观锁
  • Redis 内存模型
  • Redis 中的写时复制机制
  • Redis 内存碎片化的原因
  • 缓存穿透，缓存击穿，缓存雪崩
  • 使用 docker 搭建 redis 集群和哨兵
  • Sentinel 进程是如何坚持到从服务器和其他哨兵实例的（毕竟我们只在配置文件中指定了主实例的信息）？

• MongoDB

  • MongoDB 复制集的主从选举机制和主从同步机制？？
  • MongoDB 的分片机制？？
  • primary shard 是怎样选举的？？
  • MongoDB 的 balancer 机制？？
  • 分片的 chunks 功能是怎样实现的？？
  • mongos 元数据是怎样生成的？？

• Elasticsearch

  • Elasticsearch 基础
  • elasticsearch 分片索引
  • elasticsearch 节点类型

• RabbitMQ

• Kafka

  • kafka 高性能的基本原因
    • 顺序读写磁盘，顺序读写磁盘效率比随机写内存还要高，这是Kafka高吞吐率的一个很重要的保证
    • partition 水平扩展
    • 仅仅元数据序列化和反序列号
    • 用户态和内核态交互少
    • Kafka提供两种策略去删除旧数据。一是基于时间，二是基于partition文件大小，减少磁盘IO
    • Kafka broker是无状态的，它不需要标记哪些消息被哪些consumer过，不需要通过broker去保证同一个consumer group只有一个consumer能消费某一条消息，因此也就不需要锁机制，这也为Kafka的高吞吐率提供了有力保障
    • 复制机制采用 "in sync" 机制，复制机制即不是同步复制，也不是单纯的异步复制

分布式

• 分布式理论

  • 一致性、可用性、分区容差 CAP theorem

• 分布式系统介绍

• 分布式教程

PHP

• php_di - 简单的 PHP 依赖注入示例

• database_connection_pool - 在 PHP 中使用 pdo 驱动和 gearman 实现的数据库连接池

• FastRoute - PHP 框架中的路由实现

• curl_handle - PHP 扩展curl封装

• guzzle - PHP 中 HTTP 请求的客户端封装

• firstFramework - 自定义 PHP 框架

go

• go-example - go example
• go-design-patterns - 常见设计模式UML类图说明-go实现
• web 自定义框架

Android

• 安卓基础

• 安卓应用攻击面

• AndroidViewClient - 获取安卓界面上的控件坐标用于沙箱运行

• apk-Dynamic-Analysis - 常见APK逆向分析工具使用方法

• android-emulator - docker 运行安卓模拟器

• 命令行构建 APK 文件

计算机基础

• tcp/ip - tcp 连接和断开过程以及过程中进程的状态
• TCP 协议基础
• tcp的半连接与完全连接队列
• Linux SYNcookie 机制
• 粘包与半包
• TCP IP协议中backlog参数
• TCP状态转换图
• tcp/ip 主动断开连接为什么需要等到 2MSL 时长
• HTTP 包式处理和流式处理
• HTTP 连接管理 - 短连接、长连接、HTTP 流水线、域名分片、http2的多路复用
• HTTS 是如何工作的
• nginx 支持长连接
• HTTP 中 GET/POST 的区别
• system-design-primer - 设计可扩展系统
• 代码整洁之道
• HTTPS图解
• HTTP Status Codes
• 什么时候使用单例模式，为什么要使用单例模式
• DNS 记录
• Linux的进程、线程、文件描述符是什么 - 通俗讲解
• 进程和线程 - 理论讲解
• 进程间通信
• linux 系统调用 fork() 和 exec()
• linux 内存分配
• python下的进程、线程、协程

JavaScript

• 前端浏览器（各种浏览器的性能测量以及性能损耗问题？）

  • phantomjs

  • puppeteer

  • chromium

Internet-Awesome

• awesome-python

• awesome-interview-questions

Other

• Hack - 编程专用字体

• ffmpeg - ffmpeg 是一个非常快速的视频和音频转换器，也可以从现场音频/视频源获取。 它还可以在任意采样率之间进行转换，并使用高质量的多相滤波器动态调整视频大小。

• ffmpeg 操作示例

• thumbor - Thumbor是一种智能成像服务。 它支持按需裁剪，调整大小和翻转图像。

• you-get - 视频、音频、图片下载工具

• asciify - Convert Images into ASCII Art with the power of Python

• face_recognition - 人脸识别

• Markdown

  • haroopress、typora

  • vnote

Book

• Python

  • 图灵程序设计丛书:Python基础教程(第3版)

  • Python 高级编程(第2版)

  • python 学习手册

  • 流畅的Python (图灵程序设计丛书)

  • Effective Python:编写高质量Python代码的59个有效方法

  • Python 并行编程手册

  • Python 参考手册

  • Python核心编程(第3版)

  • Python编程之美(最佳实践指南)

  • Python网络编程攻略 (图灵程序设计丛书)

  • Python极客项目编程

  • Flask Web开发 基于Python的Web应用开发实战 (图灵程序设计丛书)

  • Python Web开发 测试驱动方法 (图灵程序设计丛书)

  • Python数据分析基础教程：NumPy学习指南（第2版）

  • Python数据可视化编程实战 第2版

  • Selenium自动化测试 基于 Python 语言

  • Python高手之路

• Linux

  • 鸟哥的Linux私房菜:基础学习篇(第3版)

  • 鸟哥的Linux私房菜:服务器架设篇

  • Linux Shell脚本攻略 第3版

  • Shell 从入门到精通

  • UNIXLinux系统管理技术手册 第4版

  • Linux Performance and Tuning Guidelines

  • 奔跑吧 Ansible

• Docker

  • 第一本Docker书
  • Docker经典实例 (图灵程序设计丛书)
  • 每天5分钟玩转Docker容器技术
  • 每天5分钟玩转Kubernetes
  • 容器即服务：从零构建企业级容器集群
  • Kubernetes权威指南：企业级容器云实战

• go

  • The Go Programming Language (英语)

  • Go并发编程实战(第2版)

  • Go语言入门经典

  • Go语言实战

  • Go Web编程

  • 微服务设计

  • Go语言高级编程

• MySQL

  • 高性能MySQL(第3版)

  • MySQL数据库入门

  • MySQL技术内幕(第5版)

  • 深入浅出MySQL:数据库开发、优化与管理维护(第2版)

• Android

  • Android安全攻防实践

  • Android恶意代码分析与渗透测试

• other

  • Kafka权威指南

  • Redis 4.x Cookbook中文版

  • Redis 深度历险 核心原理和应用实践

  • 写给大忙人的Hadoop 2

  • 大型网站技术架构:核心原理与案例分析

  • Wireshark网络分析就这么简单

  • HTTP权威指南

  • 数学之美(第二版)

  • 啊哈!算法

  • 图解密码技术(第3版)

  • 深入理解计算机系统(原书第3版)

  • 从Paxos到Zookeeper:分布式一致性原理与实践