深度学习中的批归一化|深度学习

2023-03-03大数据39

深度学习中的批归一化|深度学习

在进行神经网络训练的时候，除了一些优化算法外，还有其它的一些优化技术，这些技术并不是具体的算法，而是一些通用的技巧，其中批归一化就是常用的一个技巧。

批归一化是loffe等在2015年提出来的优化神经网络训练的方法，自提出就受到了广泛关注。批归一化和普通的数据标准化类似，是将分散的数据统一的一种做法。批归一化所解决的问题实际上是对数据分布的调整。在神经网络训练过程中，尤其是深度神经网络训练过程中，在初始训练阶段，隐藏层中的神经元可能会变成"饱和"状态，导致更新缓慢，这是对于隐藏层使用批归一化来解决这个问题。
"饱和"状态是指数据经过神经网络的激活函数之后，函数的输出接近函数的极值(一般是+1和-1),之后反向传播进行梯度计算和更新网络参数时，得出的更新量将会很小(因为激活函数极值处的梯度值很小)，网络参数无法得到有效地更新，这种影响会随着庞大的神经网络结果不断累积，最后导致神经网络训练的失败。批归一化方法每次在数据进入激活函数之前，对数据进行"批归一化"处理，让数据分布在激活函数的敏感区域，不至于接近极值，这样神经网络的训练就可以正常进行。
具体的做法为：先把数据分批进行随机梯度下降，然后在前向传播的过程中对每一层进行标准化的处理。因此，批归一化是在全连接层到激活函数之间的步骤之间，假如神经元写成φ ( X ⋅ W + b ) \varphi (X \cdot W+b)φ(X ⋅W +b )，其中φ \varphi φ 是激活函数，那么批归一化处理就是在计算X·W之后，在经过激活函数之前进行，通过批归一化的处理，数据分布的该表使得激活函数非线性化的效果更加显著。批归一化处理可以写成下面的几个公式：
μ B = 1 m ⋅ ∑ i = 1 m x i σ b 2 = 1 m ∑ i = 1 m ( x i − μ B ) x ^ i = x i − μ B σ B 2 + ε x o u t i = γ x ^ i + β \mu_B=\frac{1}{m} \cdot \sum_{i=1}^mx^i \ \sigma^2_b=\frac{1}{m}\sum_{i=1}^m(x^i-\mu_B) \ \hat{x}^i=\frac{x^i-\mu_B}{\sqrt{\sigma_B^2+\varepsilon}} \ x_{out}^i=\gamma \hat{x}^i+\beta μB =m 1 ⋅i =1 ∑m x i σb 2 =m 1 i =1 ∑m (x i −μB )x ^i =σB 2 +εx i −μB x o u t i =γx ^i +β
其中，前三个式子完成对数据的批归一化操作，ε \varepsilon ε 是小常数，防止分母出现0。最后一个式子其实是让神经网络自己学习如何对待标准化操作，γ 和 β \gamma 和 \beta γ和β是神经网络学习得出的参数，用于对数据集尽心重新缩放和移位，加入神经网络觉得批归一化操作没有太大的作用，就会使用最后的式子对批归一化进行一定的抵消，x o u t i x_{out}^i x o u t i 就是算法的最后输出。

Original: https://blog.csdn.net/qq_48081868/article/details/121663429
Author: Wumbuk
Title: 深度学习中的批归一化|深度学习

Title: EFK 收集 Docker 日志

过程： filebeat(收集) -> elasticsearch(存储) -> kibana(展示)
优点：简单，快速，容易上手
缺点：filebeat 把收集到的日志全部存入 elasticsearch，日志量大，有并发问题

# &#x5EFA;&#x7ACB;&#x76EE;&#x5F55;
mkdir -p /data/docker-compose/efk/ && cd /data/docker-compose/efk/
mkdir elasticsearch  filebeat  kibana

# docker-compose.yml &#x914D;&#x7F6E;
cat docker-compose.yml
version: '3.2'

services:
  elasticsearch:
    build:
      context: elasticsearch/
      args:
        ELK_VERSION: $ELK_VERSION
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      ES_JAVA_OPTS: "-Xmx2048m -Xms2048m"
      ELASTIC_PASSWORD: elastic
      # Use single node discovery in order to disable production mode and avoid bootstrap checks
      # see https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html
      discovery.type: single-node
    volumes:
        - ${GLOBAL_APP_PATH}elasticsearch/data:/usr/share/elasticsearch/data
    networks:
      - elk

  kibana:
    build:
      context: kibana/
      args:
        ELK_VERSION: $ELK_VERSION
    ports:
      - "5601:5601"
    networks:
      - elk
    depends_on:
      - elasticsearch

  filebeat:
    build:
      context: filebeat/
    networks:
      - elk
    user: root
    volumes:
        - ${GLOBAL_APP_PATH}filebeat/config/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
        - /var/lib/docker/containers:/var/lib/docker/containers:ro
        - /var/run/docker.sock:/var/run/docker.sock:ro
    privileged: true

networks:
  elk:
    driver: bridge

volumes:
  elasticsearch:

# &#x73AF;&#x5883;&#x53D8;&#x91CF;&#x914D;&#x7F6E;
cat .env
ELK_VERSION=7.3.1
GLOBAL_APP_PATH=/data/docker-compose/efk/

# &#x914D;&#x7F6E; elasticsearch
cd /data/docker-compose/efk/elasticsearch

cat Dockerfile
ARG ELK_VERSION

# https://www.docker.elastic.co/
FROM docker.elastic.co/elasticsearch/elasticsearch:${ELK_VERSION}

# Add your elasticsearch plugins setup here
# Example: RUN elasticsearch-plugin install analysis-icu

mkdir data
chown 1000.1000 data

# &#x914D;&#x7F6E; filebeat

cd /data/docker-compose/efk/filebeat

cat Dockerfile
ARG ELK_VERSION
FROM docker.elastic.co/beats/filebeat:${ELK_VERSION}

mkdir config
cd config

cat filebeat.yml
setup.ilm.enabled: false
filebeat.inputs:
- type: docker
  containers.ids:
    - "*"
  containers.paths:
    - "/var/lib/docker/containers/${data.docker.container.id}/*.log"
  multiline.pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:'
  multiline.negate: false
  multiline.match: after

processors:
  - add_docker_metadata:
      host: "unix:///var/run/docker.sock"

setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
# &#x5982;&#x679C;&#x662F;&#x7B2C;&#x4E00;&#x6B21;&#x5219;&#x4E0D;&#x9700;&#x8981;, &#x5982;&#x679C; index-template &#x5DF2;&#x7ECF;&#x5B58;&#x5728;&#x9700;&#x8981;&#x66F4;&#x65B0;, &#x5219;&#x9700;&#x8981;
setup.template.overwrite: false
setup.template.settings:
  index.number_of_shards: 2
  index.number_of_replicas: 0
output.elasticsearch:
  hosts: ["elasticsearch:9200"]
  worker: 12
  # &#x5355;&#x4E2A;elasticsearch&#x6279;&#x91CF;API&#x7D22;&#x5F15;&#x8BF7;&#x6C42;&#x7684;&#x6700;&#x5927;&#x4E8B;&#x4EF6;&#x6570;&#x3002;&#x9ED8;&#x8BA4;&#x662F;50&#x3002;
  bulk_max_size: 400
  indices:
    - index: "docker-%{[container.name]}-%{+yyyy.MM.dd}"

# &#x914D;&#x7F6E; kibana
cd /data/docker-compose/efk/kibana

cat Dockerfile
ARG ELK_VERSION

# https://www.docker.elastic.co/
FROM docker.elastic.co/kibana/kibana:${ELK_VERSION}

# Add your kibana plugins setup here
# Example: RUN kibana-plugin install <name|url>

</name|url>

启动

cd /data/docker-compose/efk
docker-compose build
docker-compose up -d

测试
深度学习中的批归一化|深度学习

Original: https://www.cnblogs.com/klvchen/p/15667738.html
Author: klvchen
Title: EFK 收集 Docker 日志

Title: Apple Xcode 14 (14A309) 正式版发布 (含下载)

Command Line Tools for Xcode 14
tvOS 16 Simulator Runtime
watchOS 9 Simulator Runtime

请访问原文链接：https://sysin.org/blog/apple-xcode-14/，查看最新版。原创作品，转载请保留出处。

作者主页：www.sysin.org

Xcode 14 包含了在所有 Apple 平台上开发、测试和分发 App 所需的一切资源。利用 Swift 和 SwiftUI 的易用性与强大能力以及全新的跨平台 App 体验，使用编辑器的增强功能更快捷地编写代码，并着手开始进行从 Xcode Cloud 到 TestFlight 以及 App Store 的测试和部署。打造出色 App 变得前所未有的简单。

深度学习中的批归一化|深度学习

更轻巧，更快速

Xcode 14 使用比以前小 30% 的二进制文件，让您可以更快捷地着手开发。现在有了适用于 watchOS 和 Apple tvOS 的可下载模拟器运行时，Xcode 可以根据您的需要提供最新的平台。

在所有构建和链接阶段提高了并行性，将项目构建速度提高了 25%。

而全新的构建时间线有助于识别构建中意外运行时间较长的构建任务和瓶颈。

深度学习中的批归一化|深度学习

专为多平台设计

新的多平台目标创建了单一的 SwiftUI 界面，在 iOS、iPadOS、macOS 和 Apple tvOS 上均可使用。您的代码更易于维护，并且可以自定以利用每个平台的独特功能。

借助资产目录中重新设计的 App 图标体验，您可以为所有平台只提供一个图标尺寸，Xcode 将生成所有其余的图标。

深度学习中的批归一化|深度学习

高效编码

通过许多语言和编辑方面的改进，比以往更有效率。更智能的代码补齐功能和额外的动态代码片段将使您更快地获得您想要的代码。滚屏时，代码结构 (如函数声明) 保持可见，以便您始终知道自己所在的位置。Swift 中的正则表达式与语法高亮显示、重构操作等集成。

深度学习中的批归一化|深度学习

Swift、SwiftUI、Swift 软件包

Swift、SwiftUI 和 Xcode 14 协同工作。SwiftUI 预览是即时交互的，UI 方案 (如浅色和深色外观) 只需点按一下即可完成。Instruments 的新模板可以轻松调试和优化 Distributed Actors 和其他 Swift 并发功能的使用。使用构建和命令包插件，您能以前所未有的方式自定 Xcode 和构建过程。

进一步了解 Swift

进一步了解 SwiftUI

深度学习中的批归一化|深度学习

Xcode Cloud

Xcode Cloud 现在已面向所有 Apple Developer Program 成员提供。Xcode Cloud 是专为 Apple 开发者设计的 Xcode 内置持续集成和交付服务。只需几分钟即可开始构建 App，监控构建状态和报告，并自动分发给测试员和用户。反馈 Organizer 可帮助您查看指标、崩溃和用户反馈，现在还包括截屏。

进一步了解

深度学习中的批归一化|深度学习

使用入门

下载 Xcode，并使用这些资源为所有 Apple 平台构建 App。

下载 Xcode

Xcode 文档：查找关于如何使用 Xcode 的详细信息和分步说明。阅读文档

文档：浏览最新的文档，包括教程、示例代码、相关文章和 API 参考。阅读英文文档阅读简体中文文档

视频：探索 Apple 在 WWDC 及其他活动中公布的最新技术。观看视频

论坛：发布问题并与开发者同行及 Apple 工程师就各个开发主题进行讨论。查看论坛

下载地址

Xcode 14

Xcode 14 includes everything you need to create amazing apps for all Apple platforms. It includes SDKs for iOS 16, iPadOS 16, tvOS 16, watchOS 9, and macOS 12.3.

For development with the macOS Ventura SDK, continue to use Xcode 14 beta 6.

ReleasedSeptember 12, 2022
Build14A309
CompatibilitymacOS 12.5 or later

View on the App Store

Download Xcode 14 (7.03 GB)

Release Notes

百度网盘链接：https://sysin.org/blog/apple-xcode-14/

Original: https://www.cnblogs.com/sysin/p/16688740.html
Author: sysin
Title: Apple Xcode 14 (14A309) 正式版发布 (含下载)

Title: macOS Monterey 12.5 (21G72) 正式版 ISO、IPSW、PKG 下载

今日（2022-07-21）凌晨，Apple 终于发布了 macOS Monterey 12.5，包括功能增强、错误修复和安全性更新。macOS Monterey 12.5 自 2022 年 5 月 18 日起进入开发者测试版，发布了 5 个 beta 和 2 个 RC，历时超过 2 个月，较长的开发周期往往意味着高质量的软件交付，推荐所有用户更新！

Apple 同时发布了 iOS 15.6、iPadOS 15.6、watchOS 8.7、tvOS 15.6、macOS Monterey 12.5、macOS Big Sur 11.6.8 和 macOS Catalina 10.15.7 2022-005，其中包含各种安全补丁和其他修复程序。由于 Apple 的操作系统共享大量代码库和功能，因此单个修复程序可以适用于每个操作系统。

本站下载的 macOS Monterey 软件包，既可以拖拽到 Applications（应用程序）下直接安装，也可以制作启动 U 盘安装，或者在虚拟机中启动安装。

请访问原文链接：https://sysin.cn/blog/macOS-Monterey/，查看最新版。原创作品，转载请保留出处。

作者主页：www.sysin.org

2021 年 6 月 8 日，在今天凌晨举行的 Apple WWDC 2021 大会上，苹果公司正式发布了 macOS Monterey。新版操作系统新功能及特性如下：

深度学习中的批归一化|深度学习

照片、消息和更多升级共享 iOS 和 iPadOS 15 的功能
通用控制：可以让你用一种惊人的方式从 Mac 控制其他苹果设备
从 iOS 设备 AirPlay 到 Mac
作为 "自动操作" 的替代品引入的 "快捷方式" 应用程序
Safari 在所有设备上都重新设计了新的 UI、选项卡组和 web 扩展

按照惯例，macOS Monterey 正式版将在今年秋季正式推送。

1. macOS Monterey 正式版发布

深度学习中的批归一化|深度学习

macOS Monterey

各种超赞表现，

向大家问好。

从联络、分享到创造，感觉全然一新。FaceTime 通话的新功能，个个招人喜欢。Safari 浏览器改头换面，待你探索。通用控制和快捷指令，开创新颖强大的工作方式。专注模式，做起事来无打扰。
更多点赞之处，留给你补充。

2021 年 10 月 26 日推出。

macOS Monterey 带来多项开创性功能，助力用户以全新方式沟通交流、完成更多任务、使用多台 Apple 设备顺畅开展工作。FaceTime 通话包括全新音频与视频功能，让通话更自然生动；隔空播放到 Mac 等全新连续互通工具让 Apple 设备间的协作比以往更加顺畅；实况文本带来新的智能功能，呈现实用信息；Safari 浏览器通过标签页组带来强大的标签页管理功能；快捷指令首次来到 Mac，带来轻松的自动化操作体验。今年晚些时候，同播共享功能将让 Mac 用户通过 FaceTime 通话共享精彩内容；通用控制将让用户更轻松地搭配利用 Mac 和 iPad 展开工作。macOS Monterey 今日起作为免费软件更新发布，供搭载 Apple 芯片和基于 Intel 芯片的 Mac 下载。