TensorFlow 1.15版本安装及PyCharm环境导入

人工智能49

前段时间人工智能的课,发现教材上面的tensorflow1.13.1版本和以前自己用的2.x版本不太一样,大部分api都不兼容。

此处吐槽一下本科生教材,计算机类的教材不应该只看是不是"十三五"、"省部级"的标签,并不是说这些教材不好,而是这个行业更新太快,很多教材两三年时间就可能出现版本太老,甚至是给的案例都无法运行的。

下面就是tensorflow1.15.0版本安装的踩坑。

1.安装anaconda

官网下载,双击安装。用anaconda就是想使用虚拟环境,万一没弄好直接删了重新搞就行。

下载地址:https://repo.anaconda.com/archive/Anaconda3-2021.11-Windows-x86_64.exe

2.创建虚拟环境

Windows+R打开运行,输入cmd进入命令行。

创建conda虚拟环境,需要输入y/n输入y

conda create -n tensorflow-1.15.0 python=3.6

进入虚拟环境

activate tensorflow-1.15.0

如果你命令行前面有个你的虚拟环境名加括号说明进去了。

TensorFlow 1.15版本安装及PyCharm环境导入

3.安装tensorflow

更新pip和setuptools(不是必要步骤,有时候会更新失败)

pip install --upgrade pip

python -m pip install --upgrade setuptools

安装grpcio,这个是个大坑, 直接安装tf1.15会出现这安装不上,安装grpcio需要--force-reinstall这个参数

pip install --no-cache-dir  --force-reinstall -Iv grpcio==1.8.6

TensorFlow 1.15版本安装及PyCharm环境导入

然后安装tensorflow1.15即可

pip install tensorflow==1.15.0  -i https://pypi.douban.com/simple/

TensorFlow 1.15版本安装及PyCharm环境导入

至此tf1.15已经安装完成。

4.在PyCharm里面导入

找到file>sittings>python interpreter

点击python interpreter的配置按钮,选择add

TensorFlow 1.15版本安装及PyCharm环境导入

接着选择conda environment,选择已存在的环境(即刚才去创建的conda虚拟环境)

选择将刚才创建的环境的python.exe

文件在anaconda安装目录下envs/

TensorFlow 1.15版本安装及PyCharm环境导入至此,pycham里面已经可以使用刚才安装好的tensorflow1.15的环境写代码了。

Original: https://blog.csdn.net/tamako0v0/article/details/123555464
Author: 明天不想吃桃子
Title: TensorFlow 1.15版本安装及PyCharm环境导入



相关阅读1

Title: 【modlearts】华为人工智能平台_modelarts平台系列教程3_预置算法_语音处理3

文章目录

前言

华为modelarts训练,能够面向三类用户提供解决AI开发支持。对于无AI基础的业务开发员,可以使用自动学习模型。全程无需写代码,一键启动训练&部署。对于AI初学者,使用预置的算法,少量的代码即可调用。对于AI深度玩家,可以使用modlearts内置的notebook,自研的MoXingSDK,简化代码。

modlearts内置了很多算法,这些算法我们可以直接调用。只需要少量的代码,即可实现功能。
TensorFlow 1.15版本安装及PyCharm环境导入
如上图所示
华为云平台提供了一些使用场景。这些场景覆盖了图像处理,语音处理,和自然语言的处理。多个场景

; 1.场景简介

华为云上的语音交互服务中,有语音合成和语音识别服务,本实验的内容是定制版语音合成和定制版的一句话识别服务。
语音合成(Text To Speech,TTS),又称文语转换,是一种将文本转换成逼真语音的服务。语音合成以开放API(Application Programming Interface,应用程序编程接口)的方式提供给用户,用户通过实时访问和调用API获取语音合成结果,将用户输入的文字合成为音频。通过音色选择、自定义音量、语速,为企业和个人提供个性化的发音服务。
语音识别(Automatic Speech Recognition,ASR),将口述音频转换为文本。语音识别以开放API(Application Programming Interface,应用程序编程接口)的方式提供给用户,用户通过实时访问和调用API获取语音识别结果。当前语音识别提供了短语音识别和长语音识别功能,短语音识别对时长较短的语音识别速度更快,长语音识别对时长较长的录音文件转写效果更好。
一句话识别服务:可以实现1分钟以内、不超过4MB的音频到文字的转换。对于用户上传的完整的录音文件,系统通过处理,生成语音对应文字内容。

2.代码解析

载语音交互服务的
Python SDK
data文件夹中的数据我们可以用,代码与data文件夹同级别即可,我们也可以使用自己的数据放在data文件夹中。

2.1语音合成

步骤 1 导入所需要的包

from huaweicloud_sis.client.tts_client import TtsCustomizationClient
from huaweicloud_sis.bean.tts_request import TtsCustomRequest
from huaweicloud_sis.bean.sis_config import SisConfig
from huaweicloud_sis.exception.exceptions import ClientException
from huaweicloud_sis.exception.exceptions import ServerException
import json

步骤 2 配置相关参数

ak = "***"  #配置自己的ak
sk = "***"  #配置自己的sk
project_id = "***" #配置自己的project_id
region = "cn-north-4" #默认使用北京-4区,对应的区域代码即为cn-north-4

步骤 3 配置数据和保存路径

text = '兽人永不为奴,除非包吃包住'           # 待合成文本,不超过500字
path = 'test.wav'           # 保存路径,可在设置中选择不保存本地

步骤 4 初始化客户端

config = SisConfig()
config.set_connect_timeout(5)       # 设置连接超时,单位s
config.set_read_timeout(10)         # 设置读取超时,单位s
ttsc_client = TtsCustomizationClient(ak, sk, region, project_id, sis_config=config)
步骤 5  构造请求
ttsc_request = TtsCustomRequest(text)
# 设置请求,所有参数均可不设置,使用默认参数
# 设置属性字符串, language_speaker_domain, 默认chinese_xiaoyan_common, 参考api文档
ttsc_request.set_property('chinese_xiaoyan_common')
# 设置音频格式,默认wav,可选mp3和pcm
ttsc_request.set_audio_format('wav')
# 设置采样率,8000 or 16000, 默认8000
ttsc_request.set_sample_rate('8000')
# 设置音量,[0, 100],默认50
ttsc_request.set_volume(50)
# 设置音高, [-500, 500], 默认0
ttsc_request.set_pitch(0)
# 设置音速, [-500, 500], 默认0
ttsc_request.set_speed(0)
# 设置是否保存,默认False
ttsc_request.set_saved(True)
# 设置保存路径,只有设置保存,此参数才生效
ttsc_request.set_saved_path(path)

步骤 6 语音合成测试

发送请求,返回结果。如果设置保存,可在指定路径里查看保存的音频。

result = ttsc_client.get_ttsc_response(ttsc_request)
print(json.dumps(result, indent=2, ensure_ascii=False))

trace_id代表服务内部的令牌,可用于在日志中追溯具体流程,调用失败无此字段,在某些错误情况下可能没有此令牌字符串;result代表调用成功表示识别结果,调用失败时无此字段。data代表语音数据,base64编码格式返回。
保存的语音数据如下:
TensorFlow 1.15版本安装及PyCharm环境导入

2.2 语音识别

步骤和之前都是一样
返回结果

result = asr_client.get_short_response(asr_request)
print(json.dumps(result, indent=2, ensure_ascii=False))

输出结果

{
  "trace_id": "3144bf30-c06d-42ea-b0ed-adb35751e866",
  "result": {
    "text": "兽人永不为奴,除非包吃包住。",
    "score": 0.7765163653009842
  }
}

Original: https://blog.csdn.net/qq_37633855/article/details/122252279
Author: 晓港实验室
Title: 【modlearts】华为人工智能平台_modelarts平台系列教程3_预置算法_语音处理3

相关阅读2

Title: 语音翻译常用数据集

语音翻译常用数据集

  1. Fisher and CALLHOME Spanish-English Speech Translation

【基本信息】

Fisher and CALLHOME Spanish-English Speech Translation数据集是由约翰霍普金斯大学开发的,包含英语参考翻译和语音识别器各种形式的输出,补充了LDC Fisher Spanish (LDC2010T04) 和CALLHOME Spanish音频和转录版本 (LDC96T17)。两者一起组成了一个四向平行的数据集,包括西班牙语音频、转录、语音识别词图(ASR lattices)和大约38小时的语音的英文翻译。

源数据是由LDC开发的Fisher Spanish和CALLOME Spanish语料库,包括各种方言的(主要是母语)西班牙语使用者之间转录的电话对话。Fisher Spanish数据集包含 819 次转录对话,内容涉及各种提供的主题,主要是在陌生人之间,产生大约160小时的在发音级别对齐语音,包含150万个token。CALLHOME Spanish语料库包括120份主要是朋友和家人之间自发对话的转录,产生了大约20小时的在发音级别对齐语音,转录文本仅超过20万个token。

数据被分成训练、开发和测试集,通过亚马逊的Mechanical Turk众包获得翻译。CALLHOME 数据集定义了自己的数据拆分,组织为train、devtest和evltest,这里保留。对于Fisher数据集,产生了四个数据拆分:一个大的训练部分和三个测试集。这些测试集对应于存在四种翻译的数据部分。

【数据集特点】

包含平行语音(西班牙语-英语),转录、翻译和语音识别词图,拓展了两个LDC西班牙语语音集。

【相关文章】

[1]Post, M., Kumar, G., Lopez, A., Karakos, D., Callison-Burch, C., & Khudanpur, S. (2013). Improved Speech-to-Text Translation with the Fisher and Callhome Spanish–English Speech Translation Corpus.

[2]Salesky, E., & Black, A. (2020). Phone Features Improve Speech Translation. ArXiv, abs/2005.13681.

【下载链接】

https://github.com/joshua-decoder/fisher-callhome-corpus

https://joshua.incubator.apache.org/data/fisher-callhome-corpus/

  1. Multilingual Speech Translation Corpus (MuST-C)

【基本信息】

MuST-C是一个多语言语音翻译语料库,其规模和质量有助于训练端到端系统将英语语音翻译成多种语言。对于每种目标语言,MuST-C包含数百小时的英语TED演讲语音,这些语音在句子级别自动与其手动转录和翻译对齐。MuST-C目前是用于语音翻译最大的公开可用的多语言语料库。它涵盖八个语言方向,从英语到德语、西班牙语、法语、意大利语、荷兰语、葡萄牙语、罗马尼亚语和俄语。带有预定义的训练、验证和测试数据拆分。

【数据集特点】

英语语音到其他8种语言的转录与翻译,规模大,多语言。

【相关文章】

[1] Gangi, M.A., Cattoni, R., Bentivogli, L., Negri, M., & Turchi, M. (2019). MuST-C: a Multilingual Speech Translation Corpus. NAACL.

[2] S. Indurthi et al., End-end Speech-to-Text Translation with Modality Agnostic Meta-Learning. ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp. 7904-7908, doi: 10.1109/ICASSP40776.2020.9054759.

[3] Zhang, B., Titov, I., Haddow, B., & Sennrich, R. (2020). Adaptive Feature Selection for End-to-End Speech Translation. ArXiv, abs/2010.08518.

【下载链接】

https://docs.google.com/forms/d/e/1FAIpQLSer9jNfUtxbi610n3T6diXRlANBbuzShsCje-GtKs1Sngh0YQ/viewform

3.Europarl-ST

【基本信息】

Europarl-ST,是一个新的多语言SLT语料库,包含语音翻译的音频文本配对样本,包含了来自9种欧洲语言的SLT的配对音频文本样本,共包含72个不同的翻译方向。本文集是根据2008年至2012年期间欧洲议会举行的辩论汇编而成的。开发集、测试集都在3到6小时之间,各语言之间的训练集时长如下图。共8.9G。

TensorFlow 1.15版本安装及PyCharm环境导入

【数据集特点】

多语言,都为欧洲语言,时长相对较小。

【相关文章】

  1. Iranzo-Sánchez, Javier et al. "Europarl-ST: A Multilingual Corpus for Speech Translation of Parliamentary Debates." ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (2020): 8229-8233.

  2. Fantinuoli, C., & Prandi, B. (2021). Towards the evaluation of simultaneous speech translation from a communicative perspective. ArXiv, abs/2103.0836

【下载链接】

https://www.mllp.upv.es/europarl-st/;

Original: https://blog.csdn.net/qq_37443534/article/details/119325331
Author: 猪猪小宝y
Title: 语音翻译常用数据集

相关阅读3

Title: 知识图谱构建技术

知识图谱的构建技术包括知识抽取、知识融合、知识加工和知识更新等。

TensorFlow 1.15版本安装及PyCharm环境导入

图1 知识图谱构建技术流程图

1.1 知识抽取

知识抽取就是自动化或半自动化的从原始数据中获得实体、关系及属性等可用知识单元。早期是基于规则的知识抽取,通过人为预先规定的抽取规则,从文本中抽取知识的三元组信息,缺点是数据量大的时候规则构建耗时长、可移植性差,难以应对数据规模庞大的知识图谱构建。目前基于神经网络的知识抽取将文本作为向量输入,能够自动发现实体、关系和属性特征,适用于大规模数据的知识图谱构建。

1.1.1 实体识别

实体识别即命名实体识别(NER),为自然语言处理和知识图谱领域的基础任务。目的是从海量原始数据中准确提取人物、地点、组织等命名实体信息。这一步影响后续关系抽取等任务,决定了知识图谱的质量。

NER分为基于规则、基于统计模型和基于神经网络三类。

基于规则的方法是通过专家手工构建规则集,将文本等数据与规则集匹配来得到命名实体信息。优点是适用小规模数据、精度和可靠性较高;缺点是大规模应用困难、可移植性差。

基于统计模型的方法是将NER作为序列标注问题,以部分标注和完全标注的语料进行模型训练。如条件马尔可夫模型(CMM)、隐马尔科夫模型(HMM)、条件随机场(CRF)和最大熵(ME)等。优点是性能较好、通用性强、可移植;缺点是依赖特征和语料库、训练时间长。

深度学习能够从数据中学习复杂的隐藏特征,不需要专业的领域知识或经验就可实现,基于神经网络的NER已成为目前主流方法,主要模型有卷积神经网络和循环神经网络等。

1.1.2 关系抽取

关系抽取(RE)是知识抽取的核心内容,通过获取实体之间的某种语义关系或关系的类别,自动识别实体对及联系这一对实体的关系所构成的三元组。

近年RE的研究主要是基于神经网络方法,主要包括基于卷积神经网络(CNN)、基于循环神经网络(RNN)、基于注意力机制(ATT)、基于图卷积网络(GCN)、基于对抗训练(AT)、基于强化学习(RL)的RE以及实体-关系联合抽取(JERE)。

(1)基于卷积神经网络的关系抽取

CNN通过嵌入表示和文本信息等数据组织为类似图像的二维结构,使用卷积核提取特征信息并用于关系抽取。

CNN方法为基于深度学习的关系抽取提供了思路,已有很多利用基于神经网络的关系抽取方法来提取单词和句子的特征。

(2)基于循环神经网络的关系抽取

RNN可利用内部的记忆机制处理时序相关信息,适用于处理和表示短语及句子的组合向量。

(3)基于注意力机制的关系抽取

ATT能基于权重筛选上下文相关性强的信息,提高关系抽取的质量。

(4)基于图卷积网络的关系抽取

GCN可以捕捉图的全局信息,具有很好的节点表示能力。基于GCN的关系抽取针对文本依存树种各词语的依存关系编码,将关系知识编码信息引入关系抽取,挖掘句子中更深层的语义信息。

(5)基于对抗训练的关系抽取

基于神经网络的模型通常忽略了输入数据中的噪声,导致模型效果不佳。将对抗训练AT引入关系抽取,对训练数据产生对抗噪声来优化分类算法,能够有效提升模型鲁棒性。

(6)基于强化学习的关系抽取

强化学习是一类学习、预测和决策的方法框架,通过训练策略网络选择最优实例,结合神经网络进行关系抽取。

(7)实体-关系联合抽取

实体-关系联合抽取旨在针对实体识别和关系抽取作为两个串联子任务时存在的错误传播问题,对实体和关系进行联合建模。能够考虑到实体与关系间的语义相关性,有效解决关系重叠问题,减少误差累积,提高知识抽取的整体效果。

1.1.3 属性抽取

属性抽取是知识库构建和应用的基础,通过不同信息源的原始数据中抽取实体的属性名和属性值,构建实体的属性列表,形成完整的实体概念,使实体完整化。

属性抽取方法分为传统的监督、无监督和半监督属性抽取、基于神经网络的属性抽取和其他类型的属性抽取。

目前大多数属性抽取是从文本数据中抽取信息。传统方法的监督学习的属性抽取使用HMM和CRF等抽取属性。基于神经网络的属性抽取一般作为序列标注任务,使用序列标注模型抽取文本的属性值。基于元模式的属性抽取将类型化的文本模式结构命名为元结构,可以在海量语料库中发现元模式,可使用该方法发现文本中高质量的属性描述语句,作为实体的属性值。多模态属性抽取方法及数据集,实现对多种类型数据的属性抽取。

1.2 知识融合

知识融合是融合各个层面的知识,包括融合不同知识库的同一实体、多个不同的知识图谱、多源异构的外部知识等,并确定知识图谱中的等价实例、等价类及等价属性,实现对有知识图谱的更新。知识融合的主要任务包含实体对齐和实体消歧。

1.2.1 实体对齐

实体对齐是知识融合阶段的主要任务,目的是发现语义相同的实体,主要方法是基于嵌入表示的实体对齐,实体对齐方法可分为传统概率模型、机器学习和神经网络等类别。

传统概率模型基于属性相似关系,将实体对齐看作概率分类模型,根据相似度评分选择对齐实体。常用模型有CRF、马尔可夫逻辑网络和隐含狄利克雷分布等。基于机器学习的实体对齐将实体对齐看作二分类问题,可分为监督学习和无监督学习。在监督学习实体对齐中,使用预先人工标注部分训练模型,对未标注数据进行分类。如决策树、支持向量机等方法通过比较特征向量进行实体对齐,或考虑实体的相似度,使相似实体聚类对齐。在神经网络方法中,基于嵌入的实体对齐将不同的知识图谱表示为低维嵌入,并通过计算实体嵌入间的相似度来进行实体对齐。

1.2.2 实体消歧

实体消歧是根据给定文本,消除不同文本中实体指标的歧义,将其映射到实际的实体上。

根据有无目标知识库划分,实体消歧主要有命名实体聚类消歧和命名实体链接消歧等方法。命名实体聚类消歧将所有的实体指称与实际的目标实体进行聚类。命名实体链接消歧则是根据文本中的上下文信息,将文本中的实体指称链接到候选的实际目标实体列表中。

1.3 知识加工

知识加工是在知识抽取、知识融合的基础上,对基本的事实进行处理,形成结构化的知识体系和高质量的知识,实现对知识的统一管理。知识加工的具体步骤包括本体构建、知识推理和质量评估。

1.3.1 本体构建

本体构建是指在模式层构建知识的概念模板,规范化描述指定领域内的概念及概念之间的关系,其过程又包括概念提取和概念间关系提取两部分。根据构建过程的自动化程度不同,可分为手工构建、半自动构建以及自动构建。本体构建的目的是构建知识数据模型和层次体系,主要方法是人工编辑、实体相似度、实体关系自动抽取等。

1.3.2 知识推理

知识推理是针对知识图谱中已有事实或关系的不完备性,挖掘或推断出未知或隐含的语义关系。知识推理的对象可以为实体、关系和知识图谱的结构等。知识推理主要有逻辑规则、嵌入表示和神经网络三类方法。

1.3.3 质量评估

知识图谱质量评估通常在知识抽取或融合阶段进行,对知识的置信度进行评估,保留置信度高的知识,有效保障知识图谱质量。质量评估的研究目的是提高知识样本的质量,提升知识抽取的效果,增强模型的有效性。

1.4 知识更新

知识更新是随着时间的推移或新知识的增加,不断迭代更新知识图谱的内容,保障知识的时效性。

Original: https://blog.csdn.net/yangzai0326/article/details/125171325
Author: 董锦洋
Title: 知识图谱构建技术