‘壹’ 短时记忆的编码方式为什么以听觉编码为主
短时记忆的的编码方式可以分为听觉编枯皮码和视觉编码，其中1964年Conrad对短时记忆的听觉编码的相关研究，结果发现听觉编码是记忆的一种有效方式。1969年，Posner等人对短时记忆的视觉编码进行了研究，并认为某些短时记忆信息可以有视觉编码和听觉编码两个连续的阶段，视觉编码实为存在。相关研究表明造成学生对不同类别材料的记忆力差异是由记忆时的编码方式与加工程度不同而引起的。短时记忆主要以听觉编码为主，长时记忆以视觉编码为主。 反应时: 信息加工理论认为~信息在脑内要经过一系列操作加工，这些操作加工有明确的先后次序，在不同的加工阶段信息处于不同的状态，而这些都是自爱时间上进行的的，其特征必然能在反应时上表现出来。因此不同的的心理操作按时间分布上的不同加以区分，反应时技术在认知心理学研究上具有重要的地位。
减数法: 减数法是一种用减法方法将反应时分解成各个成分，然后来分陵空析信息加工过程的方法。减数法的反应时实验逻辑是如果一种作业包含另一种作业所没有的某个特定的心理过程，且除此过程之外二者在其他方面均相同，那么这两种反应时的差即为此心理过程所需的时间。
短时记忆的编码方式一直是一个重要的研究课题，从已有的研究可以看出，短时记忆不但有听觉编码，还有视觉编码和语义编码。本实验主要讨论的是短时记没汪差忆的视觉编码。波斯纳(1967,1969)用减法反应时,字母匹配任务研究了短时记忆信息的编码。实验是让被试辨认两个字母是否相同。两个字母都用大写体,如A、A,叫做等同辨认;两个字母一个用大写体,一个用小写体,如A、a,叫做同称辨认(辨认前告诉被试不管字母是大写还是小写)。结果表明,在两个字母同时呈现而
让被试进行辨认的情况下,则等同辨认的反应时短;但若使两个字母的呈现时间间隔1-2秒,则等同辨认的优热趋于消失。这表明由瞬间记忆转入短时记忆后,编码的形状(视觉)优势已经让位于语音(听觉)了。这种情况似乎可以说明由主要为视觉的感觉记忆过渡到主要为听觉的语词记忆。
‘贰’ 幼儿园视觉编码意义
可以培养小朋友的注意力和逻辑思维能力。拆扮
小朋友山卖在游戏中会不由自主地提高注意力，而视觉编码是记忆中具体事物的形象表征，对逻辑思维这一方面有很大的作用。
视觉编码是指在个体接收外界信息时，对外界信息的视觉刺激进行编码，如：逗御逗对颜色、数字、字母、图形等视觉刺激的信息进行编码。
‘叁’ 各类场景应用中涉及的AI算法汇总
整理了各类场景应用中AI算法
一、图像CV
内容安全，目标检测，图像识别，智能视觉生产，图像搜索，图像分割，物体检测，图像分类，图像标签，名人识别，概念识别，场景识别，物体识别，场景分析，智能相册，内容推荐，图库管理，网红人物识别，明星人物识别，图像搜索，商品图片搜索，版权图片搜索，通用图片搜索，车牌识别，垃圾分类，车辆检测，菜品识别，车型识别，犬类识别，实例分割，风格迁移，智能填充，智能识图，拍照搜商品，精准广告投放，电商导购，图像分析，图像理解，图像处理，图像质量评估，场景识别，物体识别，场所识别，图像自训练平台，图像分类，目标检测，图像分割，关键点检测，图像生成，场景文字识别，度量学习，图像识别，图像比对，图像分类使用手册，图像分类API文档目标检测使用手册，目标检测API文档Logo检测使用手册，Logo检测API文档，通用图片搜索，车牌识别，垃圾分类，车辆检测，车型识别，犬类识别，实例分割，风格迁移，智能填充，车牌识别，相册聚类，场景与物体识别，无限天空，图像识别引擎，黄色图片识别，暴力图像识别，工业轮胎智能检测，肋骨骨折识别，显微识别，图像处理，广告识别，人脸算法，人体算法，图像识别，图像增强，OCR，图像处理，ZoomAI，智能贴图，智能制作，质量评价，图像识别，智能鉴黄，图像识别，实时手写识别，唇语识别，通用文字识别，手写文字识别，图像技术，图像识别，图像审核，图像搜索，图像增强，图像特效，车辆分析，图像生成，绘画机器人独家，动漫化身独家，像素风独家，超清人像独家，图像融合，换脸技术，神奇变脸，图像风格化，证件照生成，线稿图像识别，宝宝检测，图像分类，圉像深度估计，天空分割，食物分割，猫狗脸技术，食物识别独家，图像美学评分，车辆分析，车型识别，车型识别（含指导价），车型识别（含配置参数），车标识别，人脸识别（活体），车牌识别，表情识别，安全帽识别，计算机影像，计算机视觉，聚焦光学字符识别、人脸识别、质检、感知、理解、交互，图像视频分析，Logo检测，内容审核，智能批改，笔记评估，思维导图评估，物体检测，物体识别。
二、人脸、体态、眼瞳、声音、指纹
人脸分割人脸识别，无，人体分析HAS，识别人的年龄，性别，穿着信息，客流统计分析，智能客服，热点区域分析，人体检测，人脸口罩识别，人脸对比，人脸搜索，人脸检测与属性分析，人脸活体检测，人体关键点检测，行人重识别，细粒度人像分割，人像分割，人脸解析，3D人体姿态估计，人脸融合，人脸识别，换脸甄别，人脸支付，人脸核身，人像变换，人脸试妆，人脸融合，人体分析，手势识别，人脸验证与检索，人脸比对，人脸比对sensetime，人脸水印照比对，静默活体检测，静默活体检测sensetime，人脸检测和属性分析，人脸特征分析tuputech，配合式活体检测，人脸安防，计算机视觉，智能应用服务，人脸查询人脸分析人脸统计名单库管理人脸布控，人脸应用，人体应用，人体查询，车辆查询车辆分析车辆统计车辆布控车辆名单库管理，车辆应用，人脸图像识别人体图像识别车辆图像识别，图像识别，图像比对，人脸比对，人体检测，人脸口罩识别，人脸对比，人脸搜索，人脸检测与属性分析，人脸活体检测，人体关键点检测，行人重识别，细粒度人像分割，人像分割，人脸解析，3D人体姿态估计，人脸融合，人脸识别，人脸检测，人脸比对，人脸搜索，人脸关键点，稠密关键点，人脸属性，情绪识别，颜值评分，视线估计，皮肤分析，3D人脸重建，面部特征分析人体识别，人体检测，人体关键点，人体抠像，人体属性，手势识别人像处理，美颜美型，人脸融合，滤镜，声纹识别支付，语音合成，语音合成，声纹识别，语音唤醒，人脸识别引擎，摄像头人脸识别，图片人脸检测，身份识别，人脸识别，人脸属性，人体识别，声纹识别，衣服检索及聚类，语音分析，声纹识别，说话人归档，人脸和人体识别，人脸检测，手势识别，人脸与人体识别，人脸识别云服务，人脸识别私有化，人脸离线识别SDK，人脸实名认证，人像特效，人体分析，人脸技不，皮肤分析独家，头部分割，宏观人脸分析，人脸关键点检测，微观人脸分析独家，头发分析独家，五官分割，头发分割人体技术，人体外轮廓点检测独家，精细化人像抠图，人体框检测，肢体关键点检测，人像分割，服饰识别，手势识别，皮肤分割，人脸，说话人识别，人脸检测识别，人脸1：1比对，人脸检测，AI人脸/人形车辆，大数据人像图片防伪，QoS保障，CDN，表情识别，举手动作识别，人脸检测，网络切片，边缘计算，人脸分析，人脸检测，人脸搜索，人体分析，手势识别，着装检测，人脸识别，行为检测，人脸识别，人形检测，行为分析，人脸检测，人脸跟踪，人脸比对，人脸查找，人脸属性分析，活体检测，声音指纹，声纹识别。
三、视频
视频分割、视频处理、视频理解、智能视觉、多媒体，视频内容分析，人体动作监控，视频分类，智能交通，人/动物轨迹分析，目标计数，目标跟踪，视频编辑-，精彩片段提取，新闻视频拆分，视频摘要，视频封面，视频拆条，视频标签-，视频推荐，视频搜索，视频指纹-，数字版权管理，广告识别，视频快速审核，视频版权，视频查重，视频换脸，车辆解析， 体育 视频摘要，视频内容分析，颜色识别，货架商品检测， 时尚 搭配，危险动作识别，无，无，视频，视频换脸，车辆解析， 体育 视频摘要，视频内容分析，颜色识别，货架商品检测， 时尚 搭配，危险动作识别，菜品识别，视频识别引擎，结肠息肉检测，胃镜评估系统，视频标签，场景识别，客流分析，手势识别，视频技术，短视频标签，视觉看点识别，动态封面图自动生成，智能剪辑，新闻拆条，智能插帧，视频技术，多模态媒资检索公测中，媒体内容分析，媒体内容审核，视频生成，视频动作识别，
四、ocr文字识别
手写识别，票据识别，通用文档，通用卡证，保险智能理赔，财税报销电子化，证照电子化审批，票据类文字识别，行业类文字识别，证件类文字识别，通用类文字识别，通用文字识别，驾驶证识别，身份证识别，增值税发票识别，行驶证识别，营业执照识别，银行卡识别，增值税发票核验，营业执照核验，智能扫码，行业文档识别， 汽车 相关识别，票据单据识别，卡证文字识别，通用文字识别，手写文字识别，印刷文字识别，银行卡识别，名片识别，身份证识别intsig，营业执照识别intsig，增值税发票识别intsig，拍照速算识别，公式识别，指尖文字识别，驾驶证识别JD，行驶证识别JD，车牌识别JD，身份证识别，增值税发票识别，营业执照识别，火车票识别，出租车发票识别，印刷文字识别（多语种），印刷文字识别（多语种）intsig内容审核，色情内容过滤，政治人物检查，暴恐敏感信息过滤，广告过滤，OCR自定义模板使用手册，OCR自定义模板API文档，通用文字识别，驾驶证识别，身份证识别，增值税发票识别，行驶证识别，营业执照识别，银行卡识别，身份证识别，驾驶证识别，行驶证识别，银行卡识别，通用文字识别，自定义模板文字识别，文字识别引擎，身份证识别，图片文字识别，通用文字识别，身份证识别，名片识别，光学字符识别服务，通用文字识别，手写体文字识别，表格识别，整题识别（含公式），购物小票识别，身份证识别，名片识别，自定义模板文字识别，文字识别，通用文字识别，银行卡识别，身份证识别，字幕识别，网络图片识别， 游戏 直播关键字识别，新闻标题识别，OCR文字识别，通用场景文字识别，卡证文字识别，财务票据文字识别，医疗票据文字识别， 汽车 场景文字识别，教育场景文字识别，其他场景文字识别，iOCR自定义模板文字识别，通用类OCR，通用文本识别(中英)通用文本识别(多语言)通用表格识别，证照类OCR，身份证社保卡户口本护照名片银行卡结婚证离婚证房产证不动产证，车辆相关OCR，行驶证驾驶证车辆合格证车辆登记证，公司商铺类OCR，商户小票税务登记证开户许可证营业执照组织机构代码证，票据类OCR，增值税发票增值税卷票火车票飞机行程单出租车发票购车发票智能技术，票据机器人证照机器人文本配置机器人表格配置机器人框选配置机器人，文字识别，行驶证识别，驾驶证识别，表单识别器，通用文本，财务票据识别，机构文档识别，个人证件识别，车辆相关识别，通用表格，印章识别，财报识别，合同比对，识别文字识别，签名比对，OCR识别，教育OCR，印刷识别，手写识别，表格识别，公式识别，试卷拆录
五、自然语言NPL
文本相似度，文本摘要，文本纠错，中心词提取，文本信息抽取，智能文本分类，命名实体，词性标注，多语言分词，NLP基础服务，地址标准化，商品评价解析智能短信解析，机器阅读理解，金融研报信息识别，法律案件抽取，行业问答推理，行业知识图谱构建，文本实体关系抽取，搜索推荐，知识问答，短文本相似度，文本实体抽取， 情感 倾向分析，兴趣画像匹配，文本分类-多标签，文本分类-单标签，定制自然语言处理，语言生成，语言理解，自然语言处理基础，文本摘要，数据转文字，文本生成，智能问答系统，内容推荐，评价分析，文本分类，对话理解，意图理解， 情感 分析，观点抽取，中文分词，短文本相似度，关键词提取，词向量，命名实体，识别依存，句法分析， 情感 分析，评论观点抽取，短文本相似度，机器翻译，词法分析，词义相似度，词向量，句法分析，文本分类，短语挖掘，闲聊，文本流畅度，同义词，聚类，语言模型填空，新闻热词生成，机器阅读理解，商品信息抽取，词法分析， 情感 分析，关键词提取，用户评论分析，资讯热点挖掘，AIUI人机交互，文本纠错，词法分析，依存句法分析，语义角色标注，语义依存分析（依存树），语义依存分析（依存图）， 情感 分析，关键词提取，NLP能力生产平台，NLP基础技术，中文词法分析-LAC，词向量—Word2vec，语言模型—Language_model，NLP核心技术， 情感 分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答，信息检索、新闻推荐、智能客服， 情感 分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答，机器问答、自然语言推断、 情感 分析和文档排序，NLP系统应用，问答系统对话系统智能客服，用户消费习惯理解热点话题分析舆情监控，自然语言处理，文本分类使用手册，文本分类API文档， 情感 分析，评论观点抽取，短文本相似度，机器翻译，词法分析，词义相似度，词向量，句法分析，文本分类，短语挖掘，闲聊，文本流畅度，同义词，聚类，语言模型填空，新闻热词生成，机器阅读理解，商品信息抽取智能创作，智能写作，搭配短文，种草标题，卖点标题，社交电商营销文案，自然语言处理能力，基础文本分析，分词、词性分析技术，词向量表示，依存句法分析，DNN语言模型，语义解析技术，意图成分识别， 情感 分析，对话情绪识别，文本相似度检测，文本解析和抽取技术，智能信息抽取，阅读理解，智能标签，NLG，自动摘要，自动写文章，语言处理基础技术，文本审核， 情感 分析，机器翻译，智能聊天，自然语言，基于标题的视频标签，台词看点识别，意图识别，词法分析，相关词，舆情分析，流量预测，标签技术，自然语言处理，语义对话，自然语言处理，车型信息提取，关键词提取，语义理解，语义相似度，意图解析，中文词向量，表示依存，句法分析，上下文理解，词法分析，意图分析，情绪计算，视觉 情感 ，语音 情感 ， 情感 分析，沉浸式阅读器，语言理解，文本分析，自然语言处理，在线语音识别，自然语言理解火速上线中， 情感 判别，语义角色标注，依存句法分析，词性标注，实体识别，中文分词，分词，
6、知识图谱
知识图谱，药学知识图谱，智能分诊，腾讯知识图谱，无，药学知识图谱，智能分诊，知识理解，知识图谱Schema，图数据库BGraph，知识图谱，语言与知识，语言处理基础技术，语言处理应用技术，知识理解，文本审核，智能对话定制平台，智能文档分析平台，智能创作平台，知识图谱，实体链接，意图图谱，识别实体，逻辑推理，知识挖掘，知识卡片
7、对话问答机器人
智能问答机器人，智能语音助手，智能对话质检，智能话务机器人，无，电话机器人，NeuHub助力京东智能客服升级，腾讯云小微，智能硬件AI语音助手，对话机器人，无，问答系统对话系统智能客服，Replika对话技术，客服机器人，智能问答，智能场景，个性化回复，多轮交互，情绪识别，智能客服，金融虚拟客服，电话质检，AI语音交互机器人，中移云客服·智能AI外呼，人机对话精准语义分析
8、翻译
协同翻译工具平台，电商内容多语言工具，文档翻译，专业版翻译引擎，通用版翻译引擎，无，机器翻译，无，机器翻译，音视频字幕平台，机器翻译，机器翻译niutrans，文本翻译，语音翻译，拍照翻译，机器翻译，机器翻译，文本翻译，语音翻译，通用翻译，自然语言翻译服务，文本翻译，图片翻译，语音翻译，实时语音翻译，文档翻译(开发版，机器翻译，文本翻译，语音翻译，拍照翻译，机器翻译实时长语音转写，录音文件长语音转写，翻译工具，机器翻译火速上线中
9、声音
便携智能语音一体机，语音合成声音定制，语音合成，一句话识别，实时语音识别录音文件识别，客服电话，语音录入，语音指令，语音对话，语音识别，科学研究，安防监控，声音分类，语音合成，语音识别，实时语音转写，定制语音合成，定制语音识别，语音合成，语音合成声音定制，离线语音合成，短语音识别，录音文件识别，声纹识别，离线语音识别，实时语音识别，呼叫中心短语音识别，呼叫中心录音文件识别，呼叫中心实时语音识别，语音识别，语音合成，声纹识别，语音识别，语音听写，语音转写，实时语音转写，语音唤醒，离线命令词识别，离线语音听写，语音合成，在线语音合成，离线语音合成，语音分析，语音评测，性别年龄识别，声纹识别，歌曲识别，A.I.客服平台能力中间件，语音识别，语音交互技术，语音合成，语音合成声音定制，离线语音合成，短语音识别，录音文件识别，声纹识别，离线语音识别，实时语音识别，呼叫中心短语音识别，呼叫中心录音文件识别，呼叫中心实时语音识别，远场语音识别，语音识别，一句话识别，实时语音识别，录音文件识别，语音合成，实时语音识别，长语音识别，语音识别，语音合成，波束形成，声源定位，去混响，降噪，回声消除，分布式拾音，语音识别，语音唤醒，语音合成，声纹识别，智能语音服务，语音合成，短语音识别，实时语音识别，语音理解与交互，离线唤醒词识别，语音识别，一句话识别，实时语音识别，录音文件识别，电话语音识别，语音唤醒，离线语音识别，离线命令词识别，远场语音识别，语音合成，通用语音合成，个性化语音合成，语音技术，短语音识别，实时语音识别，音频文件转写，在线语音合成，离线语音合成，语音自训练平台，语音交互，语音合成，语音识别，一句话识别，实时短语音识别，语音合成，语音唤醒，本地语音合成，语音翻译，语音转文本，短语音听写，长语音转写，实时语音转写，语音内容审核，会议超极本，语音交互技术，语音识别，语义理解，语音合成，音频转写，音视频类产品，语音通知/验证码，订单小号，拨打验证，点击拨号，数据语音，统一认证，语音会议，企业视频彩铃，语音识别，语音文件转录，实时语音识别，一句话语音识别，语音合成，通用语音合成，个性化语音合成，语音评测，通用语音评测，中英文造句评测，在线语音识别，语音识别，语音唤醒，语音合成，语音合成，语音识别，语音听写，语音转写，短语音转写(同步)，语音识别，语音 情感 识别
十、数据挖掘AI硬件
算法类型：包括二分类、多分类和回归，精准营销，表格数据预测，销量预测，交通流量预测，时序预测，大数据，无，机器学习使用手册，机器学习API文档，大数据处理，大数据传输，数据工厂，大数据分析，数据仓库，数据采集与标注，数据采集服务，数据标注服务，AI开发平台，全功能AI开发平台BML，零门槛AI开发平台EasyDL，AI硬件与平台，GPU云服务器，机器人平台，度目视频分析盒子，度目AI镜头模组，度目人脸应用套件，度目人脸抓拍机，人脸识别摄像机，昆仑AI加速卡，智能预测，购车指数，数据科学虚拟机，平台效率，云与AI，抗DDoS，天盾，网站漏洞扫描，网页防篡改，入侵检测防护，弹性云服务器，对象存储服务，云专线（CDA，AI计算机平台—360net深度学习基础模型，AI算法训练适配主流AI框架
十一、其他
内容审核，智能鉴黄，特定人物识别，通用图片审核，文本智能审核，广告检测，Logo检测，商品理解，拍照购，商品图片搜索，通用商品识别，疫情物资识别，酒标识别，细分市场划分，品牌竞争力分析，老品升级，新品定制，商品竞争力分析，商品销量预测，商品营销，用户评论占比预测，商品命名实体识别，商品颜色识别，强化学习，智能地图引擎，内容审核，智能鉴黄，特定人物识别，通用图片审核，文本智能审核，广告检测，Logo检测商品理解，拍照购，商品图片搜索，通用商品识别，疫情物资识别，酒标识别，细分市场划分，品牌竞争力分析，老品升级，新品定制，商品竞争力分析，商品销量预测，商品营销，用户评论占比预测，商品命名实体识别，商品颜色识别，个性化与推荐系统，推荐系统，舆情分析，舆情标签，智慧教育，智能语音评测，拍照搜题，题目识别切分，整页拍搜批改，作文批改，学业大数据平台，文档校审系统，会议同传系统，文档翻译系统，视频翻译系统，教育学习，口语评测，朗读听书，增强现实，3D肢体关键点SDK，美颜滤镜SDK，短视频SDK，基础服务，私有云部署，多模态交互，多模态 情感 分析，多模态意图解析，多模态融合，多模态语义，内容审查器，Microsoft基因组学，医学人工智能开放平台，数据查验接口，身份验证（公安简项），银行卡验证，发票查验，设备接入服务Web/H5直播消息设备托管异常巡检电话提醒，音视频，视频监控服务云广播服务云存储云录制，司乘体验，智能地图引擎，消息类产品，视频短信，短信通知/验证码，企业挂机彩信，来去电身份提示，企业固话彩印，模板闪信，异网短信，内容生产，试卷拆录解决方案，教学管理，教学质量评估解决方案，教学异常行为监测，授课质量分析解决方案，路况识别，人车检测，视觉SLAM，高精地图，免费SDK，智能诊后随访管理，用药管家，智能预问诊，智能导诊，智能自诊，智能问药，智能问答，裁判文书近义词计算，法条推荐，案由预测，
‘肆’ 人脸识别算法是指什么
本教程操作环境：windows7系统、Dell G3电脑。
人脸识别（Facial Recognition），就是通过视频采集设备获取用户的面部图像，再利用核心的算法对其脸部的五官位置、脸型和角度进行计算分析，进而和自身数据库里已有的范本进行比对，后判断出用户的真实身份。
人脸识别算法是指在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。识别算法要完成人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类。
人脸识别的算法有 4 种：基于人脸特征点的识别算法、基于整幅 人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法。
人脸识别算法的原理：
系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图象或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。
人脸识别的三个经典算法
1、Eigenfaces（特征脸）算法
Eigenfaces是在人脸识别的计算机视觉问题中使用的一组特征向量的名余滑举称，竖碧Eigenfaces是基于PCA（主成分分析）的，所以学习Eigenfaces需要我们了解PCA的原理。
基本思想
主成分分析（PCA）是一种矩阵的压缩算法，在减少矩阵维数的同时尽可能的保留原矩阵的信息，简单来说就是将 n×m的矩阵转换成n×k的矩阵，仅保留矩阵中所存在的主要特性，从而可以大大节省空间和数据量。PCA的实现需要进行降维，也就是将矩阵进行变换，从更高的维度降到低的维度，然而PCA的降维离不开协方差矩阵。方差是描述一维数据样本本身相对于均值的偏离程度，是一种用来度量两个随机变量关系的统计量，从角度来说，其夹角越小，值越大，方向越相近，也就是越正相关。协方差矩阵度量除了是两个随机变量的关系外，还是维度与维度之间的关系，而非样本与样本之间的关系。
学习一种新的东西，尤其是知识，我们需要了解知识中的思想。我在了解和学习Eigenface算法时它的思想是图像识别首先要选择一个合适的子空间，将所有的图像集中到这个子空间中，然后在这个子空间中衡量相似性或者进行分类学习，再讲子空间变换到另一个空间中，这样的作用一是同一个类别的图像离得更近，二是不同的类别的图像会离得比较远；这样经过线性分类分开的图像在新空间就能容易分开。同时特征脸技术会寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此来表征人脸图像。人脸图像的基本元素有很多，比如眼、面颊、唇等基本元素，这些特征向量在特征脸的图像空间中对应生成的子空间被称为子脸空间。
生成了子空间之后就要进行空间构造，那么如何进行空间构造呢？首先要寻找人脸的共性，其次是要寻找个体与共性的差异，还有就是要明白共性其实是空间，个体就是向量。利用协方差矩阵把目标集中所有人脸图像的特征值进行分解，得到对应的特征向量，这些特征向量就是“特征脸”。寻找特征向量的特性，将其进行线性组合。在以每一个特征子脸为基的空间，每个人脸就是一个点，这个点的坐标就是每一个人脸在每个特征基下的的投影坐标。
Eigenfaces算法过程
获得人脸图像数据，将每一个人脸图像矩阵按行串成一维，每个人脸就是一个向量；
将M个人脸在对应维度上加起来，然后求平均得到“平均脸”；
将每个图像都减去平均脸向量；
计算协方差矩阵；
运用Eigenfaces记性人脸识别；
算法实践过程;
训练图像
求出平均脸
获得特征子脸
进行图像重构
寻找相似度高的人脸图像。
2、FisherFace算法
FisherFace是Fisher线性判别在人脸识别的应用。线性判别分析（LDA）算法思想最早由英国统计与遗传学家，现代统计科学的奠让巧基人之一罗纳德*费舍尔(Ronald)提出。LDA算法使用统计学方法，尝试找到物体间特征的一个线性组合，在降维的同时考虑类别信息。通过该算法得到的线性组合可以用来作为一个线性分类器或者实现降维。
基本思想
线性判别分析的基本思想是：将高维的模式样本投影到低维最佳矢量空间，以达到抽取重要分类信息和压缩特征空间维度的效果，投影后保证模式样本在新的子空间有最大的类间距离、最小的类内距离，即模式在该空间中有最佳的可分离性。理论和特征脸里用到的Eigenfaces有相似之处，都是对原有数据进行整体降维映射到低维空间的方法，fisherfaces和Eigenfaces都是从数据整体入手而不同于LBP提取局部纹理特征。
对降维后的样本使用Fisher线性判别方法，确定一个最优的投影方向，构造一个一维的体征空间，将多维的人脸图像投影到 fisherfaces特征空间，利用类内样本数据形成一组特征向量，这组特征向量就代表了人脸的特征。
我们知道，该算法是在样本数据映射到另外一个特征空间后，将类内距离最小化，类间距离最大化。LDA算法可以用作降维，该算法的原理和PCA算法很相似，因此LDA算法也同样可以用在人脸识别领域。通过使用PCA算法来进行人脸识别的算法称为特征脸法，而使用LDA算法进行人脸识别的算法称为费舍尔脸法。
LDA和PCA相比：
相同：1、在降维的时候，两者都使用了矩阵的特征分解思想；2、两者都假设数据符合高斯分布。不同：1、LDA是有监督的降维方法，而PCA是无监督的。2、如果说数据是k维的，那么LDA只能降到(k-1)维度，而PCA不受此限制。3、从数学角度来看，LDA选择分类性能最好的投影方向，而PCA选择样本投影点具有最大方差的方向。Fisherfaces算法和Eigenfaces算法相比：
相同：两者均可以对数据进行降维；两者在降维时均使用了矩阵特征分解的思想。
不同：Fisherfaces是有监督的降维方法，而是Eigenfaces无监督的降维方法；Fisherfaces除了可以用于降维，还可以用于分类。
值得一提的是，FisherFace算法识别的错误率低于哈佛和耶鲁人脸数据库测试的Eigenfaces识别结果。
Fisherface算法流程
获得人脸图像数据，然后求出人脸的均值。
观察各个人脸的特征值。
进行人脸鉴定，观察人脸特征，判断是否是个人。
最后进行人脸识别。
3、LBPH（Local Binary Patter Histogram）算法
Local Binary Patterns Histograms即LBP特征的统计直方图，LBPH将LBP（局部二值编码）特征与图像的空间信息结合在一起。如果直接使用LBP编码图像用于人脸识别。其实和不提取LBP特征区别不大，因此在实际的LBP应用中，一般采用LBP编码图像的统计直方图作为特征向量进行分类识别。
原始的LBP算子定义为在33的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于或等于中心像素值，则该像素点的位置被标记为1，否则为0。这样，33邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理特征。
LBPH的维度： 采样点为8个，如果用的是原始的LBP或Extended LBP特征，其LBP特征值的模式为256种，则一幅图像的LBP特征向量维度为：64256=16384维，而如果使用的UniformPatternLBP特征，其LBP值的模式为59种，其特征向量维度为：6459=3776维，可以看出，使用等价模式特征，其特征向量的维度大大减少，这意味着使用机器学习方法进行学习的时间将大大减少，而性能上没有受到很大影响。
基本思想
建立在LBPH基础上的人脸识别法基本思想如下：首先以每个像素为中心，判断与周围像素灰度值大小关系，对其进行二进制编码，从而获得整幅图像的LBP编码图像；再将LBP图像分为个区域，获取每个区域的LBP编码直方图，继而得到整幅图像的LBP编码直方图，通过比较不同人脸图像LBP编码直方图达到人脸识别的目的，其优点是不会受到光照、缩放、旋转和平移的影响。
LBPH算法“人”如其名，采用的识别方法是局部特征提取的方法，这是与前两种方法的最大区别。
LBPH 算法流程
LBP特征提取：根据上述的均匀LBP算子处理原始图像；
LBP特征匹配（计算直方图）：将图像分为若干个的子区域，并在子区域内根据LBP值统计其直方图，以直方图作为其判别特征。
4、算法的复现代码
1）、EigenFaces算法
#encoding=utf-8
import numpy as np
import cv2
import os
class EigenFace(object):
def __init__(self,threshold,dimNum,dsize):
self.threshold = threshold # 阈值暂未使用
self.dimNum = dimNum
self.dsize = dsize
def loadImg(self,fileName,dsize):
‘‘‘
载入图像，灰度化处理，统一尺寸，直方图均衡化
:param fileName: 图像文件名
:param dsize: 统一尺寸大小。元组形式
:return: 图像矩阵
‘‘‘
img = cv2.imread(fileName)
retImg = cv2.resize(img,dsize)
retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY)
retImg = cv2.equalizeHist(retImg)
# cv2.imshow(‘img’,retImg)
# cv2.waitKey()
return retImg
def createImgMat(self,dirName):
‘‘‘
生成图像样本矩阵，组织形式为行为属性，列为样本
:param dirName: 包含训练数据集的图像文件夹路径
:return: 样本矩阵，标签矩阵
‘‘‘
dataMat = np.zeros((10,1))
label = []
for parent,dirnames,filenames in os.walk(dirName):
# print parent
# print dirnames
# print filenames
index = 0
for dirname in dirnames:
for subParent,subDirName,subFilenames in os.walk(parent+’/’+dirname):
for filename in subFilenames:
img = self.loadImg(subParent+’/’+filename,self.dsize)
tempImg = np.reshape(img,(-1,1))
if index == 0 :
dataMat = tempImg
else:
dataMat = np.column_stack((dataMat,tempImg))
label.append(subParent+’/’+filename)
index += 1
return dataMat,label
def PCA(self,dataMat,dimNum):
‘‘‘
PCA函数，用于数据降维
:param dataMat: 样本矩阵
:param dimNum: 降维后的目标维度
:return: 降维后的样本矩阵和变换矩阵
‘‘‘
# 均值化矩阵
meanMat = np.mat(np.mean(dataMat,1)).T
print ‘平均值矩阵维度’,meanMat.shape
diffMat = dataMat-meanMat
# 求协方差矩阵，由于样本维度远远大于样本数目，所以不直接求协方差矩阵，采用下面的方法
covMat = (diffMat.T*diffMat)/float(diffMat.shape[1]) # 归一化
#covMat2 = np.cov(dataMat,bias=True)
#print ‘基本方法计算协方差矩阵为’,covMat2
print ‘协方差矩阵维度’,covMat.shape
eigVals, eigVects = np.linalg.eig(np.mat(covMat))
print ‘特征向量维度’,eigVects.shape
print ‘特征值’,eigVals
eigVects = diffMat*eigVects
eigValInd = np.argsort(eigVals)
eigValInd = eigValInd[::-1]
eigValInd = eigValInd[:dimNum] # 取出指定个数的前n大的特征值
print ‘选取的特征值’,eigValInd
eigVects = eigVects/np.linalg.norm(eigVects,axis=0) #归一化特征向量
redEigVects = eigVects[:,eigValInd]
print ‘选取的特征向量’,redEigVects.shape
print ‘均值矩阵维度’,diffMat.shape
lowMat = redEigVects.T*diffMat
print ‘低维矩阵维度’,lowMat.shape
return lowMat,redEigVects
def compare(self,dataMat,testImg,label):
‘‘‘
比较函数，这里只是用了最简单的欧氏距离比较，还可以使用KNN等方法，如需修改修改此处即可
:param dataMat: 样本矩阵
:param testImg: 测试图像矩阵，最原始形式
:param label: 标签矩阵
:return: 与测试图片最相近的图像文件名
‘‘‘
testImg = cv2.resize(testImg,self.dsize)
testImg = cv2.cvtColor(testImg,cv2.COLOR_RGB2GRAY)
testImg = np.reshape(testImg,(-1,1))
lowMat,redVects = self.PCA(dataMat,self.dimNum)
testImg = redVects.T*testImg
print ‘检测样本变换后的维度’,testImg.shape
disList = []
testVec = np.reshape(testImg,(1,-1))
for sample in lowMat.T:
disList.append(np.linalg.norm(testVec-sample))
print disList
sortIndex = np.argsort(disList)
return label[sortIndex[0]]
def predict(self,dirName,testFileName):
‘‘‘
预测函数
:param dirName: 包含训练数据集的文件夹路径
:param testFileName: 测试图像文件名
:return: 预测结果
‘‘‘
testImg = cv2.imread(testFileName)
dataMat,label = self.createImgMat(dirName)
print ‘加载图片标签’,label
ans = self.compare(dataMat,testImg,label)
return ans
if __name__ == ‘__main__’:
eigenface = EigenFace(20,50,(50,50))
print eigenface.predict(‘d:/face’,’D:/face_test/1.bmp’)2）、FisherFaces算法
#encoding=utf-8
import numpy as np
import cv2
import os
class FisherFace(object):
def __init__(self,threshold,k,dsize):
self.threshold = threshold # 阈值，暂未使用
self.k = k # 指定投影w的个数
self.dsize = dsize # 统一尺寸大小
def loadImg(self,fileName,dsize):
‘‘‘
载入图像，灰度化处理，统一尺寸，直方图均衡化
:param fileName: 图像文件名
:param dsize: 统一尺寸大小。元组形式
:return: 图像矩阵
‘‘‘
img = cv2.imread(fileName)
retImg = cv2.resize(img,dsize)
retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY)
retImg = cv2.equalizeHist(retImg)
# cv2.imshow(‘img’,retImg)
# cv2.waitKey()
return retImg
def createImgMat(self,dirName):
‘‘‘
生成图像样本矩阵，组织形式为行为属性，列为样本
:param dirName: 包含训练数据集的图像文件夹路径
:return: 包含样本矩阵的列表，标签列表
‘‘‘
dataMat = np.zeros((10,1))
label = []
dataList = []
for parent,dirnames,filenames in os.walk(dirName):
# print parent
# print dirnames
# print filenames
#index = 0
for dirname in dirnames:
for subParent,subDirName,subFilenames in os.walk(parent+’/’+dirname):
for index,filename in enumerate(subFilenames):
img = self.loadImg(subParent+’/’+filename,self.dsize)
tempImg = np.reshape(img,(-1,1))
if index == 0 :
dataMat = tempImg
else:
dataMat = np.column_stack((dataMat,tempImg))
dataList.append(dataMat)
label.append(subParent)
return dataList,label
def LDA(self,dataList,k):
‘‘‘
多分类问题的线性判别分析算法
:param dataList: 样本矩阵列表
:param k: 投影向量k的个数
:return: 变换后的矩阵列表和变换矩阵
‘‘‘
n = dataList[0].shape[0]
W = np.zeros((n,self.k))
Sw = np.zeros((n,n))
Sb = np.zeros((n,n))
u = np.zeros((n,1))
N = 0
meanList = []
sampleNum = []
for dataMat in dataList:
meanMat = np.mat(np.mean(dataMat,1)).T
meanList.append(meanMat)
sampleNum.append(dataMat.shape[1])
dataMat = dataMat-meanMat
sw = dataMat*dataMat.T
Sw += sw
print ‘Sw的维度’,Sw.shape
for index,meanMat in enumerate(meanList):
m = sampleNum[index]
u += m*meanMat
N += m
u = u/N
print ‘u的维度’,u.shape
for index,meanMat in enumerate(meanList):
m = sampleNum[index]
sb = m*(meanMat-u)*(meanMat-u).T
Sb += sb
print ‘Sb的维度’,Sb.shape
eigVals, eigVects = np.linalg.eig(np.mat(np.linalg.inv(Sw)*Sb))
eigValInd = np.argsort(eigVals)
eigValInd = eigValInd[::-1]
eigValInd = eigValInd[:k] # 取出指定个数的前k大的特征值
print ‘选取的特征值’,eigValInd.shape
eigVects = eigVects/np.linalg.norm(eigVects,axis=0) #归一化特征向量
redEigVects = eigVects[:,eigValInd]
print ‘变换矩阵维度’,redEigVects.shape
transMatList = []
for dataMat in dataList:
transMatList.append(redEigVects.T*dataMat)
return transMatList,redEigVects
def compare(self,dataList,testImg,label):
‘‘‘
比较函数，这里只是用了最简单的欧氏距离比较，还可以使用KNN等方法，如需修改修改此处即可
:param dataList: 样本矩阵列表
:param testImg: 测试图像矩阵，最原始形式
:param label: 标签矩阵
:return: 与测试图片最相近的图像文件夹，也就是类别
‘‘‘
testImg = cv2.resize(testImg,self.dsize)
testImg = cv2.cvtColor(testImg,cv2.COLOR_RGB2GRAY)
testImg = np.reshape(testImg,(-1,1))
transMatList,redVects = fisherface.LDA(dataList,self.k)
testImg = redVects.T*testImg
print ‘检测样本变换后的维度’,testImg.shape
disList = []
testVec = np.reshape(testImg,(1,-1))
sumVec = np.mat(np.zeros((self.dsize[0]*self.dsize[1],1)))
for transMat in transMatList:
for sample in transMat.T:
disList.append( np.linalg.norm(testVec-sample))
print disList
sortIndex = np.argsort(disList)
return label[sortIndex[0]/9]
def predict(self,dirName,testFileName):
‘‘‘
预测函数
:param dirName: 包含训练数据集的文件夹路径
:param testFileName: 测试图像文件名
:return: 预测结果
‘‘‘
testImg = cv2.imread(testFileName)
dataMat,label = self.createImgMat(dirName)
print ‘加载图片标签’,label
ans = self.compare(dataMat,testImg,label)
return ans
if __name__==“__main__”:
fisherface = FisherFace(10,20,(20,20))
ans = fisherface.predict(‘d:/face’,’d:/face_test/8.bmp’)
print ans3）、LBPH算法
#encoding=utf-8
import numpy as np
import os
import cv2
class LBP(object):
def __init__(self,threshold,dsize,blockNum):
self.dsize = dsize # 统一尺寸大小
self.blockNum = blockNum # 分割块数目
self.threshold = threshold # 阈值，暂未使用
def loadImg(self,fileName,dsize):
‘‘‘
载入图像，灰度化处理，统一尺寸，直方图均衡化
:param fileName: 图像文件名
:param dsize: 统一尺寸大小。元组形式
:return: 图像矩阵
‘‘‘
img = cv2.imread(fileName)
retImg = cv2.resize(img,dsize)
retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY)
retImg = cv2.equalizeHist(retImg)
# cv2.imshow(‘img’,retImg)
# cv2.waitKey()
return retImg
def loadImagesList(self,dirName):
‘‘‘
加载图像矩阵列表
:param dirName:文件夹路径
:return: 包含最原始的图像矩阵的列表和标签矩阵
‘‘‘
imgList = []
label = []
for parent,dirnames,filenames in os.walk(dirName):
# print parent
# print dirnames
# print filenames
for dirname in dirnames:
for subParent,subDirName,subFilenames in os.walk(parent+’/’+dirname):
for filename in subFilenames:
img = self.loadImg(subParent+’/’+filename,self.dsize)
imgList.append(img) # 原始图像矩阵不做任何处理，直接加入列表
label.append(subParent+’/’+filename)
return imgList,label
def getHopCounter(self,num):
‘‘‘
计算二进制序列是否只变化两次
:param num: 数字
:return: 01变化次数
‘‘‘
binNum = bin(num)
binStr = str(binNum)[2:]
n = len(binStr)
if n = center)*(1扩展知识：人脸识别算法研究的难点
人脸识别算法研究已久，在背景简单的情形下，大部分算法都能很好的处理。但是，人脸识别的应用范围颇广，仅是简单图像测试，是远远不能满足现实需求的。所以人脸识别算法还是存在很多的难点。
光照
光照问题是机器视觉中的老问题，在人脸识别中的表现尤为明显，算法未能达到使用的程度。
姿态
与光照问题类似，姿态问题也是人脸识别研究中需要解决的一个技术难点。针对姿态的研究相对比较少，多数的人脸识别算法主要是针对正面，或接近正面的人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。
遮挡
对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题，特别是在监控环境下，往往被监控对象都会带着眼镜﹑帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸识别算法的失效。
年龄变化
随着年龄的变化，面部外观也在变化，特别是对于青少年，这种变化更加的明显。对于不同的年龄段，人脸识别算法的识别率也不同。
图像质量
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不同，特别是对于那些低分辨率﹑噪声大﹑质量差的人脸图像如何进行有效的人脸识别是个需要关注的问题。同样的，对于高分辨图像，对人脸识别算法的影响也需要进一步研究。
样本缺乏
基于统计学习的人脸识别算法是人脸识别领域中的主流算法，但是统计学习方法需要大量的培训。由于人脸图像在高维空间中的分布是一个不规则的流行分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。
大量数据
传统人脸识别算法如PCA、LDA等在小规模数据中可以很容易进行训练学习。但是对于大量数据，这些方法其训练过程难以进行，甚至有可能崩溃。
大规模人脸识别
随着人脸数据库规模的增长，人脸算法的性能将呈现下降。
‘伍’ 短时记忆的编码方式主要是
短时记忆的编码方式主要是听觉编码和视觉编码。
人们通过研究语音类似性对回忆效果的影响，证帆闹实了语音听觉编码方式的存在。
短时记忆的编码态卜罩以听觉编码为主，也存在视觉编码和语义编码。康拉德（Conrad）1964年实验结果发现了，被试回忆由视觉呈现的刺激字母时，所发生的错误绝大多数是同音混淆。因此得出结论，短时记忆中存在听觉编码。即在短时记忆中，对刺激信息主要以听觉形式进行编码和储存，即使刺激信息以视觉方式呈现，个体对视觉刺激进行加工处理时也会把它们转换成听觉代码。波斯纳（Posner）1969年用Aa实验发现，被试对同形关系（AA）比同音关系（Aa）的字母的反应时要快，但这种同形关系的刺激信息具有的优势，只有在依靠视觉编码进行的信息加工中才会出现。因此得出推断：在短时记忆的最初阶段，存在视觉编码过程，然后才向听觉编码过渡。短时记忆信息存储的有效方法——复述。它可以防止短弊差时记忆中的信息受到无关刺激的干扰而发生遗忘。
更多职业教育培训，请查看：https://wenda.hqwx.com/catlist-3.html/?utm_campaign=hehuoren
‘陆’ 短时记忆的编码方式是什么
短时记忆也称工作记忆，是信息加工系统的的核心。很多人知道短时记忆，但是很多人不知道短时记忆的编码方式是什么。短时记忆有它的编码方式，你知道是什么吗?下面由我给你带来关于短时记忆的编码方式，希望对你有帮助!
Conrad(1964)的实验为短时记忆的听觉编码提供了有力的证据。他把B、C、P、T、V这五个音近字母,和另外五个音近字母F、M、N、S、X,随时混合,逐个用速示器呈现,每个呈现0.75秒,然后要求被试按原来呈现次序把各字母默写出来,记不清时允许猜写。实验结果表明:各字母尽管是以视觉方式呈现的,但记忆中的混淆次数,将近80%发生在音近字母之间。实验继续下去,则进一步发现,各字母之间混淆的次数分配在视觉呈现和听觉呈现两种条件下相当一致,等级相关达0.64,因而证明短时记忆的编码是以语音听觉占优热的。[9]Conrad认为短时记忆错误的产生是以听觉特征而不是以视觉特征为基础的。即使是视觉呈现的刺激材料,进入短时记忆时发生了形-音转换,其编码仍具有听觉性质。
Posner.M.I(1967,1969)用减法反应时,字母匹配任务研究了短时记忆信息的编码。实验是让被试辨认两个字母是否相同。两个字母都用大写体,如A、A,叫做等同辨认;两个字母一个用大写体,一个用小写体,如A、a,叫做同称辨认(辨认前告诉被试不管字母是大写还是小写)。结果表明,在两个字母同时呈现而让被试进行辨认的情况下,则等同辨认的反应时短;但若使两个字母的呈现时间间隔1-2秒,则等同辨认的优热趋于消失。这表明由瞬间记忆转入短时记忆后,编码的形状(视觉)优势已经让位于语音(听觉)了。这桐码种情况似乎可以说明由主要为视觉的感觉记忆过渡到主要为听觉的语词记忆。[
Conrad(1964)的实验有两点值得考虑:一是认为短时记忆听觉编码的存在是以听觉混淆为证据的,而听觉混淆现象也可能是内部言语运动轿迹或发音的混淆所致,二是Conrad的实验材料是有利于声音编码的英文字母,因而其短时记忆听觉编码的普遍性受到怀疑。而Posner(1969)的实验也可以说明短时记忆的编码有视觉和听觉编码两个连续阶段,至少在部分时间里,信息在短时记忆中是以视觉编码的。
莫雷(1986)的实验证明了汉字的短时记忆是以形状编码为主。实验者设计了三种类型汉字:第一类型汉字字型较复杂,字义较常用,设想是相对有利于意义编码而不利于形状编码;第二类型汉字字形较简单,但字义较不常用,设想是相对有利于形状编码而不利于意义编码;第三类型汉字则形状较复杂字义较不常用,设想有利于声音编码。实验用信号检测论法研究,结果表明,从总的来看,各类型汉字的再认都是形状噪音产生的干扰作用最大,据此推论,汉字的短时记忆主要采取局帆哪形状编码。
刘爱伦等(1989)的研究表明,视觉呈现方式下对汉字的回忆成绩明显优于听觉呈现方式下的回忆成绩,并且从听觉呈现转换成视觉呈现是,出现明显的前摄抑制释放。这意味着汉字短时记忆确实存在视觉编码。王乃治(1993)通过对听力正常人与聋人短时记忆的比较研究,结果显示,从两组被试对不同编码维量被强化的相似性字表的短时记忆的比较研究,结果显示,从两组被试对不同编码维量被强化的相似性定表的短时记忆获得最上看,都显示出形义两给编码量在短时记忆加工过程中的作用最强,而音码的作用相对比较弱。其实一些研究(郑涌,1991;彭聃龄等人,1985,1986)也都证明在短时记忆编码过程中视觉编码的存在。
早期研究认为语义编码是长时记忆的本质特征,但随研究的深入,人们发现短时记忆也有语义编码。Wickens(1970,1972)采用前摄抑制设计,若前后识记材料有意义联系时(字母-字母),表现出前摄抑制的作用,而前后识记材料失去意义联系时(字母-数字),则出现前摄抑制的释放。Wickens还用了各种不同范畴刺激进行实验,如字母 数字、分类词、感觉印象词以及阴性 阳性名词,都获得类似的结果。这表明短时记忆与长时记忆一样,也有语义编码。
国内学者的许多研究也证明了语义编码的存在。喻伯林等(1986)采用中文语词材料,在控制被试的输入编码条件下发现,语义信息也能和语音信息一样在短时记忆中得到储存和提取,而且语义编码比语音编码有更好的回忆成绩。莫雷(1986)和王乃怡(1993)的研究也都反映出语义编码在短时记忆中的作用。其它一些研究(黄英,1991;张武田,1990)也为短时记忆的语义编码提供证据。
由此可见,短时记忆的编码方式不只是听觉编码,还有视觉编码和语义编码。莫雷(1986)认为,短时记忆编码可能是随情境而不断改变的一种策略,也有人(刘爱伦,1989;郑涌,1991)认为,显示通道(视、听)通道改变也会引起短时记忆编码方式的改变。
‘柒’ 什么是ADCT技术
10、静态图像压缩标准JEPG
10.1、JEPG算法概要
10.1.1、JEPG算法的主要研究内容
多灰度连续色调静态图像压缩编码（即JPEG标准）是适用于彩色和单色多灰度或连续色彩静止数字图像的压缩标注。它包括无损压缩和基于离散余弦变换和Huffman编码的有损压缩两个部分，JEPG定义了两种相互独立的基本压缩算法：
·基于DCT的有失真压缩算法；
·基于空间线性预测技术（DPCM）的无失真压缩算法。
JEPG算法主要存储颜色变化，尤其是亮度变化，因为人眼对亮度变化要比对颜色变化更为敏感。只要压缩后重建的图像键念与原来图像在亮度变化、颜色变化上相似，在人眼看来就是同样的图像。其原理是不重建原始画面，而生成与原始画面类似的图像，丢掉那些未被注意到的颜色。
JEPG算法与彩色空间无关，因此“RGB到YUV变换”和“YUV到RGB变换”不包含在JEPG算法中。JEPG算法处理的彩色图像是单独的彩色分量图像，因此，它可以压缩来自不同彩色空间的数据，如RGB，YcbCr和CMYK。
10.1.2、JEPG算法框图
压缩的过程，如下图所示：
JEPG压缩编码大致分为三个步骤：
·使用正向离散余弦变换（forward discrete cosine transform，FDCT）把空间域表示的图变换成频率域表示的图。肆敬
·使用加权函数对DCT系数进行量化，这个加权函数对于人的视觉系统视最佳的。
·使用Huffuman可变字长编码器对量化系数进行编码。
解压缩的过程与压缩编码过程正好相反，如下图所示：
10.2、JEPG算法主要计算步骤
JEPG压缩编码算法的主要计算步骤如下：
（1）、正向离散余弦变换（FDCT）。
（2）、量化（quantization）。
（3）、Z字形编码（zigzag scan）。
（4）、使用差分脉冲编码调制（DPCM）对直流系数DC进行编码。
（5）、使用行程长度编码（run-length encoding,RLE）对交流系数（AC）进行编码。
（6）、熵裂亮慎编码（entropy coding）。
10.2.1、DCT变换（离散余弦变换）
按序分块，将图像分成 8 * 8 的图像子块。对每一个子块，进行DCT变换，得到DCT系数矩阵。DCT变换，即离散余弦变化。DCT（x,y）= f（像素（x，y））。为了压缩RGB彩色图像，这项工作必须进行3遍，因为JPEG分别处理每个颜色成分。
10.2.2、量化
量化说起来很简单，是一种降低整数精度的过程，因此就减少了存储整数所需的位数。量化的过程：试图确定什么信息可以安全地消去，而没有任何明显的视觉保真度损失。DCT系数矩阵被量化以减少系数的精度，因此提高了压缩率。
‘捌’ 展现完美的自己 英伟达AI算法提升视频会议体验
受新冠疫情的影响，加速了各行业企业移动化办公的需求，这期间，有大量的用户和企业选择了线上视频会议。那么，我们如何在视频会议中展现更完美的自己呢？
近日，2021年国际计算机视觉与模式识别会议（CVPR 2021）正式召开。基于GAN研究的NVIDIA Maxine云AI视频流SDK现已在CVPR 2021上展出。让我们看一看GAN研究是如何重塑视频会议的呢？
起床、启动笔记本电脑、打开网络摄像头——得益于NVIDIA研究人员开发的AI技术，每次都能在视频通话中展现完美的自己。
Vid2Vid Cameo是用于视频会议的NVIDIA Maxine SDK背后的深度学习模型之一，它借助生成式对抗网络(GAN)，仅用一张人物2D图像即可合成逼真的人脸说话视频。
要使用该模型，参与者需要在加入视频通话之前提交一张参照图像（真实照片或卡通头像）。在会议期间，AI模型将捕捉每个人的实时动作，并将其应用于之前上传的静态图像。
也就是说，上传一张穿着正装的照片之后，与会人员即使头发凌乱、穿着睡衣，也能在通话中以穿着得体工作服装的形象出现，因为AI可以将用户的面部动作映射到参照照片上。如果主体向左转，则技术可以调整视角，以便参与者看上去是直接面对摄像头的。
除了可以帮助与会者展现出色状态外，这项AI技术还可将视频会议所需的带宽降低10倍，从而避免抖动和延迟。它很快将在NVIDIA Video Codec SDK中作为AI Face Codec推出。
NVIDIA研究人员兼项目的联合创作者Ming-Yu Liu表示：“许多人的互联网带宽有限，但仍然希望与朋友和家人进行流畅的视频通话。这项基础技术除了可以为他们提供帮助外，还可用于协助动画师、照片编辑师和 游戏 开发者的工作。”
Vid2Vid Cameo本周发表于着名的国际计算机视觉与模式识别会议，这是NVIDIA在本次虚拟会议上发表的28篇论文之一。此外，它还在AI Playground上推出，在此所有人均可亲身体验我们的研究演示。
AI大出风头
在一部经典盗贼电影（同时也是Netflix的热门节目）的致谢中，NVIDIA研究人员将他们的人脸说话GAN模型迅速用于虚拟会议。演示重点介绍Vid2Vid Cameo的主要功能，包括面部重定向、动画头像和数据压缩。
这些功能即将登陆NVIDIA Maxine SDK，为开发者提供经过优化的预训练模型，以便在视频会议和直播中实现视频、音频和增强现实效果。
开发者已经能采用Maxine AI效果，包括智能除噪、视频升采样和人体姿态估计。SDK支持免费下载，还可与NVIDIA Jarvis平台搭配用于对话式AI应用，包括转录和翻译。
来自AI的问候
Vid2Vid Cameo只需两个元素，即可为视频会议打造逼真的AI人脸说话动态，这两个元素分别是一张人物外貌照片和一段视频流，它们决定了如何对图像进行动画处理。
模型基于NVIDIA DGX系统开发，使用包含18万个高质量人脸说话视频的数据集进行训练。网络已掌握识别20个关键点，这些关键点可用于在没有人工标注的情况下对面部动作进行建模。这些点对特征（包括眼睛、嘴和鼻子）的位置进行编码。
然后，它会从通话主导者的参照图像中提取这些关键点，这些关键点可以提前发送给其他的视频会议参与者，也可以重新用于之前的会议。这样一来，视频会议平台只需发送演讲者面部关键点的移动情况数据，无需将某参与者的大量直播视频流推送给其他人。
对于接收者一端，GAN模型会使用此信息，模拟参照图像的外观以合成一个视频。
通过仅来回压缩及发送头部位置和关键点，而不是完整的视频流，此技术将视频会议所需的带宽降低10倍，从而提供更流畅的用户体验。该模型可以进行调整，传输不同数量的关键点，以实现在不影响视觉质量的条件下，适应不同的带宽环境。
此外，还可以自由调整所生成的人脸说话视频的视角，可以从侧边轮廓或笔直角度，也可以从较低或较高的摄像头角度来显示用户。处理静态图像的照片编辑者也可以使用此功能。
NVIDIA研究人员发现，无论是参照图像和视频来自同一个人，还是AI负责将某个人的动作转移到另一个人的参照图像，Vid2Vid Cameo均能生成更逼真、更清晰的结果，优于先进的模型。
后一项功能可将演讲者的面部动作，应用于视频会议中的数字头像动画，甚至可以应用于制作视频 游戏 或卡通角色的逼真形象和动作。
Vid2Vid Cameo论文由NVIDIA研究人员Ting-Chun Wang、Arun Mallya和Ming-Yu Liu共同撰写。NVIDIA研究团队在全球拥有超过200名科学家，专注于AI、计算机视觉、自动驾驶 汽车 、机器人和图形等领域。
我们要感谢演员Edan Moses ，他在Netflix上的《纸钞屋》中担任教授的英语配音，感谢他在以上我们最新AI研究的介绍视频中做出的贡献。
写在最后，视频会议现已经成为人们日常生活的一部分,能够帮助数百万人工作、学习、 娱乐 ,甚至就医。NVIDIA Maxine集成了先进的视频、音频和对话式AI功能,给那些帮助我们保持联络的视频会议平台带来效率突破。（陶然）
‘玖’ 网页图形验证码如何比对
网页图形验证码的比对方法主要是基于人工智能技术和计算机州芹视觉算法，一般可以采取以下几个步骤：
1. 预处理：首先需要对图形验证码进行预处理，包括图像去噪、二值化、字符分割等操作，以提高图像的清晰度和可读性。
2. 特征提取：通过特定的计算机视觉算法，从图像中提取出与图形验证码相关的特征信息。一般来说，这些特征信息可以包括字符轮廓、颜色、字符间距等方面的特征。
3. 比对算法：将识别到的图形验证码特征与已知的样本进行比对，确定最符合的匹配结果。比对算法可以采用传统的模式匹配算法，也可以使用基于机器学习或深度学亏顷习的算法来实现。
4. 验证码校验：在完成图形验证码比对后，需要将识别结果返回给服务器进行验证。如果识别结果正确，则表示用户输入的验证码正确；如果识别结果错误，则需要提示用户重新销迹陆输入验证码。
需要注意的是，为了防止恶意机器人攻击，网站开发者可能会在验证码上加入干扰线条和干扰字符等措施，增加图形验证码的难度，从而提高安全性。因此，在进行图形验证码的比对时，需要综合考虑多种因素，以确保识别结果的准确性