- 博客(47)
- 收藏
- 关注
RSS订阅原创 生成模型 Generative Model（2）
DDPMDDPM = 自回归式VAE在传统的VAE中，编码过程和生成过程都是一步到位的：编码：x→z,解码：z→x编码：x\to z, 解码：z\to x编码：x→z,解码：z→x这样做就只涉及到三个分布：编码分布p(z∣x)p(z|x)p(z∣x)、生成分布q(x∣z)q(x|z)q(x∣z)以及先验分布q(z)q(z)q(z)，它的好处是形式比较简单，xxx与zzz之间的映射关系也比较确定，因此可以同时得到编码模型和生成模型，实现隐变量编辑等需求；但是它的缺点也很明显，因为我们建模概率分布的能力有
2024-12-19 14:46:11
932
原创 生成模型 Generative Model（1）
什么是生成模型，概念上的理解是指一类算法或者模型，目标是，从而能够生成新的、看起来与真实数据相似的数据；形式上的定义：给定真实分布px, 训练一个qθx，通过神经网络训练逐渐调整参数θ使其不断逼近px的过程，qθx称为生成模型。。
2024-12-19 14:45:38
947
原创 Win10环境vscode+latex+中文快速配置
通过百度网盘分享的文件：texlive.7z链接：https://pan.baidu.com/s/1C9b1fpPi-oUmvOSv6toYfg?pwd=c6ky 提取码：c6ky如果有公式编译不出来需要换下编译路径。
2024-12-09 19:27:00
658
原创 PatchFusion: An End-to-End Tile-Based Frameworkfor High-Resolution Monocular 深度估计（CVPR 24）
模块A是简单的卷积层和池化的堆叠，输入原始分辨率图像的切片的堆叠，Dc和Df，（图a中最下面那个Ng就是b Guided Fusion Network）。模块A的输出和粗糙特征Fc输入模块B，Fc经过G2L模块，得到的特征，由于粗糙特征分辨率小，因此参考了mask-rcnn中的roi操作，将低分辨率的特征和高分辨率的切块特征对齐。模块c的输入为B的输出，直接对粗糙特征使用roi，Ff和低尺度上采样。需要注意的是：这里深度估计的上下文（context），指的是估计出深度信息所必要的周围的信息，如纹理梯度等。
2024-05-23 10:48:37
813
原创 Depth Information Assisted Collaborative Mutual Promotion Network for SingleImage Dehazing(CVPR24)
首先我们要知道带雾图像和深度是有关系的，具体关系如公式1,2。但是这种模型容易受到雾浓度不均匀的影响，因此去雾性能收到限制。因此本文从深度和雾的关系出发，同时对两个任务进行优化，相互促进。端到端的模型，摆脱了大气散射模型的限制，取得了更好的去雾效果，是现在的主流方法。
2024-05-17 17:22:40
838
原创 Efficient Frequency Domain-based Transformersfor High-Quality Image Deblurring（CVPR23）
这里主要是通过一个可学习的量化矩阵W，去实现注意力，有选择的去掉高频或低频信息。这里提出重要的前置：我们要知道两个图像A和B的卷积，等于A和B经过傅里叶变换相乘，然后逆变换回来。这里提到JPEG的逆压缩过程，主要是这个过程与JPEG的逆压缩过程相似，不必太过关注。解码阶段使用了FSAS，原因是编码阶段过深的网络会减少原始图片中模糊的影响。然后用频域的乘法替换空间域中的卷积，这些操作主要是为了减少计算量。最后做了一个跳跃连接，表示预测的结果其实是模糊的部分。自注意力中的全连接可以用reshape+卷积替换。
2024-05-16 16:09:40
770
原创 【立体匹配】Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching（ICCV2023）
如图3所示，Content-avare Warping，出发点是：传统的warp忽视了过程的多样性，对所有情况采用同样的处理，而忽视了由遮挡、无纹理弱纹理区域导致的不匹配。该论文提出的自适应warping需要一个额外的输入U，如公式4、5所示，公式4计算不确定性U，即代价体在深度d维度的方差，经过sigmoid，将U作为卷积层额外的信息，通过公式5得到自适应的偏移量。如表1所示，比较了不同的warp方式和不同不确定性计算方式。
2024-05-14 17:57:58
274
原创 【自监督单目深度估计】Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative（ICCV23）
在本文中，发现自监督单目深度估计在特征表示中具有方向敏感性和环境依赖性。而目前的方法较少的考虑了环境信息。如图所示，作者将一张汽车的照片，分别放在一张图的不同位置，其深度值在右图中可视化。这里的深度值就是如果这里有一辆车，其实际的深度值。从可视化结果中，我们发现，即使是相同的像素，这些处于不同位置的对象也拥有不同的深度值。这表明，深度预测依赖于物体的环境。进一步观察到，水平平移的物体与原始物体的深度差异很小，但垂直平移的物体的深度变化很大。
2024-03-01 14:30:57
1605
原创 Scalable Recognition with a Vocabulary Tree（词汇树）
我们发现，对于检索质量来说，最重要的是拥有大量的词汇表（大量的叶节点），而不是给词汇表树的内部节点过强的权重。某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，所以通过计算文章中各个词的TF-IDF，由大到小排序，排在最前面的几个词，就是该文章的关键词。不同层的w可以通过好几种方式得到，比如分配每个节点相对于路径中它上面的节点的熵，这似乎是正确的，但是我们发现使用相对于树的根的熵和忽略路径内的依赖关系更好。图3给出了这种图像的表示方式。词汇树是一个分层的聚类得到的分层的量化。
2023-04-16 21:03:28
1053
原创 vue2基础梳理
自定义指令在directive中是一个函数，‘v-函数名’ 表示指令名，标签通过使用v-函数名与指令绑定，函数有两个参数，第一个是dom标签element，第二个是绑定的值badding。
2022-10-02 10:00:27
600
原创 【javascript】js实现使用循环生成多个元素的点击事件
原生js实现循环生成多个button的点击事件，效果：按哪个按钮哪个按钮的背景变为粉色。
2022-09-10 16:08:20
2124
原创 灰色关联分析
1.简介：在系统发展过程中，若两个因素变化的趋势具有一致性，即同步变化程度较高，即可谓二者关联程度较高；反之，则较低。因此，灰色关联分析方法，是根据因素之间发展趋势的相似或相异程度，亦即“灰色关联度”，作为衡量因素间关联程度的一种方法。对于上述原理，简单翻译一下，就是研究两个或多个序列（序列可以理解为系统中因素或者指标）构成的曲线的几何相似程度。越相似，越说明他们的变化具有某种紧密的联系，也就是关联度高。本质上来讲就是提供了一种度量两个向量之间距离的方法...
2022-06-14 09:13:24
3014
原创 np.random.randint和random.randint
np.random.randint(low, high=None, size=None, dtype=’l’) (return a range of intergers with low or high bounds)Return random integers from low (inclusive) to high (exclusive). the specified dtype in the “half-open” interval [low, high). Ifhigh is None (the
2022-04-15 01:07:42
1306
原创 conda虚拟环境中安装tensorflow、cuda、cudnn
pip install tensorflow-gpu==1.12.0安装需要的tensorflow-gpuconda search cudnn查看合适的cudnn版本conda install cudatoolkit=conda install cudnn=
2021-12-15 21:34:41
2051
原创 pytorch中repeat和repeat_interleave
repeat的参数是每一个维度上重复的次数，repeat_interleave的参数是重复的次数和维度。repeat相当于将该张量复制，然后在某一维度concat起来，而repeat_interleave是将张量中的元素沿某一维度复制n次，即复制后的张量沿该维度相邻的n个元素是相同的。a = np.arange(0, 10)a = a.reshape(2, -1)a = torch.from_numpy(a)b = a.repeat(2, 1)print(b)c = a.repeat_inte
2021-12-09 11:13:55
3418
原创 Unsupervised Depth Estimation from Light Field Using a Convolutional Neural Network
Network Architecture在深入研究前人工作的基础上，我们设计了一个端到端的无监督光场深度估计网络。利用光场的warp机制，在子孔径图像之间进行图像warp，并结合光场的多个信息和约束条件生成无监督损失。Overall Architecture我们的网络架构示意图如图1所示。它是一种端到端结构的单目视差估计网络，以光场的中心视图作为输入。相似结构广泛应用于许多无监督方法中，如[15]、[19]。理想情况下，我们网络的输出是为每个子孔径图像预测一个视差图，这鼓励预测的视差图在各个视图中保
2021-11-26 11:40:41
2603
原创 Unsupervised Monocular Depth Estimation From Light Field Image
** Unsupervised Monocular Depth Estimation From Light Field Image **Network Architecture在深入研究前人工作的基础上，我们设计了一个端到端的无监督光场深度估计网络。利用光场的warp机制，在子孔径图像之间进行图像warp，并结合光场的多个信息和约束条件生成无监督损失。Overall Architecture我们的网络架构示意图如图1所示。它是一种端到端结构的单目视差估计网络，以光场的中心视图作为输入。相似结构广泛
2021-11-26 11:39:11
2089
原创 Attention-based Multi-Level Fusion Network for Light Field Depth Estimation
摘要从光场图像中估计深度是光场相关应用的一个重要基础。因为可以获得带有丰富信息的大量的view，如何有效融合这些view的特征就成为了精确的光场深度估计的关键点。在这片论文中，我们提出了一个新的基于注意力的多层融合网络。与四层分支网络结构结合，我们设计了一个intra-branch融合策略来分层融合不同view的有效特征。通过引入注意力机制，选择这些分支内部和之间的遮挡较少和丰富纹理的view特征来为深度估计提供更有效的特征。在进一步聚合之后得到估计的深度图。实验结果表明提出的算法在定量和定性评价上都达到
2021-11-26 11:18:52
2838
1
原创 EPINet: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field
3.算法3.1. Epipoloar Geometry of Light Field Images 光场图像的对极几何借鉴了前人的工作，我们设计了一个端到端的神经网络结构利用了光场几何特点来预测光场图像深度。因为光场图像有很多角度垂直和水平方向的像素，数据比立体相机多多了。当使用光场图像所有的viewpoint作为输入，尽管光场深度的结果精确，计算速度却比立体深度估计算法慢了几百倍。为了解决这一问题，一些论文提出只使用水平方向或十字方向的view算法。相似的，我们提出了深度估计管道，首先，利用视点角度之
2021-11-26 09:57:18
1105
1
原创 pytorch自定义DataSet
例1import torch.utils.data as Dataclass TrainData(Data.Dataset): def __init__(self, data): self.data = data self.len = 10 def __len__(self): return self.len def __getitem__(self, index): # index的取值为[0, len]，
2021-11-25 15:06:40
746
原创 Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks
Multi-view Depth Estimation using Epipolar Spatio-Temporal Networksfeature extraction : SPP模块，32通道，下采样为原始图像的1/4raw matching volume :source image特征图投影到一系列虚拟平面，这些平面根据数据集深度范围均匀分布，取平面数D=64.reference特征图和source特征图之间有关系，根据这个关系，将source特征图warp到所有的虚拟平面，得到featur
2021-11-11 17:22:43
709
原创 pytorch中的grid_sample()
torch.nn.functional.grid_sample首先我们看pytorch文档中给出的描述：torch.nn.functional.grid_sample(input, grid, mode=‘bilinear’, padding_mode=‘zeros’, align_corners=None)Given an input and a flow-field grid, computes the output using input values and pixel location
2021-10-29 13:28:46
5335
1
原创 pytorch损失函数
L1 Loss（Mean Absolute Error，MAE）pytorch代码：torch.nn.L1Loss()L2 Loss（Mean Squared Error，MSE）pytorch代码：torch.nn.MSELoss()L1Loss和MSELoss的参数：旧版的函数有reduce、size_average两个参数，新版的只有一个reduction参数了，功能是一样的。reduction的意思是维度要不要缩减，以及怎么缩减，有三个选项：none：不要压缩，如果参数值为n
2021-10-27 20:54:18
1442
原创 4D Light Fields Benchmark数据集简介
关注5个挑战：遮挡边界、精细结构、低纹理、平滑表面和相机噪声。视差：大部分为-1.5 ~ 1.5 px，少部分可以达到-3 ~3 px。分辨率：8bit 光场图像，9×9×512×512×3。对于stratified和training场景，我们进一步提供了两种分辨率（512×512px和5120×5120px）的评估遮罩和16bit真实视差图。评价指标：Bumpiness仅关注估计的平滑度，而不评估方向错误或偏移。Backgammon：评估精细结构、遮挡边界和视差差异的相互作用。.它由两个
2021-10-27 18:25:14
1063
1
原创 pytorch中contiguous理解（view，reshape，transpose，permute）
首先理解什么是contiguous，判断一个tensor是不是contiguous的。字面意思是连续的，当我们定义一个tensor时，在内存中数据是连续存储的。如果我们使用transpose等一些操作的时候，会改变连续性，使得数据在逻辑上的顺序与内存中的顺序不一致，这是因为transpose并没有改变tensor内存中的数据存储（data部分），只是改变了其索引（步长等），使得逻辑上的顺序（读取的顺序）发生了变化，但是内存中的顺序没有变。而一些操作只能对连续的tensor使用，对非连续的tensor使用
2021-10-22 10:11:54
2785
1
原创 pytorch维度换位函数permute和transpose
不同网络之间对输入的维度要求不同，如tf要求通道维在最后，而pytorch则是第二维。因此维度换位函数经常用到。transpose和permute函数解析：https://zhuanlan.zhihu.com/p/76583143没有torch.permute() 这个调用方式， 只能 Tensor.permute()，但是有torch.transpose(tensor,)需要注意的是 numpy也有transpose, 与torch不同的是numpy的transpose可以进行多维度的换位，但是t
2021-10-21 22:18:11
1002
原创 PWC-Net论文
论文地址PWC-Net根据简单并且完备的原则设计：金字塔过程，warping，和cost volume。网络的大致结构：Cast in a learnable feature pyramid, PWC-Net uses the current optical flow estimate to warp the CNN features of the second image. It then uses the warped features and features of the first ima
2021-10-20 12:38:07
2070
原创 pytorch测试模型时显存不够的问题
在训练过程中使用了分块训练，但是在测试的时候使用了整张图片输入到网络中，然后就出现了显存不够的问题经验告诉我不应该不够，但是使用了分块训练，我也不知道是不是真的不够一筹莫展之时，发现没有使用torch.no_grad()，用了之后就没有出现显存不够的问题...
2021-10-20 12:14:20
1581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人