在Windows上安装并加速拉取Docker镜像的方法

Docker容器服务近来可谓是一日千里爆炸式的发展,但是在国内安装Docker或者拉取庞大的Docker镜像都不可避免的遇到蜗牛式速度的问题,本文主要关于加速下载DockerWindows客户端和镜像的方法。   下载Docker Windows客户端 使用Daocloud提供的下载地址,基本上几分钟即可下载完100Mb左右的Docker Windows客户端,而用Docker官网的下载地址可谓几乎没有速度。 加速拉取Docker镜像 不挂VPN直接拉取Docker镜像绝对是灾难性的体验,不仅慢如狗而且极容易中断连接。这里我们同样使用Daocloud提供的镜像站如这里,使用方法为在Docker右键菜单的设置选项内的DockerDaemon里面,加上一段地址改为如下形式, 1 2 3 4 5 6 { “registry-mirrors”: [ “http://59dcc468.m.daocloud.io” ], “insecure-registries”:

Read More »

Way to solving the .DS_Store problem of Mac

本文主要讲述如何解决Mac OS下面的.DS_Store文件的问题。 在Mac OS上,.DS_Store文件 是 Desktop Services Store 的简称,是用来存储文件夹的显示属性的自定义属性的隐藏文件,:比如文件图标的摆放位置,如文件的图标位置或背景色,相当于Windows的desktop.ini,删除以后的副作用就是这些信息的失去,不过总体而言影响不大。 最近上手的Mac,.DS_Store 第一次烦到我,是在Github上folk了人家的项目自己提交了想Pull Request 的时候出现的问题,我明明只修改了一个文件,为什么在每个文件夹下面都出现了这么些个奇怪的 .DS_Store ??删除了这些文件以后再第二次提交的时候又会出现(期间我用了Finder),谷歌以后才发现这原来是系统自动生成的,要想它不出现,除非只用Shell不用Finder。。。 接着找资料发现如下办法, 安装ASEPSIS OS X 10.11以前的版本直接安装即可

Read More »

使用文本处理命令获取链接批量下载

前几天看到一个不错的方法,现在分享给大家,希望有帮助 比如我看到Nmap的资源很想把他全部下载到本地怎么办呐?右键一个个点?用工具镜像整个站点? 以前我用的方法是左边打开浏览器,右边打开Notepad++ 一个个链接拖到Notepad++里,最后就有了一个完整的下载列表 现在有更好的方法,利用Linux的文本处理工具提取完整的下载链接,文本处理工具我很早就学过了,但是平常不用,学了就忘 打开你要处理网站的页面https://nmap.org/dist/ 右键保存网页 用编辑器打开删除HTML文件顶部的代码和底部代码留下链接部分 使用文本处理命令剔除多余文本,留下完整链接 12 awk '{print $7}' index-of.html | cut -d '"' -f2 >

Read More »

个人面经(百度、腾讯、鹏元数据、行云智能数据岗)

记录自找工作以来个人的面试经历与一些思考。 百度数据挖掘一面(电话面) 介绍项目 问题 基础知识:java的多态、map和垃圾回收 如何用网络知识让抢火车票更快 快排的思想、时间和空间复杂度、如果是整数排序有没有O(n)的解法 逻辑回归线性回归区别 linux怎么查看某文件当前被哪些进程访问 vim如何查找替换 百度运维一面(电话面) 聊项目 python字符串的替换 SQL的优化 LInux 如何找进程杀进程 百度运维二面(现场面) 聊项目 手写冒泡 行云智能一面(现场面)

Read More »

如何解决Linux 下 zip 文件解压乱码

由于zip格式中并没有指定编码格式,Windows下生成的zip文件中的编码是GBK/GB2312等,因此,导致这些zip文件在Linux下解压时出现乱码问题,因为Linux下的默认编码是UTF8。目前网上流传一种unzip -O cp936的方法,但一些unzip是没有-O这个选项的。 在ubuntu下的安装命令是 sudo apt-get install p7zip convmv 安装完之后,就可以用7za和convmv两个命令完成解压缩任务。 LANG=C 7za x your-zip-file.zip convmv -f GBK -t utf8 –notest

Read More »

理解TSNE算法

結合 t-SNE 是一種數據可視化工具,它可以將高維數據降維到2-3維以用於畫圖,局部相似性被這種embedding所保留。 t-SNE把原空間的數據點之間的距離轉換為高斯分佈概率,如果兩點在高維空間距離越近,那麼這個概率值越大。注意到高斯分佈的這個標準差$sigma_i$ 對每個點都是不同的,這也是算法的創新點之一,因為理論上空間不同位置的點的密度是不同的,條件概率如此計算, $$p_{j|i} = frac{exp{(-d(boldsymbol{x}_i, boldsymbol{x} 圖中公式是理論方式,實際是先計算條件概率再用下面公式來產生聯合分佈, $$p_{ij} = frac{p_{j|i} + p_{i|j}}{2N}.$$ 其中$sigma_i$ 將自動確定。這個過程可以通過設置算法的困惑性來影響。 用一個長尾分佈(Student-t Distribution,簡稱為t分佈)來表示embed空間的相似性$$q_{ij} =

Read More »