在Windows上安装并加速拉取Docker镜像的方法

Docker容器服务近来可谓是一日千里爆炸式的发展,但是在国内安装Docker或者拉取庞大的Docker镜像都不可避免的遇到蜗牛式速度的问题,本文主要关于加速下载DockerWindows客户端和镜像的方法。

 

下载Docker Windows客户端

使用Daocloud提供的下载地址,基本上几分钟即可下载完100Mb左右的Docker Windows客户端,而用Docker官网的下载地址可谓几乎没有速度。

加速拉取Docker镜像

不挂VPN直接拉取Docker镜像绝对是灾难性的体验,不仅慢如狗而且极容易中断连接。这里我们同样使用Daocloud提供的镜像站如这里,使用方法为在Docker右键菜单的设置选项内的DockerDaemon里面,加上一段地址改为如下形式,

1
2
3
4
5
6
{
  "registry-mirrors": [
    "http://59dcc468.m.daocloud.io"
  ],
  "insecure-registries": []
}

之后Docker会自动重启,之后再Pool镜像即可享受火箭加速般的提升!

 

Way to solving the .DS_Store problem of Mac

本文主要讲述如何解决Mac OS下面的.DS_Store文件的问题。

在Mac OS上,.DS_Store文件 是 Desktop Services Store 的简称,是用来存储文件夹的显示属性的自定义属性的隐藏文件,:比如文件图标的摆放位置,如文件的图标位置或背景色,相当于Windows的desktop.ini,删除以后的副作用就是这些信息的失去,不过总体而言影响不大。

最近上手的Mac,.DS_Store 第一次烦到我,是在Github上folk了人家的项目自己提交了想Pull Request 的时候出现的问题,我明明只修改了一个文件,为什么在每个文件夹下面都出现了这么些个奇怪的 .DS_Store ??删除了这些文件以后再第二次提交的时候又会出现(期间我用了Finder),谷歌以后才发现这原来是系统自动生成的,要想它不出现,除非只用Shell不用Finder。。。

接着找资料发现如下办法,

  • 安装ASEPSIS
    • OS X 10.11以前的版本直接安装即可
    • OS X 10.11需要关闭SIP(System Integrity Protection)再使用命令touch ~/.no-asepsis-os-restriction 新建文件再安装
  • 重启系统
  • 然后可以用以下指令删除mac上所有的.DS_Store:
1
2
3
find ~ -name ".DS_Store" -delete
或者
find <your path> -name ".DS_Store" -delete

参考资料

  1. https://www.zhihu.com/question/20345704
  2. https://zh.wikipedia.org/wiki/.DS_Store

 

使用文本处理命令获取链接批量下载


前几天看到一个不错的方法,现在分享给大家,希望有帮助

比如我看到Nmap的资源很想把他全部下载到本地怎么办呐?右键一个个点?用工具镜像整个站点?

以前我用的方法是左边打开浏览器,右边打开Notepad++ 一个个链接拖到Notepad++里,最后就有了一个完整的下载列表

现在有更好的方法,利用Linux的文本处理工具提取完整的下载链接,文本处理工具我很早就学过了,但是平常不用,学了就忘

  1. 打开你要处理网站的页面https://nmap.org/dist/ 右键保存网页
  2. 用编辑器打开删除HTML文件顶部的代码和底部代码留下链接部分
  3. 使用文本处理命令剔除多余文本,留下完整链接
1
2
awk '{print $7}' index-of.html | cut -d '"' -f2 > output.txt

解释如下:

1
2
3
4
awk '{print $7}'           // 打印出第7列文本,按空格或者制表符(Tab)
index-of.html // 要处理的文件
| cut -d '"' -f2 // 通过管道传递给 cut -d 指定分隔符为" -f2 指定输出地2列文本
> output.txt // 重定向标准输出到output.txt

然后就可以使用获取到的链接列表自动批量下载了

1
2
wget -i output.txt

原链接地址:使用文本处理命令获取链接批量下载

 

个人面经(百度、腾讯、鹏元数据、行云智能数据岗)

记录自找工作以来个人的面试经历与一些思考。

百度数据挖掘一面(电话面)

  1. 介绍项目
  2. 问题
  3. 基础知识:java的多态、map和垃圾回收
  4. 如何用网络知识让抢火车票更快
  5. 快排的思想、时间和空间复杂度、如果是整数排序有没有O(n)的解法
  6. 逻辑回归线性回归区别
  7. linux怎么查看某文件当前被哪些进程访问
  8. vim如何查找替换

百度运维一面(电话面)

  1. 聊项目
  2. python字符串的替换
  3. SQL的优化
  4. LInux 如何找进程杀进程

百度运维二面(现场面)

  1. 聊项目
  2. 手写冒泡

行云智能一面(现场面)

遇到面试官是西电校友

  1. 聊项目
  2. CNN的思想:pooling的方式、卷积的思想
  3. 设计模式有什么了解
  4. 多线程多进程的了解
  5. 快排的思想
  6. 手写代码二叉树删除

中科乐创一面(现场面)

最尴尬的一次,面试官是南洋理工的,聊了聊我的项目就似乎对我不感兴趣,就开始和我聊家常。。。

鹏元数据一面(现场面)

  1. 聊项目
  2. 做了张试卷如
  • 推导极大似然估计
  • 聚类与分类区别,列举常用聚类算法及程序包
  • 一些简单的SQL命令
  • 编程题:列举一串数字内奇偶数出现次数及引申出的结合他们业务的评级转换矩阵的打印

腾讯基础研究一面(现场面)

  1. 聊项目
  2. 聚类与分类区别,常用聚类算法
    思考:诸如此类列举算法的问题,最好是迅速流利的列举出多个,不要有迟疑,不过对于其基本含义要有了解。
  3. 场景题,两个含有数字的文件,找出同时出现在两个文件内的数字;若文件太大放不进内存该怎么办?
    思考:这种问题可小可大,可难可易。因为哪怕再小的问题在规模变大也就是涉及到大数据都是不简单的,这个问题,对于小文件,两三行代码即可搞定,那么你写出来之后,面试官基本上就会进一步问你:如果文件很大,无法同时把这两个文件装进内存,怎么办?我当时回答的是用Pandas的read_csv分块读取,这是个很不好的回答,因为掉包不是基本功。我回头想了想,也许这个答案是用generator比较好。

 

如何解决Linux 下 zip 文件解压乱码

由于zip格式中并没有指定编码格式,Windows下生成的zip文件中的编码是GBK/GB2312等,因此,导致这些zip文件在Linux下解压时出现乱码问题,因为Linux下的默认编码是UTF8。
目前网上流传一种unzip -O cp936的方法,但一些unzip是没有-O这个选项的。

在ubuntu下的安装命令是

sudo apt-get install p7zip convmv

安装完之后,就可以用7za和convmv两个命令完成解压缩任务。

LANG=C 7za x your-zip-file.zip convmv -f GBK -t utf8 --notest -r .

第一条命令用于解压缩,而LANG=C表示以US-ASCII这样的编码输出文件名,如果没有这个语言设置,它同样会输出乱码,只不过是UTF8格式的乱码(convmv会忽略这样的乱码)。
第二条命令是将GBK编码的文件名转化为UTF8编码,-r表示递归访问目录,即对当前目录中所有文件进行转换。

作者:Latm Ake
链接:https://www.zhihu.com/question/20523036/answer/35225920
来源:知乎
著作权归作者所有,转载请联系作者获得授权。