入门Python爬虫需要掌握哪些技能和知识点？

一、入门Python爬虫需要掌握哪些技能和知识点？

　 对于程序员来说基本上不存在重复性的工作，任何重复劳动都可以通过程序自动解决。下面千锋带你一起了解爬虫需要哪些相关的技能。

　 1、基本的编码基础（至少一门编程语言）

　 这个对于任何编程工作来说都是必须的。基础的数据结构你得会吧。数据名字和值得对应（字典），对一些url进行处理（列表）等等。事实上，掌握的越牢固越好，爬虫并不是一个简单的工作，也并不比其他工作对编程语言的要求更高。

　 熟悉你用的编程语言，熟悉相关的框架和库永远是百益无害。我主要用Python，用Java写爬虫的也有，理论上讲任何语言都可以写爬虫的，不过最好选择一门相关的库多，开发迅速的语言。用C语言写肯定是自找苦吃了。

　 2、任务队列

　 当爬虫任务很大的时候，写一个程序跑下来是不合适的：

　 如果中间遇到错误停掉，重头再来？这不科学

　 我怎么知道程序在哪里失败了？任务和任务之间不应该相互影响

　 如果我有两台机器怎么分工？

　 所以我们需要一种任务队列，它的作用是：讲计划抓取的网页都放到任务队列里面去。然后worker从队列中拿出来一个一个执行，如果一个失败，记录一下，然后执行下一个。这样，worker就可以一个接一个地执行下去。也增加了扩展性，几亿个任务放在队列里也没问题，有需要可以增加worker，就像多一双亏筷子吃饭一样。

　 常用的任务队列有kafka，beanstalkd，celery等。

　 3、数据库

　 这个不用讲了，数据保存肯定要会数据库的。不过有时候一些小数据也可以保存成json或者csv等。我有时想抓一些图片就直接按照文件夹保存文件。推荐使用NoSQL的数据库，比如mongodb，因为爬虫抓到的数据一般是都字段-值得对应，有些字段有的网站有有的网站没有，mongo在这方面比较灵活，况且爬虫爬到的数据关系非常非常弱，很少会用到表与表的关系。

　 4、HTTP知识

　 HTTP知识是必备技能。因为要爬的是网页，所以必须要了解网页。首先html文档的解析方法要懂，比如子节点父节点，属性这些。我们看到的网页是五彩斑斓的，只不过是被浏览器处理了而已，原始的网页是由很多标签组成的。处理最好使用html的解析器，如果自己用正则匹配的话坑会很多。

　 5、运维

　 这个话题要说的有很多，实际工作中运维和开发的时间差不多甚至更多一些。维护已经在工作的爬虫是一个繁重的工作。随着工作时间增加，一般我们都会学着让写出来的爬虫更好维护一些。

　 比如爬虫的日志系统，数据量的统计等。将爬虫工程师和运维分开也不太合理，因为如果一个爬虫不工作了，那原因可能是要抓的网页更新了结构，也有可能出现在系统上，也有可能是当初开发爬虫的时候没发现反扒策略，上线之后出问题了，也可能是对方网站发现了你是爬虫把你封杀了，所以一般来说开发爬虫要兼顾运维。

二、和“摄影”有关的诗句有哪些？

1、那堪更被明月，隔墙送过秋千影。张先《青门引春思》

释义：正心烦意乱、心绪不宁，哪料到那溶溶的月光，把邻院中荡秋千的少女倩影送入我的眼里。

2、愿教清影长相见，更乞取长圆。张先《相思儿令（中吕宫）》

释义：相容月光宁静闲愁的意境和感觉。

3、犹有花上月，清影徘徊。张先《宴春台慢（仙吕宫）》

释义：月光倒映在花上，犹如花与月亮相结合的美景。

4、隔帘灯影闭门时，此情风月知。张先《醉桃源（大石调）》

释义：隔着帘子，关着门，此时的景色只有月亮知道。

5、风影轻飞。花发瑶林春未知。张先《采桑子（双调）》

释义：风轻轻的飞舞，春天渐渐来临花朵却不知道。

6、云破月来花弄影。张先《天仙子（中吕调）》

释义：云朵散去，月亮露了出来，花儿的影子也渐渐显露出来。

7、樯竿渐向望中疏，旗影转。张先《天仙子（郑毅夫移青社中吕调）》

释义：描写了旗杆在月光下的摄影效果。

8、草树争春红影乱。一唱鸡声千万怨。张先《木兰花（般涉调）》

释义：草木竞相争艳，一声鸡鸣打破了千万的怨言。

9、无数杨花过无影。 张先《木兰花（乙卯吴兴寒食般涉调）》

释义：无数的花朵飘过却无影。

10、举杯邀明月，对影成三人。李白《月下独酌四首其一》

释义：举杯邀请明月，对着身影成为三人。

三、数字摄影和传统摄影相比，有哪些优缺点？

优点是：

1、清晰度高。这是最大的优点。 传统的模拟摄像机，换算成像素，大概只有30~40万像素；而数字摄像机，最低可以达到100万，现在用的比较多的，是200~300万像素。

2、数字摄像机相比模拟摄像机，回放的清晰度是一样的。 模拟摄像机，预览的清晰度比回放要高。

3、数字摄像机安装上更方便。 数字摄像机直接插入到交换机，人工上更省力。模拟摄像机必须接入到DVR（或者光端机，但这种情况在小型系统上比较少见），用线量大，费时费力。

四、摄影有哪些风格？

美景结合手法，以特色的物体，比如花，选择花开的季节你会有很大收获的。

五、摄影论坛有哪些？

蜂鸟、色影无忌、摄影巴士、Leica中文摄影论坛、奥色、美桌、photofans、图虫、站酷

六、摄影有哪些题材？

大题材分有风光人像纪实。

细分有，体育，戏剧，新闻，街头，天文，微距，花卉，动物，显微，舞台等。

人像还有很多细分类别，比如证件，婚纱，私房，时尚，时装，古装，棚拍，环境，等等。

不胜列举。

七、摄影主题有哪些？

摄影主题有风景，人像，静物，新闻等这里还要包含商业摄影，人文摄影，新闻摄影等~初学者主要选题可以是风景，人像和静物。

八、摄影手机有哪些？

第一名、华为mate30Pro由于华为手机与徕卡合作，相机功能得到了显着提升。华为也非常注重其相机功能。去年发布的华为mate20pro已经取得了世界上最好的性能。华为值得成为照片之王。第二名、IPhone11有着非常高的相机效果，这与iPhone的软件优化有着重要的关系。 iphone手机的技术创新在世界排名中处于领先定位，但现在它在摄影方面有一丢丢落后于国产机。第三名、小米9小米9的发布可以吸引很多人的关注，性价比也是国产手机中十分厉害的。当然，这款小米9的拍照效果并不令人失望，是一款非常吸引人的亮点，其得分几乎与IPhonexMax相同，排名第三。第四名、oppooppo手机每一款都有其特点的拍照功能，在国产手机中拍照美颜功能也是挺好的。第五名、VIVO它主要产品广告词也是主要是拍照为主。第六名、美图手机这款手机由美颜软件出品，本身就是一个美化图片功能齐全的软件，所以自然拍照也不会差。第七名、vivox21拍照功能还可以，发挥vivo一如既往的优秀。第八名、华为P10这个系列也是主打拍照功能。第九名、IPhone7 Plus

九、摄影奖有哪些？

1、普利策新闻摄影奖开始于1917年的普利策奖由美国著名报人约瑟夫普利策创立，主要分为新闻奖和文化艺术奖。

2、世界新闻摄影比赛世界新闻摄影比赛(WPP)又称荷赛，是1956年由荷兰三位摄影家发起创立的基金会支持的，该基金会的宗旨是：“在全世界范围内引起并增强人们对新闻摄影的广泛兴趣，传播信息并加强国际间的相互理解。”

3、哈苏国际摄影奖哈苏基金会是由厄纳和维克多哈苏捐赠的遗产于1979年建立的。基金会的宗旨是促进自然科学和摄影领域的科学教育和研究。

4、POYI全球年度摄影奖世界著名摄影奖项POYi(Pictures of the Year International)全球年度摄影奖

5、WPP世界新闻摄影奖全球最著名的新闻摄影奖项World Press Photo

6、平遥国际摄影大展2001年，在国家文化部、国务院新闻办公室和山西省委、省政府的大力支持下，首次创办的“平遥国际摄影节”完全按照国际规范操作，国内与国际接轨、传统与现代互动，使平遥古城独特的风貌、古朴的民风以及形式多样的摄影活动交相交映，在海内外产生了出乎预料的轰动效应。

十、摄影特效有哪些？

1、散景效果。这个词来自日语“boke”，意思是雾霾或模糊。因此，Bokeh指的是在图片的焦点区域之外创造一种模糊的审美效果。这种模糊是由于透镜像差和孔径形状的不同造成的。你的Bokeh可能是好的，如果它不是太分心的程度，它吸引观众的注意力到该地区而不是主题。一个好的Bokeh可以给主题更多的强调，并且可以增强图像。

2、抓拍的效果。照片有很大的饱和度和光泄漏的变化。这张照片看起来像是用随机镜头闪光和两次曝光拍摄的。图片通常在称为晕渲的图像周围进行降级。

3、平移。这是一种直到今天还在使用的老年技术。平移是指图像静止或视频的水平、垂直或旋转运动。这是通过有一个移动的对象，而帧的镜头首先，然后按下快门。在模糊的背景下，拍摄对象看起来很清晰。这就产生了移动对象的效果。

4、三分法。你可以在心里把取景器分成九个部分。然后寻找特定的点来聚焦，并将这些点放置在网格内。

5、交叉处理的效果。这是在错误的化学物质中显影彩色印刷或幻灯片的结果。效果很好，尤其是颜色看起来不一样。图像具有独特的野生色彩和各种对比。

6、黄金小时摄影。这是指拍照的时间。应该在日出的第一个小时和日落的最后一个小时拍摄。来自太阳的光线给图像带来了不同的效果和戏剧性。

7、红外摄影。想象一下看一幅全彩的图片。你一定能清楚地看到红玫瑰和绿草的颜色。但如果你使用红外线效果，图片会看起来不同的颜色。这就是一些动物看待外部世界的方式。

8、长时间曝光摄影。一个摄影师可以用一个小光圈和长时间的快门速度拍摄出一张很好的光、星甚至雾的照片。它可以用模糊的运动元素捕获静止的元素。图像是用低光拍摄的，这就是为什么它通常是在晚上拍摄的。它也可以用来拍摄自来水和雾。

9、剪影摄影。为了达到这一效果，光线直接位于拍摄对象的后面，形成一个剪影。您可以有高对比度的照片与此。照片的主题是黑色的，背景通常都很戏剧化。

10、移轴效果。这指的是使用相机的运动，也可以指使用倾斜的选择性聚焦。结果就像一个微型场景。这包括两种不同类型的运动。首先是透镜平面相对于像平面的旋转，这称为倾斜。第二是平行于像平面的透镜运动，称为平移。倾斜是用来控制平面的方向，而位移是用来调整被摄对象的位置，而不需要向后移动相机。