1.石油市场价格抓取算法

油价算法是谁发明的过程_油价是谁规定的

充分的市场竞争,可以让商品价格达到合理水平,只要没形成垄断寡头,价格往往会根据市场供需关系正常化波动。

国内油价如同一团迷雾,被吐槽极多,但是缺乏权威的解读。得利者闷声发大财,还能没事嗷嗷哭两嗓子要个百十亿补贴贴补家用,爽的不要不要的。

今天财智成功从成本和产出角度对油价进行简单的分析,希望能够从一定程度上为大家解决疑惑。

1桶原油=159升=139公斤2007年第三季度,中石油加工原油2.03亿桶,也就是2821.7万吨,生产汽油543.4万吨、柴油1,161.2万吨、煤油54.2万吨。

按照上面的数据,一桶原油可以提炼出26.77公斤汽油,57.2公斤柴油,2.67公斤煤油。

要知道按照质量守恒定律,139公斤炼完远不止这点东西,还会有沥青和部分化工原料,这部分产品足以抵消炼油成本和运输成本,甚至其中已经有了利润。

为了简单一些,我们以整数1美元兑换7元人民币进行计算。

40美元一桶油时,280元人民币,由于汽油柴油煤油价格当前差不多,我们依然简单来计算,总共生产出26.77+57.2+2.67=86.64公斤汽柴煤油,一升汽油大概0.72公斤,一升柴油大概0.85公斤,煤油太少直接忽略,由于柴油产量更多一些,我们就按0.8公斤来计算。

一桶石油,最后产出108升汽柴油,一升的成本是1.93元。

50美元一桶石油时,350元人民币,一升成本3.24元。

80美元时,560元人民币,一升成本5.19元。

100美元一桶时,700元人民币,一升成本6.48元。

这是比较笼统的算法,实际一定是高估了的。因为报道的数据不一定真实,有可能人为的增加了损耗,从而制造亏损。所以上面忙活半天,我们只是为了算出经过人为润色加工后最高的成本。

我们再从出口的角度测算成本,下图是2017年7月-2018年6月我国汽油出口情况:

最后算下来,以2018年6月份75美元一桶油价计算,先扣除税费25%,一升是2.62元,再去掉毛利润20%,一升汽油的成本就是2.09元人民币,远低于第一种算法,巨大的差异只能说明报道中公布的数据一定被人为润色修饰了。

2016年1月份报道,中国香港籍油轮;长航发展轮装载1批3.8万吨、货值1444万美元的92号汽油从肖厝港区青兰山码头出口新加坡

虽说是宣称来料加工,出口免征增值税和消费税,但是货值和吨数在那里摆着,显然很能说明问题,与上面算法算出来的价格其实差别不大。

第三种算法,技术派

1909年炼油技术获得突破,以热力分馏产生的合成汽油,使每桶原油可产生60%汽油,15%柴油,15%煤油,剩下的10%沥青。

大规模炼油具体到一桶原油上,成本是极低的,10%的沥青以及部分化工原料完全可以抵消炼油成本。就跟花生油榨油后如果渣滓不要的话可以免费加工一样。

我们就按一桶油能产出85%的成品油,剩余部分全部作为炼油成本和运输成本,这样一桶原油139公斤可以出产118公斤成品油,还按照上面的0.8公斤每升计算,可以生产出147.5升成品油。

还是简单以一美元兑换七元人民币进行核算。

40美元一桶原油时,280美元对应147.5升成品油,1.9元人民币一升。

50美元时,2.37元一升。

60美元时,2.85一升。

70美元时,3.32元一升。

80美元时,3.8元一升。

90美元时,4.27元一升。

100美元时,4.75元一升。

120美元时,5.69元一升。

140美元时,6.64元一升。

不论何时,请不要忘记我国也是能产原油的,即便是进口依赖度提升到60%,国产原油也是能占到40%的。而国产原油的成本远低于50美元一桶。

所以综合来说,即便是国际原油140美元一桶时,综合成本也不会高于90美元一桶,也就是汽油成本不会高出4.27元一升。

2016年国内成品油价格均为含税价格,包括增值税、消费税、城建税、教育附加费等,税负累计3100-3300元/吨。此后有两三次本该降价时取了增加消费税的措施,使得税费比例进一步提高。

我们就以一吨汽油各种税费3500元来计算,具体到一升中,一升0.72公斤,一吨就是1389升,每升就是2.52元。

如今国际油价已经达到60美元附近,那么国内油成本加上税费应该是2.85+2.52=5.37元/升。多出部分就是两桶油的利润喽。

一道题从下午算到晚上,最后继续推荐财智成功打造的加百利网加百利点靠木,网购可以每天中午看看,省钱还能选择正品,跑赢通货膨胀的首选。

石油市场价格抓取算法

1加仑=3.785公升

3.88美元=25.244人民币

25.244/3.785=6.67元/公升

事实上美国的汽油和中国的汽油没有可比性,汽油标号算法不同,中国的汽油号的油品还不如美国的87号(入门级)汽油

由于网站上的石油市场价格历史数据的时间粒度从年一直精确到日,所有的下载靠人工完成是很困难的,而且由于下载到本地之后的表格字段并不规范,所以必须要根据数据库字段的要求对字符串和Excel表格操作,使之规范化后再入库。其难点在于实现石油市场价格的自动抓取完成对数据源的自动下载,数据源的自动更新,与管理平台的无缝链接,以及ActiveX 插件的制作。

5.3.1.1 数据源的自动下载

石油市场价格数据有3个数据源,包括美国能源部能源信息署(EIA)、《华尔街日报》(WJS)和中石油(CNPC)的数据。这些数据源皆为互联网上的。针对3个不同的数据源的特点,用远程自动下载及规范化,以及基于正则表达式的网页数据自动抓取两种不同的技术完成。

(1)远程自动下载及规范化

对于美国能源部网站的油价历史数据,通过设计自动下载引擎,完成对其历史油价数据的自动远程下载,按照指定路径保存到本地,并将每次下载的结果保存到数据库下载日志表;将下载下来的数据进行清洗、转换并上载到中心数据库。

(2)基于正则表达式的网页数据自动抓取技术

由于大部分网页数据并没有提供下载的通道,而且油价数据同股价数据一样更新频率很高。因此需要对网站上的数据进行基于正则表达式网页数据自动抓取。华尔街油价数据、美国能源部上的油价、中石油网页上的油价数据,均需要通过正则表达式的网页自动抓取功能来实现。

网页抓取需要解决的问题:

1)得到需要抓取的网页的地址列表(URL);

2)根据网页的地址去请求,得到网页的内容;

3)分析网页(HTM L)的结构,并提取出需要的内容,即使用网页结构化信息抽取技术或元数据集技术。可以使用基于字符串查找定位和基于DOM(Document Object Model)结构的分析;数据抓取结构体系,如图5.27所示。

图5.27 B/S网页抓取结构体系

正则表达式的网页数据自动抓取技术涉及网页源码数据的本地化操作,装载源码数据控件的选择,相关信息源码的抓取,源代码的去行操作,数据中含有超链接和字体变换的HTML标签元素的去除,应用零款断言和截取子字符串等字符串函数的方法来抓取数据以及数据入库这些操作(图5.28)。

图5.28 基于正则表达式的网页信息抓取过程

5.3.1.2 数据源的自动更新

当完成对历史数据的初始化之后,需要设计监控引擎,监控网站数据源的更新情况,以决策是否执行增量下载任务。其监控引擎用实时监控技术以及周期性检测技术。当执行增量下载任务之后,需要对下载数据的有效性和完整性进行检查,指定的数据源要定格式、定期进行更新。数据源的自动更新,主要依据站点在对数据更新之后系统能及时发现并自动快速地获取更新。从站点上获取更新的手段,涉及数据更新后的更新超链接、按钮变化后的触发网址的变动,分析网址来获得更新等,如:《华尔街日报》的期货油价就是按照将日期写进网址来制作更新的;若是周末或是节日期间网址同样存在只是网页上无相关内容,于是便要考虑此次更新获得的数据是否有效和存在;另外在处理如AJAX 等网址不变的网络站点或者站点的更新不能从网址上得到解释时,使用针对网页的高级字符串操作来获取更新,前述的正则表达式便是最有效的方法之一。

5.3.1.3 与管理平台的无缝链接

管理平台的功能是要使下载、更新的多个任务按照程式的设计,分配到计算机的几个线程中,通过对线程的调度,达到自动下载和更新的有效管理。为此需要设计审核功能、日志功能、重试次数的阈值,以及开启多个Excel进程的功能。通过审核功能,可以查明自动下载过程中的异常,便于进行人工干预;通过日志功能,可以帮助我们依据日志对任务执行中的错误进行追踪和对出错原因进行判断;通过设置重试次数阈值,可以实现任务执行失败后重试;通过开启多个Excel进程的功能,可以实现EIA的Excel数据自动读取和转换。

5.3.1.4 预测程序ActiveX插件的制作

由于油价预测程序是基于C/S架构开发,要将程序发布到B/S架构必须使用插件技术从服务器端向客户端安装预测程序的核心部件,以达到对油价模型更新而不用再单独编写程序的目的,这样就保证了程序的完整性和解决方案之间的良好衔接。

创建ActiveX插件的过程,必须让系统提供一个接口使得插件能够完整地从后台链接到前台。因为工程无法生成tlb文件,没有tlb文件也就意味着注册失败,以及dll文件或ActiveX 控件在客户端无法使用。创建的类就是通过代码的方式将dll文件在客户端注册,生成tlb文件,使得.exe程序能够在B/S体系下进行操作。