]> Raphaël G. Git Repositories - youtubedl/blob - youtube_dl/extractor/lifenews.py
Update upstream source from tag 'upstream/2019.06.08'
[youtubedl] / youtube_dl / extractor / lifenews.py
1 # coding: utf-8
2 from __future__ import unicode_literals
3
4 import re
5
6 from .common import InfoExtractor
7 from ..compat import (
8 compat_str,
9 compat_urlparse,
10 )
11 from ..utils import (
12 determine_ext,
13 ExtractorError,
14 int_or_none,
15 parse_iso8601,
16 remove_end,
17 )
18
19
20 class LifeNewsIE(InfoExtractor):
21 IE_NAME = 'life'
22 IE_DESC = 'Life.ru'
23 _VALID_URL = r'https?://life\.ru/t/[^/]+/(?P<id>\d+)'
24
25 _TESTS = [{
26 # single video embedded via video/source
27 'url': 'https://life.ru/t/новости/98736',
28 'md5': '77c95eaefaca216e32a76a343ad89d23',
29 'info_dict': {
30 'id': '98736',
31 'ext': 'mp4',
32 'title': 'Мужчина нашел дома архив оборонного завода',
33 'description': 'md5:3b06b1b39b5e2bea548e403d99b8bf26',
34 'timestamp': 1344154740,
35 'upload_date': '20120805',
36 'view_count': int,
37 }
38 }, {
39 # single video embedded via iframe
40 'url': 'https://life.ru/t/новости/152125',
41 'md5': '77d19a6f0886cd76bdbf44b4d971a273',
42 'info_dict': {
43 'id': '152125',
44 'ext': 'mp4',
45 'title': 'В Сети появилось видео захвата «Правым сектором» колхозных полей ',
46 'description': 'Жители двух поселков Днепропетровской области не простили радикалам угрозу лишения плодородных земель и пошли в лобовую. ',
47 'timestamp': 1427961840,
48 'upload_date': '20150402',
49 'view_count': int,
50 }
51 }, {
52 # two videos embedded via iframe
53 'url': 'https://life.ru/t/новости/153461',
54 'info_dict': {
55 'id': '153461',
56 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве',
57 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
58 'timestamp': 1430825520,
59 'view_count': int,
60 },
61 'playlist': [{
62 'md5': '9b6ef8bc0ffa25aebc8bdb40d89ab795',
63 'info_dict': {
64 'id': '153461-video1',
65 'ext': 'mp4',
66 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 1)',
67 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
68 'timestamp': 1430825520,
69 'upload_date': '20150505',
70 },
71 }, {
72 'md5': 'ebb3bf3b1ce40e878d0d628e93eb0322',
73 'info_dict': {
74 'id': '153461-video2',
75 'ext': 'mp4',
76 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 2)',
77 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
78 'timestamp': 1430825520,
79 'upload_date': '20150505',
80 },
81 }],
82 }, {
83 'url': 'https://life.ru/t/новости/213035',
84 'only_matching': True,
85 }, {
86 'url': 'https://life.ru/t/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/153461',
87 'only_matching': True,
88 }, {
89 'url': 'https://life.ru/t/новости/411489/manuel_vals_nazval_frantsiiu_tsieliu_nomier_odin_dlia_ighil',
90 'only_matching': True,
91 }]
92
93 def _real_extract(self, url):
94 video_id = self._match_id(url)
95
96 webpage = self._download_webpage(url, video_id)
97
98 video_urls = re.findall(
99 r'<video[^>]+><source[^>]+src=["\'](.+?)["\']', webpage)
100
101 iframe_links = re.findall(
102 r'<iframe[^>]+src=["\']((?:https?:)?//embed\.life\.ru/(?:embed|video)/.+?)["\']',
103 webpage)
104
105 if not video_urls and not iframe_links:
106 raise ExtractorError('No media links available for %s' % video_id)
107
108 title = remove_end(
109 self._og_search_title(webpage),
110 ' - Life.ru')
111
112 description = self._og_search_description(webpage)
113
114 view_count = self._html_search_regex(
115 r'<div[^>]+class=(["\']).*?\bhits-count\b.*?\1[^>]*>\s*(?P<value>\d+)\s*</div>',
116 webpage, 'view count', fatal=False, group='value')
117
118 timestamp = parse_iso8601(self._search_regex(
119 r'<time[^>]+datetime=(["\'])(?P<value>.+?)\1',
120 webpage, 'upload date', fatal=False, group='value'))
121
122 common_info = {
123 'description': description,
124 'view_count': int_or_none(view_count),
125 'timestamp': timestamp,
126 }
127
128 def make_entry(video_id, video_url, index=None):
129 cur_info = dict(common_info)
130 cur_info.update({
131 'id': video_id if not index else '%s-video%s' % (video_id, index),
132 'url': video_url,
133 'title': title if not index else '%s (Видео %s)' % (title, index),
134 })
135 return cur_info
136
137 def make_video_entry(video_id, video_url, index=None):
138 video_url = compat_urlparse.urljoin(url, video_url)
139 return make_entry(video_id, video_url, index)
140
141 def make_iframe_entry(video_id, video_url, index=None):
142 video_url = self._proto_relative_url(video_url, 'http:')
143 cur_info = make_entry(video_id, video_url, index)
144 cur_info['_type'] = 'url_transparent'
145 return cur_info
146
147 if len(video_urls) == 1 and not iframe_links:
148 return make_video_entry(video_id, video_urls[0])
149
150 if len(iframe_links) == 1 and not video_urls:
151 return make_iframe_entry(video_id, iframe_links[0])
152
153 entries = []
154
155 if video_urls:
156 for num, video_url in enumerate(video_urls, 1):
157 entries.append(make_video_entry(video_id, video_url, num))
158
159 if iframe_links:
160 for num, iframe_link in enumerate(iframe_links, len(video_urls) + 1):
161 entries.append(make_iframe_entry(video_id, iframe_link, num))
162
163 playlist = common_info.copy()
164 playlist.update(self.playlist_result(entries, video_id, title, description))
165 return playlist
166
167
168 class LifeEmbedIE(InfoExtractor):
169 IE_NAME = 'life:embed'
170 _VALID_URL = r'https?://embed\.life\.ru/(?:embed|video)/(?P<id>[\da-f]{32})'
171
172 _TESTS = [{
173 'url': 'http://embed.life.ru/embed/e50c2dec2867350528e2574c899b8291',
174 'md5': 'b889715c9e49cb1981281d0e5458fbbe',
175 'info_dict': {
176 'id': 'e50c2dec2867350528e2574c899b8291',
177 'ext': 'mp4',
178 'title': 'e50c2dec2867350528e2574c899b8291',
179 'thumbnail': r're:http://.*\.jpg',
180 }
181 }, {
182 # with 1080p
183 'url': 'https://embed.life.ru/video/e50c2dec2867350528e2574c899b8291',
184 'only_matching': True,
185 }]
186
187 def _real_extract(self, url):
188 video_id = self._match_id(url)
189
190 webpage = self._download_webpage(url, video_id)
191
192 thumbnail = None
193 formats = []
194
195 def extract_m3u8(manifest_url):
196 formats.extend(self._extract_m3u8_formats(
197 manifest_url, video_id, 'mp4',
198 entry_protocol='m3u8_native', m3u8_id='m3u8'))
199
200 def extract_original(original_url):
201 formats.append({
202 'url': original_url,
203 'format_id': determine_ext(original_url, None),
204 'preference': 1,
205 })
206
207 playlist = self._parse_json(
208 self._search_regex(
209 r'options\s*=\s*({.+?});', webpage, 'options', default='{}'),
210 video_id).get('playlist', {})
211 if playlist:
212 master = playlist.get('master')
213 if isinstance(master, compat_str) and determine_ext(master) == 'm3u8':
214 extract_m3u8(compat_urlparse.urljoin(url, master))
215 original = playlist.get('original')
216 if isinstance(original, compat_str):
217 extract_original(original)
218 thumbnail = playlist.get('image')
219
220 # Old rendition fallback
221 if not formats:
222 for video_url in re.findall(r'"file"\s*:\s*"([^"]+)', webpage):
223 video_url = compat_urlparse.urljoin(url, video_url)
224 if determine_ext(video_url) == 'm3u8':
225 extract_m3u8(video_url)
226 else:
227 extract_original(video_url)
228
229 self._sort_formats(formats)
230
231 thumbnail = thumbnail or self._search_regex(
232 r'"image"\s*:\s*"([^"]+)', webpage, 'thumbnail', default=None)
233
234 return {
235 'id': video_id,
236 'title': video_id,
237 'thumbnail': thumbnail,
238 'formats': formats,
239 }