객체 추적용 동영상 학습 데이터 준비

다음 섹션에서는 데이터 요구사항, 스키마 파일, 스키마에서 정의된 데이터 가져오기 파일(JSONL 및 CSV)의 형식에 대한 정보를 제공합니다.

또는 주석 처리되지 않은 동영상을 가져와 나중에 Google Cloud 콘솔을 통해 주석 처리할 수도 있습니다(Google Cloud 콘솔을 사용하여 라벨 지정 참고).

데이터 요구사항

다음 요구사항은 AutoML 또는 커스텀 학습 모델을 학습시키는 데 사용되는 데이터 세트에 적용됩니다.

• Vertex AI는 모델을 학습시키거나 예측을 요청할 때(동영상에 주석 달기) 다음과 같은 동영상 형식을 지원합니다.

  • .MOV
  • .MPEG4
  • .MP4
  • .AVI

• 웹 콘솔에서 동영상 콘텐츠를 보거나 동영상에 주석을 추가하려면 동영상이 브라우저에서 기본적으로 지원하는 형식이어야 합니다. 모든 브라우저에서 기본적으로 .MOV 또는 .AVI 콘텐츠를 처리하지 않으므로 .MPEG4 또는 .MP4 동영상 형식을 사용하는 것이 좋습니다.

• 최대 파일 크기는 50GB입니다(최대 재생 시간 3시간). 컨테이너에 잘못된 또는 비어 있는 타임스탬프가 포함된 개별 동영상 파일은 지원되지 않습니다.

• 각 데이터 세트의 최대 라벨 수는 1,000개로 제한되어 있습니다.

• 가져오기 파일의 동영상에 'ML_USE' 라벨을 할당할 수 있습니다. 학습 시에는 이러한 라벨을 사용하여 동영상과 해당 주석을 '학습' 또는 '테스트' 세트로 분할할 수 있습니다. 동영상 객체 추적의 경우 다음 사항에 유의하세요.

  • 각 데이터 세트에서 라벨이 지정된 최대 동영상 프레임 수는 150,000개로 제한되어 있습니다.
  • 각 데이터 세트에서 주석이 추가된 경계 상자의 최대 합계는 1,000,000개로 제한되어 있습니다.
  • 각 주석 세트의 최대 라벨 수는 1,000개로 제한되어 있습니다.

AutoML 모델 학습에 사용되는 동영상 데이터 권장사항

다음 모델은 AutoML 모델을 학습시키는 데 사용되는 데이터 세트에 적용됩니다.

• 학습 데이터는 예측을 수행할 데이터와 최대한 유사해야 합니다. 예를 들어 사용 사례에 보안 카메라 영상처럼 흐릿한 저해상도 동영상이 포함된다면 학습 데이터도 흐릿한 저해상도 동영상으로 구성해야 합니다. 또한 일반적으로 다양한 각도, 해상도, 배경으로 촬영한 학습 동영상을 제공하는 것이 좋습니다.

• 인간이 지정할 수 없는 라벨은 Vertex AI 모델도 일반적으로 예측할 수 없습니다. 만일 동영상을 1~2초 보고 라벨을 지정하도록 사람을 학습시킬 수 없다면 이 모델도 그렇게 하도록 학습시킬 수 없습니다.

• 가장 흔한 라벨의 동영상이 가장 흔하지 않은 라벨의 동영상보다 최대 100배 많을 때 모델의 성능이 가장 좋습니다. 빈도가 낮은 라벨을 삭제하는 것이 좋습니다. 객체 추적의 경우

  • 최소 경계 상자 크기는 10x10픽셀입니다.
  • 동영상 프레임 해상도가 1024x1024 픽셀보다 훨씬 큰 경우 AutoML 객체 추적에서 사용하는 프레임 정규화 과정 중에 일부 이미지 품질이 손실될 수 있습니다.
  • 각 고유 라벨은 개별 동영상 프레임 최소 3개 이상에 있어야 합니다. 또한 각 라벨에는 주석이 최소 10개 이상 있어야 합니다.

스키마 파일

• 주석을 가져오기 위한 JSONL 파일을 만들 때 공개적으로 액세스할 수 있는 다음 스키마 파일을 사용합니다. 이 스키마 파일은 데이터 입력 파일의 형식을 지정합니다. 파일 구조는 OpenAPI 스키마 테스트를 따릅니다.

  객체 추적 스키마 파일:

  gs://google-cloud-aiplatform/schema/dataset/ioformat/object_tracking_io_format_1.0.0.yaml

  전체 스키마 파일

  
  title: VideoObjectTracking
  version: 1.0.0
  description: >
    Import and export format for importing/exporting videos together with
    temporal bounding box annotations.
  type: object
  required:
  - videoGcsUri
  properties:
    videoGcsUri:
      type: string
      description: >
        A Cloud Storage URI pointing to a video. Up to 50 GB in size and
        up to 3 hours in duration. Supported file mime types: `video/mp4`,
        `video/avi`, `video/quicktime`.
    TemporalBoundingBoxAnnotations:
      type: array
      description: Multiple temporal bounding box annotations. Each on a frame of the video.
      items:
        type: object
        description: >
          Temporal bounding box anntoation on video. `xMin`, `xMax`, `yMin`, and
          `yMax` are relative to the video frame size, and the point 0,0 is in the
          top left of the frame.
        properties:
          displayName:
            type: string
            description: >
              It will be imported as/exported from AnnotationSpec's display name,
              i.e., the name of the label/class.
          xMin:
            description: The leftmost coordinate of the bounding box.
            type: number
            format: double
          xMax:
            description: The rightmost coordinate of the bounding box.
            type: number
            format: double
          yMin:
            description: The topmost coordinate of the bounding box.
            type: number
            format: double
          yMax:
            description: The bottommost coordinate of the bounding box.
            type: number
            format: double
          timeOffset:
            type: string
            description: >
              A time offset of a video in which the object has been detected.
              Expressed as a number of seconds as measured from the
              start of the video, with fractions up to a microsecond precision, and
              with "s" appended at the end.
          instanceId:
            type: number
            format: integer
            description: >
              The instance of the object, expressed as a positive integer. Used to
              tell apart objects of the same type when multiple are present on a
              single video.
          annotationResourceLabels:
            description: Resource labels on the Annotation.
            type: object
            additionalProperties:
              type: string
    dataItemResourceLabels:
      description: Resource labels on the DataItem.
      type: object
      additionalProperties:
        type: string

입력 파일

동영상 객체 추적 학습 데이터의 형식은 다음과 같습니다.

데이터를 가져오려면 JSONL 또는 CSV 파일을 만듭니다.

{
	"videoGcsUri": "gs://bucket/filename.ext",
	"TemporalBoundingBoxAnnotations": [{
		"displayName": "LABEL",
		"xMin": "leftmost_coordinate_of_the_bounding box",
		"xMax": "rightmost_coordinate_of_the_bounding box",
		"yMin": "topmost_coordinate_of_the_bounding box",
		"yMax": "bottommost_coordinate_of_the_bounding box",
		"timeOffset": "timeframe_object-detected"
                "instanceId": "instance_of_object
                "annotationResourceLabels": "resource_labels"
	}],
	"dataItemResourceLabels": {
		"aiplatform.googleapis.com/ml_use": "train|test"
	}
}

{'videoGcsUri': 'gs://demo-data/video1.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '4.000000s', 'xMin': '0.668912', 'yMin': '0.560642', 'xMax': '1.000000', 'yMax': '1.000000'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "training"}}
{'videoGcsUri': 'gs://demo-data/video2.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '71.000000s', 'xMin': '0.679056', 'yMin': '0.070957', 'xMax': '0.801716', 'yMax': '0.290358'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "test"}}
...

[ML_USE,]VIDEO_URI,LABEL,[INSTANCE_ID],TIME_OFFSET,BOUNDING_BOX

  gs://folder/video1.avi
  ...
  

  TRAINING,gs://folder/video1.avi
  TEST,gs://folder/video2.avi
  ...